Eredmények
A projektben jelentős kutatási eredmények születtek a modern szabályozástechnika kiber-medikai alkalmazási területein, köztük AI alapú modellezési, irányítási és szabályozási módszerek, melyek képesek kiaknázni az akár hibrid felhőre is migrálható IoT adatgyűjtő és AI célú referencia-architektúrák használatában rejlő lehetőségeket.
WP1: Gesztus-detekció automata naplózása cukorbetegséghez kapcsolódó döntéstámogatáshoz
A K+F munka eredményeként létrehoztunk egy olyan AI modellen alapuló rendszert, mely képes felismerni domináns kézzel, szisztematikus (adott frekvenciával végzett), evőeszközzel végrehajtott étkezési gesztust. A legjobb eredmények LSTM alapú technológiával születtek, de számos egyéb AI módszertan is implementálásra és tesztelésre került. A fejlesztési szakaszban sor került konkrét célhardver (IMU alapú karkötő) fejlesztésére is saját adatok generálásához, továbbá, különböző IMU csuklón viselhető eszközök integrációja is megvalósult. Feldolgoztunk egy nemzetközi adatbázist, és a saját adatokhoz illesztettük ezeket. Mind a saját, mind a feldolgozott adatbázisok során a gesztusok annotálásra kerültek. Az elkészült modellek felhasználásával adott bemenet alapján képesek az online becslésre, továbbá elkészült egy Android applikáció is demonstrációs célokra. A modellek tanításához felhasználtuk az ELKH Cloud platformot is, ld. még WP4 eredmények.
WP2: Gombatermesztés termőciklusának parametrikus leírása, gépi látás alapú állapotbecslő és növekedési modell kidolgozása
Az ELKH Cloud-ban közösen felépített és üzemelő felhőalapú adatgyűjtő környezethez (ld. WP4) kapcsolódik egy, a BioFungi Kft. telephelyén üzemelő, a projekt keretében kifejlesztett perem (edge) adatgyűjtő egység, amely periodikusan képeket tölt fel a felhőalapú rendszerbe, ahol a manuális elemzés céljából a tárolt adatok elérése biztosított. A célok közt szereplő, nagy számításigényt támasztó automatikus címkézési feladatok ellátását is biztosítottuk a felhő platformon. Továbbá elkészült az adatgyűjtő edge eszköz új verziója, ami jobban ellenáll a gombaházi környezetnek és jobb minőségű kamerával van ellátva.
A növekedési modellek létrehozásához elkerülhetetlen a gombák felismerése a termőtálcákról készült képeken a gombák szegmentálása. Klasszikus képfeldolgozási módszerekkel végeztünk átfogó kísérleteket és gyűjtöttük össze a tapasztalatokat, majd a mély neurális hálózatok irányában folytattuk a kutatást. A Mask R-CNN eljárást alapul véve dolgoztunk ki egy modellt, ami képes a gomba termőtestek megkülönböztetésére. A megfelelő minőségű és mennyiségű tanítóadatokhoz a Blender 3D modellező szoftverrel készítettünk egy fotórealisztikus kép és maszk generáló eljárást, amely élethű 3D gombamodellek véletlenszerű elrendezésével, majd az ezekről készülő kép és az egyedi gombamaszkok generálásával valósítja ezt meg. Az eljárást az ELKH Cloud-ban rendelkezésünkre álló GPU támogatással sikerült felskálázni, ami a manuálisan címkézett adatokkal együtt már alkalmas az eredmények elérésére.
WP3: Neurodegeneratív betegségek diagnosztikai módszereinek kidolgozása tremor kvantitatív és kvalitatív analízisének segítségével
Definiáltuk a rendszer belső architektúráját, valamint a publikációk és saját tapasztalatok alapján elkészítettük az egyes alrendszerek követelményspecifikációját: a központi adatgyűjtő és páciens oldali (edge) adatgyűjtő megoldáshoz. A megvalósítás során –a rendszer megtapasztalt képességei alapján– kiszélesítettük a viselhető IMU szenzorok alkalmazhatóságának területét. A rendszer jelenlegi állapotában képes több IMU szenzor összeillesztésével egy kombinált kísérleti testtartás vizsgáló rendszer prototípusaként működni. A rendszer nagy előnye az érzékelők tetszőleges elhelyezhetősége a testfelületen – jelenleg ruhára rögzítve – és képes a 9 szabadsági fokú IMU szenzorokból származó adatok valós idejű adatfúziójára és kiértékelésére maximum 64 szenzorig. Kidolgoztunk egy tesztelési környezetet, melyben méréseket végeztünk a környezet adattovábbítási, késleltetési és adatfeldolgozási képességeivel kapcsolatban. Emellett definiálásra kerültek a minta adatbázis paraméterek is, amelyek alkalmasak akaratlan és akaratlagos végtagmozgások jellemzőinek tárolására. A kialakított és továbbfejlesztett (mikrokontrollerek méretét tovább csökkentett) kísérleti környezet képes valós időben, multi-IMU szenzorhálózatból származó adatok gyűjtésére és vizualizációjára.
WP4: Hibrid felhő megoldások orkesztrált AI és IoT platformokkal
Az ÓE BlackAnt felhő alapú számítási rendszerének integrációs vizsgálata az ELKH Cloud infrastruktúrával (közösen a WP1-gyel) lezárult. Az elvégzett sikeres előkészítő munkálatokat követően elindulhat a kulcsfontosságú integráció és a GPU használat lehetőségének megteremtése igény alapon.
A felhő alapú adatgyűjtő és AI platform kialakításához (közösen a WP2-vel) a felhő platform és az edge eszközök között titkosított kommunikációs csatorna került kialakításra, amelyen ROS2 környezetben kommunikálnak a komponensek. A beérkező képi adatok feldolgozása orkesztráltan történhet a modernizált GPU erőforrások felhasználásával az ELKH Cloud-on. Adaptáltunk egy adatgyűjtő és feldolgozó referencia-architektúrát (közösen a WP3-mal), ami lehetőséget biztosít Apache Kafka vagy MQTT protokoll segítségével az adatok gyűjtésére belső Apache NiFi kommunikcióval, NoSQL alapon történő tárolására, majd azok vizualizálására a Superset és Grafana eszközzel az ELKH Cloud-on.
Az orkesztrációs területen az IaaS/PaaS szintű hibrid felhő támogatása kapcsán az Occopus felhő orkesztrátor Microsoft Azure szolgáltatásokat célzó mechanizmusait és interfészeit továbbfejlesztettük, így az orkesztrátorra épülő referencia architektúrák képesek olyan hibrid infrastruktúra leírók használatára, amelyek tartalmaznak Azure-ból használandó erőforrásokat. Két új funkcionalitás érhető el: IaaS szintű, illetve PaaS szintű hibriditás több konténer-repozitóriummal együttműködve. A fentiekre alapozva kidolgoztunk egy Apache Kafka-ra és egy Kubernetes-re épülő hibrid IoT platform referencia architektúrát (több WP számára).
A projekt keretében elkezdtük vizsgálni a kvantumszámítási erőforrások PaaS szintű elérhetőségét hibrid-felhő megközelítésben ELKH Cloud erőforrásokra alapozva (kiber-medikai alkalmazásokat célozva), ahol ígéretes előzetes eredmények születtek. Az kvantumszámításra alapuló algoritmusok alkalmazásához elméleti és gyakorlat oktatási anyagok készültek 2 újonnan indult K-MOOC kurzushoz az együttműködés támogatásával.
WP5: Mikrocirkuláció képalkotás
A kutatás célja az volt, hogy megértsük a mikrocirkulációt monitorozó Laser Specle Contrast Imaging (LSCI) eljárás határait, és kitágítsuk annak átalakításával. A megoldásainkban változó megvilágítást alkalmaztunk –először a témakörben–, hogy nagyobb dinamikatartományban tudjuk egyetlen képen rögzíteni. A módszer nagyságrendekkel szélesebb tartományba tartozó áramlási sebességet képes lefedni egyetlen expozícióban, mint az állandó megvilágítási módszerek. Ez a nagyobb erek és kis artériák tanulmányozásakor hasznos, melyet ex vivo és in vivo mérésekkel mutattuk be.
Javasoltunk egy statisztikai modellt, amely leírja a többszörös képalkotás hatását az áramlási kép minőségére. Fő megállapításunk: több gyakorlati esetben korlátozott javulást eredményez az eljárás elsősorban az élő szövetek rendkívül heterogén szóródási szerkezete miatt.
Az módszer síkbeli eredményei ugyan kiválóak (mikroszkópikus felvételek esetén), de görbült felületek és a megvilágítás változásai komoly kvantitatív torzulást okoznak a mindennapi vizsgálatokban. Az első eredmény a túlexponált képek analízise és korrekciója volt, majd irány multi-view stereo rekonstrukciós eljárással felépített 3D modell felületét tervezzük használni a ferde felületek, árnyékok hibajavítására felhasználva a kidolgozás alatt álló korrekciós eljárást is.
Végül humán kisállat modellkísérletekben a perfúziós modellünket használja a Kísérleti Orvostudományi Kutatóintézet, légzés és pulzus non-kontakt megfigyelésére valamint a kísérletekbe történő aktív beavatkozásra. A teljes időszak alatt 300 Gb feldolgozott, tömörítetlen, jó minőségű infravörös lézerrel készült felvétel készült, mely rendszerezve és annotálva rendelkezésre áll. Az ELKH Cloud kísérleti felhasználásra került a munkacsomagban GPU erőforrások felhasználásával.
WP6: Szájmozgás és fogszabályzó használat detektálás és monitorozás beágyazott szenzorokkal
A háttérirodalom és tapasztalataink alapján definiáltuk a rendszer belső architektúráját, elkészítettük az egyes alrendszerek követelmény-specifikációját: központi adatgyűjtő és fogszabályzó oldali (edge) adatgyűjtő megoldáshoz. Definiálásra került a páciens oldali adatgyűjtő fogszabályzókba történő behelyezésének/beágyazásának folyamata, és az egyes alrendszerek belső architektúrája. A minél valósághűbb méretezéshez 3D prototípus modelleket készítettünk additív gyártással. Kialakítottuk az okostelefonon futó keresztplatformos adatgyűjtő, adatmegjelenítő és -továbbító szoftvermegoldást vezeték nélküli kommunikációval. A klinikai kipróbáláshoz szükséges engedélyezést megszereztük. Definiálásra kerültek a minta adatbázis paraméterek is, amelyek alkalmasak a fogszabályzó oldali érzékelőkből származó adatok, valamint a viselés közben rögzítésre kerülő egyéb metaadatok strukturált tárolására. A kialakított rendszer tesztelése során (még páciensek bevonása nélkül) adatokat gyűjtöttünk, illetve tervezzük a következő hardver verzió megvalósítását.