Suomen Akatemia  
 
 
 
 
 
Rahoituspäätös
 
Hakija / Yhteyshenkilö Laaksonen, Jorma
Organisaatio Aalto-yliopisto
Tutkimusaihe Syvät neuroverkot näkymägraafien tuottamisessa kuvallisen multimedian semantiikan havainnoimiseksi
Päätös 313988
Päätöspvm 10.10.2017
Rahoituskausi 01.01.2018 - 31.12.2019
Rahoitus (€) 273 884
   
Hankkeen julkinen kuvaus
Hankkeessa tutkittiin syvien ja toisteisten neuroverkkojen käyttämistä kuvien teksti- ja graafimuotoisten kuvailujen tuottamiseen. Kuvien tekstimuotoisessa kuvailussa keinotekoinen hermoverkko muodostaa englannin kielisiiä lauseita, jotka kuvailevat kuvassa esiintyviä kohteita, niiden välisiä suhteita ja ominaisuuksia. Graafimuotoisessa kuvailussa hermoverkko puolestaan löytää kuvasta osa-alueita, joissa oleville kahdelle kohteelle se tuottaa subjekti-predikaatti-objekti -muotoisen relaation. Kun tällaisia kahden kohteen välisiä relaatioita löydetään useita, niistä muodostuu koko kuvaa kuvaileva näkymägraafi. Hankkeessa kehitettiin uusia aiempia parempia menetelmiä sekä teksti- että graafimuotoiseen kuvailuun. Vertailtaessa aiempiin menetelmiin havaittiin, että kehitetyt uudet graafimuotoiset kuvailumenetelmät olivat erityisesti parempia kuin aiemmat menetelmät harvinaisten relaatioiden tunnistamisessa.