Zoekmachine voor videobeelden

Het een soort video-Google worden, waarmee je met een zoekvraag het juiste beeld of filmpje vindt. Het computerprogramma moet dus ontzettend veel concepten kennen. Een voetbalscène is nog redelijk gemakkelijk te herkennen, maar hoe maak je een computer iets abstracts duidelijk, als ‘wereldleider’, ‘twee handenschuddende mensen’ of nog extremer ‘liefde’ en ‘romantiek’? Gevers legt uit hoe dit in zijn werk gaat: ‘We moeten de computer iets leren. Als we willen dat het programma een uil kan herkennen, laten we heel veel plaatjes zien, waaronder veel plaatjes van uilen. Het programma gaat dan zelf op zoek naar kenmerken die specifiek zijn voor een uil.’

Hierbij zal het programma gebruik gaan maken van de verschillende informatiebronnen die een beeld of videobestand op het internet biedt. ‘We kijken niet alleen naar de beelden zelf, maar we kijken ook of het gezochte begrip in de tekst er omheen voorkomt. Mogelijk is het filmpje ondertiteld of staat er andere tekst in de beelden. Bovendien willen we kijken naar zaken als spraakherkenning. Als we weten wat er wordt gezegd in het filmpje kunnen we ook in deze gesproken tekst zoeken. Het geluid zegt ook veel over de beelden. En wat natuurlijk erg belangrijk is; we kijken naar visuele informatie: of dingen bewegen, hoe kleuren zijn en hoe de overgangen zijn tussen kleuren.’

Gevers vertelt dat Google ook bezig is een videoretrieval-systeem te ontwikkelen. ‘Zij gaan alleen kijken naar de tekst die de video begeleidt. Niet alle videobeelden hebben echter een accurate beschrijving. Dus is Google nu een spelletje aan het ontwikkelen waarbij verschillende gebruikers zelf de video moeten beschrijven. Vervolgens nemen ze een intersectie van die beschrijvingen; ze moeten immers wel overeenkomen. Als hier honderdduizenden mensen aan mee gaan doen, dan heb je straks één beschrijving van de video, waarin je kunt zoeken naar relevante zoektermen.’ De methode van Google valt of staat dus met de omschrijvingen die de gebruikers zelf maken.

Lees hier het hele verhaal op de website van de UvA.