UvA en Bosch werken samen aan machines die zichzelf dingen leren

Hondenneus

Maar Welling vertelt dat het onbegonnen werk is om altijd zelf te moeten programmeren waar je naar op zoek bent in de data. De computer kan met de ‘neurale netwerken’ van Deep Learning zelf verborgen verbanden blootleggen, verbanden die mensen vaak ontgaan. Welling: ‘Deep Learning is een type model dat is geïnspireerd door het menselijk brein. Met een complex netwerk van neuronen trainen we computers om die hond te kunnen onderscheiden. Door miljoenen afbeeldingen in een computer te stoppen, laat je het neurale netwerk zelf overeenkomsten zoeken, waardoor hij die overeenkomsten leert te herkennen. Dat werkt zo: Op de toplaag van de neuronen worden uiteindelijk hele abstracte concepten gerepresenteerd, zoals een neus en oog. Maar voordat die neuronen informatie uit afbeeldingen kunnen onttrekken, moeten ze eerst miljoenen afbeeldingen gezien hebben. Die afbeeldingen, de data, worden gepresenteerd aan de onderste laag van de neuronen, die de informatie laag voor laag uitkneden en in onderdelen uit elkaar trekken. Vanaf het moment dat de modellen eenmaal een groep pixels als hondenneus kunnen herkennen, worden er bepaalde neuronen in het netwerk gevoelig voor de aanwezigheid van een hondenneus. Daarna is het vrij simpel om een classifier te trainen een hond te identificeren.’

De hondenplaatjes zijn natuurlijk een eenvoudig voorbeeld, maar de mogelijkheden van Deep Learning zijn enorm. In de gezondheidszorg heeft deze techniek al voor grote doorbraken gezorgd. Door analyse van foto’s van de luchtwegen van een patiënt kan bijvoorbeeld worden voorspeld of diegene COPD krijgt als hij of zij blijft roken. In het Delta Lab zal onder meer aan algoritmen gewerkt worden die zelfrijdende auto’s leren om bewegende objecten te herkennen zodat ze veilig de weg op kunnen. Met goed getrainde computervisie kunnen ze bijtijds remmen, inhaalmanoeuvres berekenen op de snelweg of aangeven dat een bestuurder toch het stuur over moet nemen als de computer op iets stuit wat hij niet herkent. Als computers straks beter kunnen rijden dan mensen zou dat een heleboel verkeersdoden kunnen schelen.

Diep vertalen

Deep Learning heeft de afgelopen vier jaar veel vooruitgang geboekt op onderzoeksgebieden waar al een tijdje niet zoveel schot meer in zat, vertelt Welling. Bijvoorbeeld spraakherkenning en machinaal vertalen. ‘Dat werkt nu heel goed, zelfs op die oude telefoon die jij daar hebt. In de toekomst betekent de combinatie van deze technieken dat je met een dopje in je oor een Spaanssprekend persoon in het Engels kan verstaan.’ Zo ver is het nu nog niet, maar er zijn wel andere interessante ontwikkelingen, weet Christof Monz van de Information & Language Processing Systems Group. Monz vertelt dat Deep Learning ‘een kleine revolutie heeft ontketend’ op het gebied van machinaal vertalen. Monz’ kantoor zit een gang verder dan dat van Welling en hoewel hij niet met Bosch werkt, valt ook bij hem wat Silicon Valley-achtig optimisme te bespeuren. ‘Zelfrijdende auto’s, ja. Ik heb een jonge dochter, en zij hoeft straks geen rijbewijs meer te halen.’

Monz studeerde zelf literatuurwetenschappen, maar raakte met de ontwikkeling van kunstmatige intelligentie geïnteresseerd in machinaal vertalen. Voorheen werden grammaticale regels, werkwoordsvormen en zinsstructuren er met de hand in geprogrammeerd. Dat was niet alleen een enorme klus, maar ook een aanpak die erg kwetsbaar was voor fouten. Talen zitten vol complexiteiten, uitdrukkingen en nuances die per context verschillen en daarom niet zo gemakkelijk te vertalen zijn. Monz: ‘Vaak zagen we dat computers teksten letterlijk vertaalden. “Hij heeft een boek gelezen” werd dan “He has a book read”. Je begrijpt het wel, maar het is niet mooi. Met de neurale netwerken worden de teksten niet direct vertaald, maar eerst omgezet naar een representatie van de tekst, een soort basiscode die de betekenis van de tekst vat. Vanuit die betekenis kan de tekst dan worden vertaald naar alle beschikbare talen, contexten en stijlen met bijbehorende grammatica. Als de computer goed is getraind, kan hij zijn intuïtie volgen.’

Monz traint de computers om zélf betekenissen te zoeken als ze bepaalde woorden niet kennen. ‘Als de zin is “Ik dronk X”, weet hij dat X een drankje is. Als hij dan eerder een andere zin heeft gezien “Ik werd dronken van X”, is het dus een alcoholisch drankje. Als de computer maar genoeg van dit soort omgevingen en contexten heeft gezien, kent hij op een gegeven moment de betekenis van het woord.’

Scheldwoord

In dit geval bestaan de data uit miljoenen teksten die eerder door mensen zijn vertaald, zoals nieuwsberichten, ondertitelingen en overheidsdocumenten. Dit heeft zijn invloed op de vertalingen. Monz: ‘Je ziet vaak dat vertaalmachines scheldwoorden iets netter vertalen of het scheldwoord zelfs helemaal weglaten. Dat komt omdat wij data uit nieuws gebruiken waar niet wordt gevloekt. Maar misschien is het ook wel zo dat Skype Translator een vloekwoord liever wat voorzichtiger vertaalt, ook al is het minder correct, zodat het andersom in ieder geval niet fout gaat. Als je een sollicitatiegesprek over Skype hebt, wil je niet dat de computer jouw zinnen in scheldwoorden vertaalt.’ Schrijver Arnon Grunberg stelde onlangs in de Volkskrant: ‘Ook schrijvers en vertalers moeten er op rekenen dat zij in de toekomst door computers vervangen worden,’ nadat gebleken was dat computers met behulp van data-analyse van zijn columns korte teksten in zijn schrijfstijl konden produceren. Monz gelooft niks van deze voorspelling. ‘Een computer zou nooit romans of poëzie kunnen vertalen. Er zit altijd een bepaalde bezieling of uniciteit in die teksten waar je eigenlijk al dichter voor moet zijn om ze te kunnen vertalen. Wel zullen we in de toekomst meer en betere vertalingen kunnen produceren, ook van mondelinge gesprekken tussen mensen, maar de computers zullen nooit honderd procent correcte vertalingen afleveren. Maar vijfennegentig procent misschien wel, dat lijkt me een mooi streven.’

Met Deep Learning worden de computers straks scherpere waarnemers en analisten dan mensen, als ze dat niet al zijn. Een mooi voorbeeld hiervan kwam naar voren bij Delph, het bedrijfje op het StartupVillage van econometriestudenten Ruben Spruit (24) en Mark Verhagen (24). Met behulp van data en de algoritmen die op universiteiten worden bedacht, geven zij advies aan bedrijven hoe zij slimmer en efficiënter kunnen werken. Verhagen: ‘Een klant vroeg ons waar in Nederland zij het beste windmolens konden bouwen. Toen vroegen wij hen om alle gegevens van de windmolens die zij in de afgelopen twintig jaar hadden gebouwd. Materialen, aantal klagende mensen in de buurt, van alles. Wij voerden die data in en toen vond de computer een overeenkomst met een bepaald type gasleiding in de grond. Het bleek dat grond waar die pijpen doorheen liepen enorm geschikt was om windmolens op te bouwen. Daar waren we zelf nooit op gekomen.’

Toch vinden Verhagen en Spruit niet dat de machines heilig verklaard moeten worden. Spruit: ‘Big Data wordt wel eens als bewijs aangevoerd bij rechtszaken, maar dan zie je dat de data-analisten van beide partijen met totaal verschillende uitkomsten komen. Het ligt er maar net aan welke aannames de wetenschapper heeft in zijn model en welke data hij of zij relevant vindt.’ Verhagen: ‘Bovendien zijn de modellen eigenlijk een soort black box. Je gooit er data in en er komen verbanden uit, maar je kan niet precies zien wat de causale verbanden zijn. Toen we bijvoorbeeld een orkestgroep adviseerden, konden we ze wel vertellen dat hun strijkconcerten in het weekend beter verkochten dan hun blaasconcerten, maar niet of dat nou aan de strijkconcerten lag of aan het feit dat mensen in het weekend vaker naar concerten gaan.’ Spruit: ‘Daarnaast verschilt het per kwestie of er menselijk toezicht nodig is. We vertrouwden de computer wel zelf overeenkomsten te vinden bij de bouw van windmolenparken, maar bij een ander vraagstuk werden de prestaties van artsen gemeten aan de hand van het aantal sterfgevallen. Als je daar als mens niet bij bedenkt dat de beste artsen vaak ook de moeilijkst te genezen patiënten krijgen, kun je een totaal verkeerde conclusie krijgen. Da­ta-analyse heeft bij dit soort zaken altijd een menselijke vertaalslag nodig en moet nooit leidend zijn voor een argumentatie, alleen onderbouwend.’

Geheimhouden

Een ander vraagstuk dat het Bosch Delta Lab meebrengt, is die van de samenwerking tussen de universiteit en het bedrijfsleven. De investeringen van bedrijven als Bosch, Qualcomm en Philips zorgen ervoor dat er meer onderzoek kan worden gedaan aan de UvA, onderzoek dat voor deze bedrijven erg waardevol is. Ook heeft de Amerikaanse chipgigant Qualcomm al twee UvA-startups overgenomen. In 2014 werd Eurovision ingelijfd en in augustus van dit jaar ook het mede door Max Welling opgerichte Scyfer, gespecialiseerd in machine learning.

Welling vindt het een goede zaak dat er meer geld vrijkomt voor onderzoek: ‘Er worden zoveel goede onderzoeksvoorstellen afgewezen door het NWO, en daar moet je ook nog verantwoorden hoe je je onderzoek gaat valoriseren. Dat hoeven wij niet meer. Ik zeg het misschien een beetje gechargeerd, maar je begrijpt wel dat één voorstel schrijven en tien promovendi krijgen een stuk makkelijker is dan andersom. Ik denk dat het een hele goede ontwikkeling is dat bedrijven zien dat zij er ook veel voordeel uit kunnen halen door onderzoek te financieren en een goede relatie op te bouwen met universiteiten. Er zijn meer promotieplekken en we creëren een ecosysteem waarin bedrijven en kennisinstellingen samenwerken. Zo werkt het ook met Bosch. Af en toe komen er mensen van Bosch over en onze promovendi gaan ook naar Duitsland.’

Welling legt uit dat de UvA vooraf een aantal afspraken heeft gemaakt over patenten, Intellectual Property. Zo hoeft er niet bij elke innovatie uit het kunstmatige intelligentie onderzoek op het Bosch lab, steeds opnieuw onderhandeld te worden. ‘Een heel slimme zet voor beide partijen; UvA krijgt de financiële middelen voor een groot aantal promovendi-plaatsen en Bosch kan direct aan de slag met de resultaten van het promotieonderzoek.’

Voor belangenverstrengeling is Welling niet bang: ‘Kijk, als een farmaceutisch bedrijf je lekker vaak mee uit eten neemt en vraagt om een onderzoek dat een bepaalde pil moet valideren, dan wordt er geprobeerd om de uitkomst van de wetenschap te beïnvloeden. Dan moet je gaan oppassen. Maar dat spanningsveld zie ik in ons onderzoeksgebied helemaal niet, want in engineering streven we hetzelfde na. Zij willen de beste algoritmen, wij willen de beste algoritmen. Daarbij is het allerbelangrijkste dat al het onderzoek wordt gepubliceerd, Bosch mag niet iets geheimhouden om de concurrentie voor te blijven. We willen dat onze PhD-studenten kunnen promoveren en dat anderen op het onderzoek kunnen voortbouwen. Dat is de kernwaarde van de universiteit en daar zijn we samen met het CvB heel duidelijk in geweest. Het mooie is dat de bedrijven nu hebben ingezien dat dit ook voor hen het beste is.’