UvA onderzoekt gevolgen AI-watermerken voor eigen chatbot
De UvA onderzoekt de gevolgen van de introductie van watermerken voor AI-teksten voor haar eigen UvA AI Chat. Taalmodellen van AI-aanbieders voorzien gegenereerde teksten in toenemende mate van zulke onzichtbare herkenningstekens om te voldoen aan nieuwe Europese wetgeving over kunstmatige intelligentie.
In het snel evoluerende digitale landschap van generatieve AI — een dynamische realiteit vol ongekende mogelijkheden — navigeert de universiteit behoedzaam op het kruispunt van innovatie en integriteit.
Soms zie je meteen dat een zin door AI geschreven is. Zoals hierboven.
Maar dat is lang niet altijd het geval. Nu chatbots steeds overtuigender menselijk schrijven, groeit de vraag naar watermerken: manieren waarop AI-gegenereerde content als zodanig herkend kan worden. Recent introduceerde OpenAI het watermerk textGrain, dat onzichtbaar in de teksten van ChatGPT verweven zal worden. Concurrent Anthropic introduceerde eerder een vergelijkbaar systeem voor Claude. Dit ook om te voldoen aan nieuwe EU-transparantieregels rondom het gebruik van kunstmatige intelligentie.
Het herkennen van AI-teksten aan de hand van een watermerk is – net als het gebruik van andere AI-detectoren – geen waterdichte methode om het gebruik van kunstmatige intelligentie vast te stellen.
Vooral korte AI-gegenereerde teksten worden vaak gemist bij het detecteren. Bovendien daalt de detectieratio al snel als gebruikers de gegenereerde tekst bewerken. Bij textGrain deed het wijzigen van 10 procent van de woorden in een tekst de detectiekans al dalen van 92 procent tot 66 procent.
UvA AI Chat
Die ontwikkelingen hebben mogelijk ook gevolgen voor UvA AI Chat. De interne AI-tool van de universiteit draait immers op externe taalmodellen zoals ChatGPT en Claude. Als die techbedrijven watermerken aan hun teksten toevoegen, komen die in theorie automatisch mee naar het UvA-systeem.
Maar of die watermerken daar ook heelhuids aankomen, is nog de vraag. Dat heeft te maken met de manier waarop AI-tools tekst genereren en tekst kunnen watermerken. Taalmodellen voorspellen bij het formuleren van zinnen steeds het meest waarschijnlijke volgende woord uit een lijst van opties, vergelijkbaar met een enorme beslisboom. Een AI-watermerksysteem beïnvloedt die woordkeuzes via een geheime sleutel. Een menselijke lezer merkt niets vreemds aan de tekst, maar onder de motorkap ontstaat een wiskundig patroon dat achteraf met een speciale detector kan worden herkend – simpelweg door te kijken naar welke woordkeuzes het model heeft gemaakt. Volgens een woordvoerder onderzoekt de universiteit momenteel of die watermerken van AI-leveranciers ook intact blijven ‘bij verwerking door de UvA AI Chat software’.
Juridische kwestie
Daarnaast buigt de universiteit zich over een juridische vraag: geldt de UvA met haar eigen chatomgeving wettelijk gezien als ‘AI-aanbieder’ of slechts als ‘AI-gebruiker’? De Europese AI Act is op dit punt voor partijen die andermans modellen toepassen nog niet eenduidig. Mocht UvA AI Chat een ‘aanbieder’ blijken, dan moet de universiteit mogelijk nog aanvullende maatregelen treffen om aan de EU-wetgeving te voldoen.
Voor de Europese AI-wet is het ook belangrijk dat gebruikers weten wanneer zij direct met AI communiceren. Op dat punt voldoet de AI-tool van de UvA al aan de richtlijnen.
