In juni vorig jaar werd het populaire YouTube-kanaal van de Kroatische schaakvlogger Antonio Radi, ofwel ‘agadmator’, geblokkeerd vanwege ‘schadelijke en gevaarlijke’ inhoud. Binnen de 24 uur kon de schaker terugkeren naar het platform, maar een verklaring van YouTube over de reden voor de ban bleef uit. 

De zaak wekte de interesse van onderzoekers, die vooral letten op de timing van het voorval. Het kanaal ging namelijk offline na een interview met Hikaru Nakamura, een veelvoudig schaakkampioen en de jongste Amerikaan ooit die de titel van Grandmaster kreeg. En - zoals gebruikelijk in de schaakwereld - kwam daar een hoop ‘zwart-witpraat’ aan te pas. 

,,We weten niet welke tools YouTube gebruikt, maar als ze vertrouwen op artificiële intelligentie (AI) om racistische taal op te sporen, kunnen dit soort ongelukken makkelijk plaatsvinden’’, zegt Ashique KhudaBukhsh, computerwetenschapper aan het Carnegie Melon’s Language Technologies Institute. Om dit vermoeden te bevestigen, screenden de onderzoekers in totaal meer dan 680.000 commentaren van vijf populaire schaakgerelateerde YouTube-kanalen. Bijna duizend daarvan werden door een algoritme als ‘haatzaaiend’ bestempeld. Na verder onderzoek bleek echter dat meer dan 80 procent van de commentaren helemaal geen racistische insteek had. Wel stonden ze bol van woorden zoals ‘zwart’, ‘wit’, ‘aanval’ en ‘bedreiging’. 

De nauwkeurigheid van dit soort software hangt af van de voorbeelden die het krijgt, aldus KhudaBukhsh. Hij herinnerde zich bijvoorbeeld een oefening die hij als student kreeg, waarbij het doel was om ‘luie honden’ en ‘actieve honden’ te identificeren in een set van foto’s. Veel van de trainingsfoto’s van actieve honden toonden uitgestrekte grasvlaktes, omdat rennende honden zich vaak in de verte bevonden. Als gevolg daarvan identificeerde het programma soms foto’s met grote hoeveelheden gras als voorbeelden van actieve honden, zelfs wanneer er geen honden op de foto’s te bespeuren waren.

Naast menselijke moderatoren gebruikt YouTube ook AI-algoritmes om verboden inhoud op te sporen, maar als die dus te weinig of onjuiste voorbeelden gevoed krijgen, worden ze ‘overgevoelig’ en blokkeren ze de verkeerde inhoud. De onderzoekers vragen dan ook om schaaktaal in het algoritme op te nemen, om toekomstige misverstanden te voorkomen.