Europese wetgeving voor het gebruik van AI: Wat betekent dit voor jouw organisatie?

Begin maart 2024 is de Europese AI-verordening (AI Act) aangenomen, die in 2026 van kracht wordt. De verordening geldt voor iedereen die: zelf AI produceert, AI op de markt zet, of die AI inzet. De verordening benadrukt dat met name de AI-systemen die autonoom kunnen opereren zorgen voor risico's. Met de AI Act streeft men ernaar om deze risico's te beheersen en te waarborgen dat individuen en bedrijven binnen de EU kunnen vertrouwen op AI-systemen. Ze moeten veilig en juist werken, controleerbaar zijn, niet discrimineren en de mens moet kunnen ingrijpen. De AI Act richt zich op drie belangrijke pijlers: een risico-gebaseerde aanpak, transparantie en uitlegbaarheid, en data governance.

De AI Act onderscheidt vier risicocategorieën: onacceptabel risico, hoog-risico, laag-risico en minimaal risico.

In de categorie van onacceptabele risico's valt bijvoorbeeld sociale scoring, waarbij menselijke activiteiten voortdurend worden gemonitord en beloond met punten voor goed gedrag, zoals praktijken die we zien in landen zoals China. In Europa wordt dit soort mass-surveillance verboden, al zijn er uitzonderingen voor opsporingsdiensten.

De verordening legt met name de nadruk op de categorie 'hoog-risico'. Om te kwalificeren als 'hoog-risico' moet het gebruik van AI zodanig zijn dat het schade zou kunnen veroorzaken aan de gezondheid, veiligheid en fundamentele rechten van personen in de EU. Dit kan in twee gevallen aan de orde zijn: ten eerste wanneer het AI-systeem een veiligheidscomponent is van een bij wet gereguleerd product, zoals medische hulpmiddelen. Ten tweede wanneer het wordt gebruikt in een van de acht hoog-risico-domeinen: biometrische identificatie, kritieke infrastructuur, onderwijs, werkgelegenheid en HR, toegang tot en gebruik van essentiële particuliere diensten en essentiële openbare diensten, wetshandhaving, migratie en asiel, of rechtspraak en democratische processen.

Organisaties die hoog-risico AI-systemen gebruiken moeten een Fundamental Rights Impact Assessment (FRIA) uitvoeren. Hierbij worden de risico's in kaart gebracht voor belangrijke kwesties zoals veiligheid, privacy en discriminatie. Een tweede stap is het opzetten van een risicomanagementsysteem om de risico's te mitigeren en te evalueren. Transparantie is van essentieel belang. Gebruikers moeten begrijpen hoe het AI-systeem werkt en technische documentatie wordt verplicht om automatisch gegenereerde beslissingen te kunnen traceren en controleren. Bovendien is menselijk toezicht vereist bij het gebruik van het AI-systeem, zodat er interventies kunnen plaatsvinden om risico's te voorkomen of het systeem te stoppen bij afwijking van de bedoelde werking. Zo moet schade en vooringenomenheid worden voorkomen.

Alle AI systemen – en dus ook laag-risico AI systemen – moeten gaan voldoen aan transparantieverplichtingen. Individuen hebben recht op informatie en uitleg en moeten beschermd worden tegen discriminatie. Er moet duidelijk worden gemaakt waarom en hoe een organisatie AI-systemen gebruikt, hoe deze beslissingen worden genomen en welke gegevens worden gebruikt voor training van het systeem. Een voorbeeld hiervan is dat het voor jou als consument duidelijk moet zijn dat je praat met een chatbot in plaats van een persoon.

De AI Act verplicht om, in ieder geval bij hoog-risico systemen, kwalitatieve en representatieve data te gebruiken. Hierbij is een systeem voor gegevensbeheer van noodzakelijk. Het is daarom verstandig om een heldere visie te hebben over de data die jouw organisatie verzamelt en gebruikt voor AI systemen. Ook is technische documentatie vereist zodat fouten kunnen worden opgespoord en is het daarnaast van belang dat de gebruikers van het systeem weten hoe ze het systeem juist kunnen gebruiken.

Ondanks de risico's die aan het gebruik van AI kleven, kan deze technologie van groot (maatschappelijk) nut zijn. Denk hierbij bijvoorbeeld aan het verbeteren van de klantenservice en aan het optimaliseren van de gezondheidszorg. De EU is zich bewust van de vooruitgang die AI biedt en wilt met de verordening juist innovatie stimuleren. Het vinden van evenwicht tussen reguleren en innoveren zal echter een lastige opgave blijven.

Sven Stevensen van de Autoriteit Persoonsgegevens benadrukt het belang van verantwoord omgaan met AI: "Verantwoord omgaan met AI betekent een holistische benadering van AI met een goed begrip van het proces en de impact ervan op betrokkenen." Hij voegt eraan toe: "Ethische vragen moeten worden gesteld vóór de implementatie: de vooruitgang van de een mag niet leiden tot achteruitgang van de ander." Verantwoord omgaan met AI betekent ook dat je de onbedoelde effecten van AI meeneemt in je afweging om wel of geen AI te gebruiken.