Welke AI-praktijken verbiedt de AI-verordening?
Kort antwoord
De AI-verordening (Regulation (EU) 2024/1689, "EU AI Act" of "AI-verordening") verbiedt een afgebakende lijst van AI-toepassingen die als "onaanvaardbaar risico" worden beschouwd. Het gaat om systemen die misbruik maken van kwetsbaarheden, manipulatief of discriminerend zijn, of die de grondrechten ernstig onder druk zetten. Daarnaast bevat de verordening een paar nauw omschreven uitzonderingen, vooral voor medisch gebruik, rechtshandhaving en onderzoek.
Wat de verordening in het algemeen verbiedt (kern: Artikel 5)
Artikel 5 van de AI-verordening bevat de gesloten lijst van verboden AI-praktijken. Wie een dergelijk systeem op de EU-markt brengt, in gebruik neemt of de output ervan gebruikt, overtreedt de verordening. De verbodsbepaling is direct toepasselijk en lidstaten mogen op dit punt geen lagere (soepelere) eisen stellen.
De verboden praktijken komen in hoofdlijnen op het volgende neer:
| # | Verboden praktijk (kern) | Toelichting |
|---|---|---|
| 1 | Subliminale, manipulatieve of misleidende technieken die een persoon ertoe brengen schadelijk gedrag te stellen dat hij anders niet zou hebben gesteld, en die een aanzienlijke schade veroorzaken. | Geldt niet voor marketing zonder aantoonbaar causaal verband met ernstige schade. |
| 2 | Exploitatie van kwetsbaarheden van personen door leeftijd, handicap of sociale/economische situatie, waardoor die persoon wordt bewogen tot schadelijk gedrag. | Denk aan gerichte beïnvloeding van kinderen, ouderen of personen met een beperking. |
| 3 | Sociale scoring door of namens publieke autoriteiten, die leidt tot ongunstige behandeling in een niet-verwante context of die disproportioneel uitpakt. | Het Amerikaanse voorbeeld van een "sociale kredietscore" is hier het archetype. |
| 4 | Realtime biometrische identificatie op afstand in publiek toegankelijke ruimten door rechtshandhavingsinstanties. | Strikt beperkte uitzonderingen, zie onder. |
| 5 | Biometrische categorisering om gevoelige kenmerken af te leiden (etnische herkomst, politieke opvattingen, vakbondslidmaatschap, religieuze of filosofische overtuiging, seksleven of seksuele gerichtheid). | Uitgezonderd: het labelen of filteren van biometrische datasets en opsporing door politie binnen wettelijke kaders. |
| 6 | Predictive policing louter op basis van profilering, persoonlijkheidskenmerken of andere inherente kenmerken, zonder dat dit wordt ondersteund door een objectieve en verifieerbare aanwijzing. | Risico op discriminatoire uitkomsten is de grondslag van het verbod. |
| 7 | Ongerichte scraping van gezichtsafbeeldingen van internet of CCTV-beelden om gezichtsherkenningsdatabases op te bouwen of uit te breiden. | Gerichte, proportionele scraping met een rechtsbasis blijft buiten dit verbod. |
| 8 | Herleiding van emoties in de werksfeer en het onderwijs, behalve om veiligheids- of medische redenen. | Uitzondering voor therapeutisch/medisch gebruik. |
| 9 | Biometrische categorisering die afzonderlijk of in combinatie met andere gegevens raciale of etnische herkomst, politieke opvattingen, vakbondslidmaatschap, religieuze of filosofische overtuiging, seksleven of seksuele gerichtheid "afleidt of gokt". | Geldt ook wanneer de gevoelige kenmerken via proxies worden afgeleid. |
Naast deze lijst verbiedt de verordening het op de markt brengen, in gebruik nemen of het gebruik van biometrische identificatiesystemen op afstand in realtime in publiek toegankelijke ruimten voor rechtshandhaving, behoudens de strikte uitzonderingen.
Belangrijkste uitzonderingen
De verordening kent een aantal nauw omschreven uitzonderingen op de verboden. De belangrijkste:
-
Realtime biometrische identificatie op afstand door de politie is toegestaan als de inzet strikt noodzakelijk is voor:
- het zoeken naar slachtoffers van specifieke misdrijven (ontvoering, mensenhandel, seksuele uitbuiting);
- het voorkomen van een imminente, aanzienlijke bedreiging van het leven, bijvoorbeeld een terroristische aanslag;
- het lokaliseren of identificeren van verdachten van een ernstig strafbaar feit waarop in de lidstaat een vrijheidsstraf van ten minste drie jaar staat. Voor elk gebruik gelden aanvullende eisen: een voorafgaande rechterlijke of onafhankelijke administratieve toetsing (met spoedvariant), een geografisch en temporeel afgebakende inzet, en een verplichte melding aan de toezichthouder.
-
Emotieherkenning is toegestaan buiten werk en onderwijs, en binnen die domeinen uitsluitend om medische of veiligheidsredenen (bijvoorbeeld een bestuurder die dreigt in slaap te vallen).
-
Biometrische categorisering van datasets is toegestaan voor legitieme datasetcuratie en politieonderzoek dat onder de nationale strafvordering valt.
-
Wetenschappelijk onderzoek en ontwikkeling valt buiten de verboden, mits het onderzoek een passende ethische toets heeft.
-
Nationale veiligheid, defensie en militaire toepassingen vallen buiten het toepassingsbereik van de verordening (zie Artikel 2).
Wat betekent dit in de praktijk?
- Een werkgever die met AI de emoties van medewerkers tijdens een teamoverleg meet om de "bevlogenheid" te beoordelen, overtreedt de verordening.
- Een gemeente die met AI burgers een "betrouwbaarheidsscore" toekent die doorwerkt in de toegang tot sociale voorzieningen, overtreedt de verordening.
- Een webplatform dat ongericht miljoenen gezichten van sociale media schraapt om een gezichtsherkenningsdatabase te bouwen, overtreedt de verordening.
- De politie die op een druk plein realtime camerabeelden met gezichtsherkenning koppelt aan een opsporingsregister, overtreedt de verordening, tenzij aan de strikte uitzonderingen is voldaan.
Wanneer treedt dit in werking?
De verboden van Artikel 5 zijn van toepassing zes maanden na de inwerkingtreding van de verordening (verwacht: medio 2025). Het toezicht en de handhaving worden uitgevoerd door de aangewezen nationale toezichthoudende autoriteit van de lidstaat, in Nederland in beginsel de Autoriteit Persoonsgegevens (AP).
Bron en verificatie
Officiële tekst van de verordening en de bijbehorende artikelen op EUR-Lex (CELEX-nummer 32024R1689):
- Regulation (EU) 2024/1689 van het Europees Parlement en de Raad — https://eur-lex.europa.eu/legal-content/NL/TXT/?uri=CELEX:32024R1689
- Artikel 5 (verboden AI-praktijken): https://eur-lex.europa.eu/legal-content/NL/TXT/?uri=CELEX:32024R1689#art_5
Caveat. Dit artikel is een leeswijzer, geen juridisch advies. De verbodsbepalingen bevatten nuance en de toepassing is sterk casuïstisch. Raadpleeg de volledige tekst op EUR-Lex en bij twijfel een gespecialiseerd advocaat voor uw concrete situatie.