De National Telecommunications and Information Administration (NTIA), een afdeling van het Amerikaanse ministerie van Handel, verzocht om publiek commentaar op strategieën om verantwoording in vertrouwde kunstmatige intelligentiesystemen (AI) aan te moedigen.

Het doel was om feedback van belanghebbenden te vragen om suggesties te formuleren voor een aankomend rapport over AI-borgings- en verantwoordingskaders. Deze suggesties hadden als leidraad kunnen dienen voor toekomstige federale en niet-gouvernementele regelgeving.

Volgens het verzoek van NTIA was het bevorderen van betrouwbare AI die de mensenrechten en democratische principes eerbiedigt een primaire federale focus. Er zijn echter hiaten in het waarborgen dat AI-systemen verantwoordelijk zijn en zich houden aan betrouwbare AI-normen op het gebied van eerlijkheid, veiligheid, privacy en transparantie.

Verantwoordingsmechanismen zoals audits, effectbeoordelingen en certificeringen kunnen zekerheid bieden dat AI-systemen voldoen aan de vertrouwenscriteria. Maar NTIA merkte op dat het implementeren van effectieve verantwoording nog steeds uitdagingen en complexiteit met zich meebracht.

NTIA besprak verschillende overwegingen met betrekking tot de balans tussen betrouwbare AI-doelen, belemmeringen voor het implementeren van verantwoording, complexe AI-toeleveringsketens en waardeketens, en moeilijkheden bij het standaardiseren van metingen.

Meer dan 1.450 opmerkingen over AI-verantwoordelijkheid

Reacties werden tot 12 juni geaccepteerd om het toekomstige rapport van NTIA vorm te geven en mogelijke beleidsontwikkelingen rond AI-verantwoording te begeleiden.

Het aantal reacties overschreed de 1.450.

De commentaren, die op trefwoord kunnen worden doorzocht, bevatten af ​​en toe links naar artikelen, brieven, documenten en rechtszaken over de mogelijke impact van AI.

Techbedrijven reageren op NTIA

De opmerkingen bevatten opmerkingen van de volgende technologiebedrijven die werken aan de ontwikkeling van AI-producten voor de werkplek.

OpenAI-brief aan de NTIA

In de OpenAI-brief verwelkomde hij NTIA’s formulering van de kwestie als een “ecosysteem” van AI-verantwoordingsmaatregelen die nodig zijn om betrouwbare kunstmatige intelligentie te garanderen.

OpenAI-onderzoekers waren van mening dat een volwassen AI-accountability-ecosysteem zou bestaan ​​uit algemene accountability-elementen die breed van toepassing zijn op domeinen en verticale elementen die zijn aangepast voor specifieke contexten en toepassingen.

OpenAI heeft zich gericht op het ontwikkelen van kernmodellen – breed toepasbare AI-modellen die leren van grote datasets.

Het beschouwt de noodzaak van een beveiligingsgerichte benadering van deze modellen, ongeacht de specifieke domeinen waarin ze kunnen worden gebruikt.

OpenAI heeft verschillende huidige benaderingen van AI-verantwoordelijkheid beschreven. Publiceert “systeemkaarten” om transparantie te bieden over belangrijke prestatieproblemen en risico’s van nieuwe modellen.

Voert kwalitatieve “red team”-testen uit om mogelijkheden en faalwijzen te onderzoeken. Voert kwantitatieve beoordelingen uit van verschillende capaciteiten en risico’s. En het heeft een duidelijk gebruiksbeleid dat schadelijk gebruik verbiedt, samen met handhavingsmechanismen.

OpenAI herkende verschillende belangrijke onopgeloste uitdagingen, waaronder het evalueren van potentieel gevaarlijke mogelijkheden naarmate modelmogelijkheden blijven evolueren.

Hij besprak open vragen over onafhankelijke evaluaties van zijn modellen door derden. En hij suggereerde dat registratie- en licentievereisten nodig kunnen zijn voor toekomstige funderingsmodellen met aanzienlijke risico’s.

Hoewel de huidige praktijken van OpenAI gericht zijn op transparantie, testen en beleid, leek het bedrijf open te staan ​​voor samenwerking met beleidsmakers om sterkere verantwoordingsmaatregelen te ontwikkelen. Hij suggereerde dat op maat gemaakte regelgevingskaders nodig kunnen zijn voor competente AI-modellen.

Over het algemeen weerspiegelde de reactie van OpenAI de overtuiging dat een combinatie van zelfregulerende inspanningen en overheidsbeleid een cruciale rol zou spelen bij de ontwikkeling van een effectief AI-ecosysteem voor verantwoording.

Brief van Microsoft aan de NTIA

In haar reactie verklaarde Microsoft dat verantwoording een kernelement zou moeten zijn van raamwerken om de risico’s van AI aan te pakken en tegelijkertijd de voordelen ervan te maximaliseren. Bedrijven die AI ontwikkelen en gebruiken, moeten verantwoordelijk worden gehouden voor de impact van hun systemen, en toezichthoudende instellingen hebben de autoriteit, kennis en hulpmiddelen nodig om adequaat toezicht uit te oefenen.

Microsoft schetste de lessen uit zijn verantwoorde AI-programma, dat ervoor moet zorgen dat machines onder menselijke controle blijven. Verantwoording is ingebed in de bestuursstructuur en de Responsible AI-standaard en omvat:

Voer effectbeoordelingen uit om potentiële schade te identificeren en aan te pakken. Extra monitoring voor risicovolle systemen. Documentatie om ervoor te zorgen dat systemen geschikt zijn voor hun doel. Praktijken op het gebied van governance en gegevensbeheer. Het bevorderen van menselijke richting en controle. Microsoft beschreef hoe het teams redde om mogelijke schade en bugs te ontdekken en transparantienota’s publiceert voor zijn AI-services. De nieuwe Bing-zoekmachine van Microsoft past deze verantwoorde AI-aanpak toe.

Microsoft deed zes aanbevelingen voor het bevorderen van verantwoording:

Maak gebruik van het AI Risk Management Framework van NIST om het gebruik van verantwoordingsmechanismen zoals effectbeoordelingen en red teaming te versnellen, met name voor AI-systemen met een hoog risico. Ontwikkel een wettelijk en regelgevend kader op basis van de AI-technologiestack, inclusief licentievereisten voor funderingsmodellen en infrastructuuraanbieders. Bevorder transparantie om verantwoording mogelijk te maken, bijvoorbeeld door middel van een register van AI-systemen met een hoog risico. Investeer in het opbouwen van capaciteit voor wetgevers en regelgevers om de ontwikkelingen op het gebied van AI bij te houden. Investeer in onderzoek om AI-evaluatiebenchmarks, uitlegbaarheid, interactie tussen mens en computer en beveiliging te verbeteren. Ontwikkelen en afstemmen op internationale standaarden ter ondersteuning van een assurance-ecosysteem, inclusief ISO AI-standaarden en standaarden voor herkomst van content. Over het algemeen leek Microsoft bereid om met belanghebbenden samen te werken om effectieve benaderingen van AI-verantwoordelijkheid te ontwikkelen en te implementeren.

Microsoft leek over het algemeen bereid om samen te werken met belanghebbenden om effectieve benaderingen van AI-verantwoordelijkheid te ontwikkelen en te implementeren.

Brief van Google aan de NTIA

Het antwoord van Google verwelkomde het verzoek van NTIA om commentaar op het AI-aansprakelijkheidsbeleid. Hij erkende de noodzaak van zowel zelfregulering als bestuur om betrouwbare AI te bereiken.

Google benadrukte zijn eigen werk op het gebied van AI-veiligheid en -ethiek, zoals een reeks AI-principes gericht op eerlijkheid, veiligheid, privacy en transparantie. Google implementeerde ook intern verantwoorde AI-praktijken, waaronder het uitvoeren van risicobeoordelingen en beoordelingen van eerlijkheid.

Google onderschrijft het gebruik van bestaande regelgevingskaders, waar van toepassing, en op risico gebaseerde interventies voor AI met een hoog risico. Het moedigde het gebruik aan van een op samenwerking gebaseerde consensusbenadering voor de ontwikkeling van technische normen.

Google was het ermee eens dat verantwoordingsmechanismen zoals audits, beoordelingen en certificeringen betrouwbare AI-systemen kunnen garanderen. Maar hij merkte op dat dergelijke mechanismen bij de implementatie voor uitdagingen staan, waaronder het beoordelen van de veelheid aan aspecten die van invloed zijn op de risico’s van een AI-systeem.

Google adviseerde om verantwoordingsmechanismen te richten op de belangrijkste risicofactoren en stelde voor benaderingen te gebruiken die zich richten op de meest waarschijnlijke manieren waarop AI-systemen de samenleving aanzienlijk kunnen beïnvloeden.

Google heeft een model voor AI-regulering aanbevolen, waarbij regelgevers uit de sector toezicht houden op de implementatie van AI met begeleiding van een centrale instantie als NIST. Hij steunde het verduidelijken van de manier waarop bestaande wetten van toepassing zijn op AI en het aanmoedigen van evenredige, op risico gebaseerde aansprakelijkheidsmaatregelen voor AI met een hoog risico.

Net als anderen geloofde Google dat het een combinatie van zelfregulering, technische standaarden en beperkt, op risico’s gebaseerd overheidsbeleid nodig zou hebben om AI-verantwoordelijkheid te bevorderen.

Antropische brief aan de NTIA

Het antwoord van Anthropic beschreef de overtuiging dat een robuust AI-ecosysteem voor verantwoording mechanismen vereist die zijn toegesneden op AI-modellen. Hij identificeerde verschillende uitdagingen, waaronder de moeilijkheid om AI-systemen rigoureus te evalueren en toegang te krijgen tot gevoelige informatie die nodig is voor audits zonder de beveiliging in gevaar te brengen.

Financiering ondersteund door Anthropic voor het volgende:

Modelbeoordelingen: Huidige beoordelingen zijn een onvolledige lappendeken en vereisen gespecialiseerde expertise. Hij adviseerde standaardisatie van bekwaamheidsbeoordelingen gericht op risico’s zoals misleiding en autonomie. Interpreteerbaarheidsonderzoek: Subsidies en financiering voor interpreteerbaarheidsonderzoek kunnen meer transparante en begrijpelijke modellen mogelijk maken. De regelgeving die interpreteerbaarheid vereist, is momenteel echter onwerkbaar. Preregistratie van grote AI-trainingssessies: AI-ontwikkelaars moeten grote trainingssessies melden aan toezichthouders om hen te informeren over nieuwe risico’s onder passende vertrouwelijkheidsbescherming. Externe Red Teaming: Verplichte vijandige tests van AI-systemen vóór de lancering, hetzij via een gecentraliseerde organisatie zoals NIST, hetzij via toegang voor onderzoekers. Het talent van het rode team bevindt zich momenteel echter in privé-AI-labs. Auditors met technische expertise, beveiligingsbewustzijn en flexibiliteit: auditors hebben diepgaande expertise op het gebied van machine learning nodig om lekken of hacking te voorkomen, maar ze moeten ook werken binnen beperkingen die het concurrentievermogen bevorderen. Door Anthropic aanbevolen verantwoordingsmaatregelen op basis van de capaciteiten van een model en de aangetoonde risico’s, beoordeeld door middel van gerichte capaciteitsbeoordelingen. Hij stelde voor om kaders voor IP-eigendom voor AI te verduidelijken om eerlijke licenties mogelijk te maken en om begeleiding te bieden bij antitrustkwesties om beveiligingssamenwerkingen mogelijk te maken. Over het algemeen benadrukte Anthropic de moeilijkheden van het rigoureus beoordelen van en toegang krijgen tot informatie over geavanceerde AI-systemen vanwege hun gevoelige aard. Hij voerde aan dat het financieren van capaciteitsbeoordelingen, interpreteerbaarheidsonderzoek en toegang tot computerbronnen van cruciaal belang zijn voor een effectief AI-ecosysteem voor verantwoording dat de samenleving ten goede komt.

Wat je hierna kunt verwachten

Uit reacties op NTIA’s verzoek om commentaar blijkt dat hoewel AI-bedrijven het belang van verantwoording erkennen, er nog steeds open vragen en uitdagingen zijn rond het implementeren en opschalen van doeltreffende verantwoordingsmechanismen

Ze geven ook aan dat zowel de zelfregulerende inspanningen van het bedrijfsleven als het overheidsbeleid een rol zullen spelen bij de ontwikkeling van een robuust AI-accountability-ecosysteem.

In de toekomst zal het NTIA-rapport naar verwachting aanbevelingen doen voor het bevorderen van het AI-accountability-ecosysteem door gebruik te maken van bestaande zelfregulerende inspanningen, technische normen en overheidsbeleid. De input van belanghebbenden via het feedbackproces zal waarschijnlijk helpen om deze aanbevelingen vorm te geven.

Het implementeren van aanbevelingen in concrete beleids- en praktijkveranderingen in de industrie die de manier waarop AI wordt ontwikkeld, ingezet en gecontroleerd, kan veranderen, vereist echter coördinatie tussen overheidsinstanties, technologiebedrijven, onderzoekers en andere belanghebbenden.

De weg naar volwassen AI-verantwoordelijkheid belooft lang en moeilijk te worden. Maar deze eerste stappen laten zien dat er momentum is om dit doel te bereiken.

Uitgelichte afbeelding: EQRoy/Shutterstock

Source link