Chatbot van de Amerikaanse CIA toont aan dat AI-copiloten de nieuwe zoekmachines zijn

Onlangs bevestigde de Amerikaanse Central Intelligence Agency (CIA) dat het bezig was met de ontwikkeling van zijn eigen ChatGPT-stijl generatieve AI chatbot.

De virtuele assistent, ontwikkeld door de Open Source Enterprise Unit van de CIA, is ontworpen om zijn inlichtingenanalisten te helpen bij het scannen van open-source inlichtingen en openbare informatie om zijn onderzoeken te stroomlijnen. Het idee is om menselijke onderzoekers uit te rusten om grote datasets snel te interpreteren.

Directeur van de AI-eenheid van de CIA, Randy Nixon, vertelde Bloomberg: “We zijn van kranten en radio naar kranten en televisie gegaan, naar kranten en kabeltelevisie, naar basisinternet, naar big data, en het gaat maar door.

“We moeten naalden in het naaldveld vinden. De omvang van hoeveel we verzamelen en wat we verzamelen is de afgelopen 80 jaar astronomisch gegroeid. Zozeer zelfs dat dit ontmoedigend en soms onbruikbaar kan zijn voor onze consumenten.”

AI-copiloten worden mainstream

De aankondiging komt net op het moment dat China zijn AI-aangedreven bewakingsmogelijkheden uitbreidt, waarbij Reuters ontdekte dat tientallen Chinese bedrijven AI zijn gaan gebruiken om verzamelde gegevens over inwoners te sorteren.

Vanuit dit perspectief is de ontwikkeling van een door ChatGPT geïnspireerde virtuele assistent een poging om ervoor te zorgen dat China geen geautomatiseerde bewakingsvoordelen heeft.

In bredere zin laat het besluit van de CIA om te experimenteren met generatieve AI echter zien hoe de acceptatie van grote taalmodellen (LLM’s) in zowel de particuliere als de publieke sector versnelt.

Net zoals zoekmachines een hulpmiddel voor alle gegevens zijn geworden voor professionals die gegevens verwerken, komen generatieve AI-‘copiloten’ naar voren als een kerntool om menselijke gebruikers de mogelijkheid te geven om enorme datasets samen te vatten en te interpreteren en om terugkerende patronen te helpen identificeren.

In de zakelijke sector meldde OpenAI bijvoorbeeld dat 80% van de Fortune 500-bedrijven experimenteert met ChatGPT. Hoewel geen enkele organisatie hetzelfde is, is een van de belangrijkste uitdagingen waar generatieve AI een antwoord op biedt de noodzaak om ‘naalden in het naaldenveld te vinden’, wat steeds moeilijker wordt.

Data zinvol maken

Bedrijven hebben jarenlang moeite gehad met het verwerken van de grote hoeveelheden data die ze verzamelen. Sommige schattingen suggereren dat ongestructureerde data 80-90% van de data in het bedrijf vertegenwoordigt. Dit zijn allemaal data die op een bepaald niveau door een menselijke gebruiker of belanghebbende moet worden begrepen.

Generatieve AI helpt menselijke gebruikers om zin te geven aan geïsoleerde datasignalen door natuurlijke taalbeschrijvingen te geven van wat de activiteit betekent.

Twee aanbieders hebben deze aanpak tot in de puntjes geïllustreerd, met Google Sec-PaLM die LLM’s gebruikt om de gebruiker te vertellen of een script schadelijk is of niet en Microsoft Security Copilot die deze technologie gebruikt om bedreigingssignalen samen te vatten die uit het hele bedrijfsnetwerk zijn gehaald.

In het geval van de CIA kunnen LLM’s data verwerken die uit verschillende bronnen op het open web zijn gehaald. Ze helpen onderzoekers om geïsoleerde informatie te contextualiseren en patronen te herkennen via een copilot-ervaring. Gebruikers kunnen de chatbot vragen stellen in natuurlijke taal en coherente antwoorden ontvangen om hun onderzoeken te ondersteunen.

Problemen op de weg vooruit

Hoewel generatieve AI veel potentieel biedt om ondernemingen en organisaties in de publieke sector te helpen bij het verwerken van grote datasets, opent het ook de deur naar een aantal serieuze ethische zorgen.

Een van de belangrijkste kwesties is de vraag of de persoonlijk identificeerbare informatie (PII) van een gebruiker van het openbare web wordt geschraapt.

Tegelijkertijd, als dit een black box AI-model is dat niet openbaar wordt gemaakt, welke waarborgen zijn er dan om ervoor te zorgen dat de CIA AI ethisch en verantwoord gebruikt? Zijn er maatregelen genomen om te voorkomen dat er gegevens worden verzameld of verwerkt waartoe het niet is geautoriseerd, een gebied waar de EU de NSA in het verleden voor heeft bekritiseerd?

Evenzo kan de CIA het zich niet veroorloven om een ​​aantal van de belangrijke gebreken in moderne taalmodellen over het hoofd te zien, zoals hun vermogen om te hallucineren of feiten en cijfers te verzinnen.

Erkenning van “The Crazy Drunk Friend”

Gelukkig lijkt het erop dat de CIA deze beperkingen erkent als onderdeel van haar roadmap. Zoals de CTO van de CIA, Nand Mulchandani, uitlegde op de Billington Cybersecurity Summit, is generatieve AI weliswaar een handig hulpmiddel om patronen in grote datasets te ontdekken, maar gebruikers kunnen “uitgedaagd” worden op “gebieden waar precisie vereist is”.

Hoewel Mulchandani suggereerde dat inlichtingenanalisten chatbots als “de gekke dronken vriend” zouden behandelen en hun output zouden onderzoeken, vormt de neiging van deze tools om misinformatie te verspreiden nog steeds een ernstig risico voor surveillance-organisaties.

Het toestaan ​​van de verspreiding van hallucinaties zou ernstige reputatie- en juridische gevolgen kunnen hebben voor ondernemingen.

In een nationale veiligheidscontext is de foutenmarge veel kleiner en slechts één scenario waarin een inlichtingenanalist nalaat om feiten te controleren voordat hij handelt op basis van valse informatie, zou een verwoestende impact in de echte wereld kunnen hebben.