Ostaessasi tuotteita affiliate-linkkien kautta verkkosivustollamme, saatamme saada komission, josta ei kerry lisäkustannuksia sinulle. Lue lisää 
Tällä hetkellä tekoäly (AI) järisyttää monia aloja, kuten terveydenhuoltoa, liikennettä, rekrytointia, rahoitusta ja markkinointia. Suuret kielimallit (LLM) ovat tämän kehityksen eturintamassa, joten niiden turvallisuuden, rajoitusten ja riskien käsitteleminen on tärkeämpää kuin koskaan.
Tulevaisuudessa luotettavin tekoälymalli on se, jota todennäköisesti käytetään eniten. Eettisten valintojen helpottamiseksi eri LLM-mallien luotettavuutta on arvioitu DecodingTrust-kehykseen perusteella.
Alusta voitti palkinnon NeurIPs’23-tapahtumassa ja tarjoaa yksityiskohtaisia arvioita LLM-mallien riskeistä ja luotettavuudesta.
Nyt tarkastelemme sitä, miten nämä arviot luodaan. Lisäksi pyrimme tuomaan esille tekoälymalleja, jotka ovat keskiössä silloin, jos luottamus ja turvallisuus on ensisijainen huolenaihe.
10 luotettavinta tekoälymallia
Vuonna 2024 LLM Safety Leaderboard, jonka isäntänä toimii Hugging Face, arvioi Anthropicin Claude 2.0 –kielimallin turvallisimmaksi malliksi. Se sai arvostelussa pisteitä 85.
Claude 2.0:n jälkeen tulevat Metan Llama-2-7b-chat-hf (75 pistettä) ja OpenAI GPT-3.5-turbo-0301 (72 pistettä).
Testien perusteella tehdyt johtopäätökset:
- GPT-4 on virhealttiimpi kuin GPT-3.5.
- Mikään yksittäinen LLM-malli ei ole paras kaikilla luotettavuuden osa-alueilla. Eri mallit loistavat eri alueilla.
- Yhden ominaisuuden parantaminen voi heikentää jonkin toisen turvallisuutta.
- LLM-mallit ymmärtävät yksityisyyteen liittyviä termejä eri tavoin, joten niiden kanssa on syytä olla tarkkana. Esimerkiksi GPT-4 ei välttämättä vuoda yksityisiä tietoja, kun sitä pyydetään olemaan “luottamuksellinen”, mutta saattaa tehdä niin, kun käytetään termiä “salaisesti”.
- LLM-malleja voidaan johtaa harhaan vihamielisillä tai hankalilla ohjeilla
Luotettavin tekoälymalli: mitä tarkoitetaan “luotettavuudella”?
LLM Safety Leaderboard käyttää DecodingTrust-kehystä, joka tarkastelee kahdeksaa keskeistä luotettavuuden osa-aluetta:
1. Toksisuus
DecodingTrust testaa, miten hyvin tekoäly käsittelee haastavia syötteitä, jotka voivat johtaa toksisiin tai muutoin vahingollisiin vastauksiin. Se luo tarkoituksella vaikeita tilanteita ja tarkistaa tekoälyn vastaukset toksisen sisällön varalta.
2. Stereotypiat ja puolueellisuus
Arvioinnissa käydään läpi, kuinka puolueellinen tekoäly on eri väestöryhmiä ja stereotypioita kohtaan. Tekoälyä testataan useilla syötteillä, jotta voidaan nähdä, kohteleeko se jotain ryhmää epäoikeudenmukaisesti.
3. Vihamielisyyden kestävyys
Tässä testataan sitä, miten hyvin tekoäly käyttäytyy, kun sille annetaan hankalia ja harhaanjohtavia syötteitä. Testaamisen aikana käytetään viittä erilaista hyökkäystapaa tekoälyn kestävyyden mittaamiseksi.
4. Jakelun ulkopuolinen kestävyys
Tässä kohdin testataan sitä, kuinka hyvin tekoäly käsittelee epätavallisia tai harvinaisia syötteitä, kuten Shakespeare-tyylistä vanhahtavaa kieltä tai runomuotoja.
Samoin pyritään ottamaan selvää, voiko se vastata kysymyksiin silloin, kun kyseisiin kysymyksiin tarvittavaa tietoa ei ole ollut käytettävissä tekoälyn koulutuksen aikana.
5. Yksityisyys
Yksityisyyttä testataan siten, luovuttaako tekoäly arkaluonteisia tietoja ulkopuolisille. Siinä arvioidaan samalla myös sitä, kuinka hyvin tekoäly ymmärtää yksityisyyteen liittyviä termejä ja tilanteita.
6. Suhtautuminen disinformaatioon
Tekoälyä testataan esimerkeillä, jotka sisältävät väärää tai harhaanjohtavaa tietoa, jotta voidaan arvioida sen kykyä tunnistaa ja käsitellä tällaisia tilanteita.
Esimerkiksi verkkorikolliset käyttävät tekoälyä tehokkaasti hyväkseen, yrittäessään keksiä uudenlaisia tapoja ihmisten höynäyttämiseen.
7. Tekoälyn etiikka
Tässä kohtaa testataan tekoälyn kykyä tunnistaa ja välttää moraalitonta käytöstä. Tätä varten luotuja tietokantoja ja ohjeita käytetään tarkistamaan, voiko tekoäly tunnistaa ja reagoida eettisiä ongelmia.
8. Tasa-arvoisuus
Tasa-arvoon liittyvissä testeissä tarkastellaan, kohteleeko tekoäly kaikkia ihmisiä tasapuolisesti riippumatta heidän taustastaan. Mallille annetaan haastavia kysymyksiä, joilla pyritään selvittämään, onko se puolueellinen vastauksissaan.
Jokainen osa-alue pisteytetään asteikolla 0–100 siten, että korkeammat pisteet merkitsevät parempaa suoritusta.
Jotta tekoälymallit olisivat vastuullisia, niiden on suoriuduttava hyvin kaikilla näillä osa-alueilla. DecodingTrust antaa kokonaisarvosanan luotettavuudesta, ja korkeammat pisteet osoittavat luotettavampia malleja.
Luotettavin tekoälymalli – Yhteenveto
Panokset ovat tällä hetkellä ja tulevaisuudessa äärimmäisen kovat. Tekoälymallit siirtyvät jatkuvasti tekemään yhä tärkeämpiä tehtäviä, jolloin luotettava data ei ole vaihtoehto – se on välttämättömyys.
Viimeisimmät tulokset osoittavat, ettei mikään yksittäinen malli ole paras kaikilla osa-alueilla, vaan jokaisella on omat vahvuutensa ja heikkoutensa. Anthropicin Claude 2.0 on tällä hetkellä turvallisin malli, GPT-4:n taipumus antaa vääriä vastauksia varsinkin normaalia haasteellisempiin syötteisiin osoittaa puolestaan kiireellistä päivitysten tarvetta.
Toisin sanoen tarvitaan jatkuvaa tutkimusta ja innovointia. Luotettavampien ja eettisempien tekoälyteknologioiden luonti ei ole ainoastaan tekninen haaste, vaan myös moraalinen velvollisuus. Tulevaisuus riippuu pitkälti siitä, kuinka hyvin kohtaamme tämän haasteen.
