Turingin testi

Tiivistelmä

Turingin testi on Alan Turingin vuonna 1950 kehittämä menetelmä, jolla voidaan arvioida koneen kykyä jäljitellä ihmisen kaltaista älykkyyttä. Testissä koneen on tarkoitus tuottaa ihmisen vastauksia, joita ei voi erottaa oikean ihmisen vastauksista. Jos niiden lukija ei pysty luotettavasti erottamaan koneen vastauksia ihmisen vastauksista, koneen katsotaan läpäisseen Turingin testin.

Turingin testi on käsite, joka liittyy läheisesti tietotekniikan historiaan. Siinä on kyse Alan Turingin kehittämästä kokeesta, jossa pyritään ottamaan selvää, pystyykö jokin tietty laite tuottamaan sellaisia tulosteita, joita on mahdoton erottaa ihmisen tekemistä tulosteista.

Vaikkakin sen merkitys on hiljalleen vähentynyt, se on tärkeä käsite ymmärtää tietotekniikan historian kannalta. Mikäli olet jollakin tasolla kiinnostunut tekoälystä, Turingin nimi pulpahtelee esiin säännöllisesti.

Mikä on Turingin testi?

Turingin testi on tekoälyä arvioiva työkalu, jonka esitteli vuonna 1950 tohtori Alan Turing – kuuluisa brittiläinen matemaatikko ja tietojenkäsittelijä. Turing etsi yksinkertaista tapaa vastata kysymykseen “Voivatko koneet ajatella kuten ihmiset?”

Sen sijaan, että hän olisi sukeltanut syvälle filosofisiin pohdiskeluun siitä, mitä ajattelu itse asiassa tarkoittaa, Turing kehysti ongelman uudelleen ehdottamalla konkreettista ja toiminnallista testiä. Jos kone pystyy jäljittelemään ihmisen vastauksia tarpeeksi vakuuttavasti huijatakseen ihmistä, voidaan käytännössä sanoa, että se kykenee ajattelemaan.

Myöhemmin tämä lähestymistapa tuli eräänlaiseksi standardiksi, kun on arvioitu tekoälyn vahvuutta.

Kerätäkseen laadullista tietoa koneälystä Turing ehdotti tutkimukseen perustuvaa arvauspeliä, joka myöhemmin tuli tunnetuksi nimellä Turingin testi.

Mikä on Turingin kehittämä jäljittelypeli? 

Turingin testi perustuu pitkälti yläluokan suosimaan peliin, joka oli erityisen suosittu viktoriaanisella aikakaudella. Alkuperäisessä pelissä tarvittiin kolme henkilöä: mies, nainen ja kuulustelija. Mies ja nainen sijoitettiin yhteen huoneeseen, ja kuulustelija toiseen huoneeseen.

Kuulustelija aloitti pelin esittämällä sarjan kysymyksiä ja pyytämällä osallistujia kirjoittamaan vastauksensa ylös. Jotta peli olisi haastavampi, yhdelle osallistujalle sallittiin valehtelu, jolloin hänellä oli mahdollisuus keksiä vastauksia. Toisen osallistujan oli aina kerrottava totuus parhaansa mukaan. Pelin lopullinen tavoitteena oli, että kuulustelija arvaisi oikein, mitkä vastaukset oli kirjoittanut mies – ja mitkä nainen.

turingin testi jäljittelypeli

Miten Turingin testi toimii?

Turingin 1950 julkaistussa artikkelissa “Computing Machinery and Intelligence” ja siinä esitetyssä jäljittelypelissä muotoiltiin tarkasti sen säännöt. Sen sijaan, että testissä käytettäisiin kahta ihmistä, Turingin versiossa toinen osallistujista olisi ihminen ja toinen tietokone.

Tällöin kuulustelijan tehtäväksi jäi arvata, mitkä vastauksista olisivat tietokoneen tekemiä ja mitkä ihmisen.

Käytännössä Turingin versio pelistä oli uraauurtava pyrkimys asettaa käytännöllinen mittapuu koneälylle, mikä taas sivuutti filosofisen kysymyksen siitä, mitä ajattelu tarkoittaa. Turing ehdotti, että jos kuulustelija ei pysty luotettavasti erottamaan koneen ja ihmisen vastauksia toisistaan, voidaan sanoa, että kone osoittaa ihmisen kaltaisia ajatteluprosesseja ja älykkyyttä.

Tarkat kriteerit koneen älykkyyden määrittämiseksi ovat aina olleet kiistanalaisia, mutta Turingin artikkeliin perustuen on usein väitetty, että jos ihminen uskoo kommunikoivansa toisen ihmisen kanssa vähintään 70 prosenttia ajasta — vaikka todellisuudessa he ovatkin puhuneet tietokoneohjelmalle — ohjelmiston kehittäjät voivat perustellusti väittää, että heidän tekoälyohjelmansa on läpäissyt Turingin testin.

Näin pystyttiin muotoilemaan helposti tarkasteltavissa oleva malli sille, kuinka vahva tekoäly on lopulta kyseessä.

turingin testi pähkinänkuoressa

Miksi Turingin testi on tärkeä?

Turingin testi on historiallisesti tärkeä, koska se siirsi keskustelun siitä, voivatko koneet ylipäätään ajatella siihen, voivatko koneet jäljitellä ihmisen kaltaista keskustelua. Tämä näkökulman muutos tarjosi nousevalle tietojenkäsittelytieteiden yhteisölle käytännöllisen viitekehyksen tekoälyn kehityksen arvioimiseen.

Vuosien varrella Turingin testin pätevyys on herättänyt paljon keskustelua tietojenkäsittelijöiden, filosofien ja kognitiivisten psykologien keskuudessa. Sen kestävyys perustuu sen kykyyn olla sekä tekninen mittapuu että filosofinen työkalu tutkimaan sitä, voiko kone koskaan olla todella älykäs.

Keskustelun keskittyminen perinteiseen loogiseen älykkyyteen loi kuitenkin puolivahingossa kapean näkemyksen älykkyydestä ja vähensi samalla muiden älykkyyden tyyppien – kuten emotionaalisen, spatiaalisen tai luovan älykkyyden – merkitystä.

Nykyisten koneoppimisen (ML) ja neuroverkkojen edistymisen myötä on yhä helpompi luoda chatbotteja, joiden arkkitehtuurit voivat tarkasti jäljitellä niiden koulutusaineiston tarjoamia malleja. Esimerkiksi ChatGPT-4 ja Google Bard ovat melko taitavia käsittelemään erilaisia keskusteluaiheita ja monissa tapauksissa ne voivat tuottaa myös sellaisen vastauksen, jota on mahdoton erottaa ihmisen vastauksesta.

Tämä ei kuitenkaan välttämättä tarkoita sitä, että chatbot olisi oikeasti älykäs. Varsinkin pidempien keskustelujen aikana chatboteilla on taipumus luoda hallusinaatioita ja tuottaa sellaisia tuloksia, jotka ovat epäjohdonmukaisia, ristiriitaisia tai epäloogisia.

Aluksi Turing kohtasi vastustusta

On tärkeää huomata, että vaikka Turing tunnustetaan nykyään merkittävänä tutkijana tekoälyn osalta, hän oli melko kiistanalainen hahmo elinaikanaan. Hänen työtään ei ole aina arvostettu sillä tavalla kuin olisi kuulunut.

Monet akateemikot ja teologit epäilivät, että koneet voisivat koskaan jäljitellä ihmisen ajattelua sellaisenaan. Turingin melko radikaalit ideat koneälystä herättivät paljon kiivasta filosofista ja teologista keskustelua.

Turing kuitenkin ennakoi monet vastalauseet ideoilleen ja tarjosi vasta-argumentteja sille, miksi hän uskoi koneiden voivan jäljitellä ihmisen ajattelua. Tämä hänen käsityksensä selitetään tarkemmin Church-Turingin teesissä.

Church-Turingin teesi ehdottaa, että mikä tahansa laskenta tai matemaattinen ongelma, jonka ihminen voi ratkaista käyttämällä tiettyä kaavaa, voidaan myös tietokoneella. Tämä käsite kasvoi nykyaikaisen tietojenkäsittelytieteen perustaksi, mikä kertoo sen merkittävyydestä.

Turingin kone vs. universaali Turingin kone

Turing esitteli koneälyn käsitteen ensimmäisen kerran vuoden 1936 artikkelissaan “On Computable Numbers, with an Application to the Entscheidung’s Problem”. Tässä artikkelissa Turing esitteli yksinkertaisen teoreettisen laitteen, joka periaatteessa voisi laskea minkä tahansa numerosarjan, jos sille annetaan oikeat ohjeet.

Turingin kone on abstrakti matemaattinen malli laskennalle. Turingin mielessä hänen kuvitteellinen koneensa koostui äärettömästä nauhasta, joka oli jaettu soluihin ja nauhan lukupäästä, joka voisi liikkua vasemmalle tai oikealle. Lisäksi sen ominaisuuksiin kuului erilaisia tiloja ja sääntöjä, jotka viime kädessä määräsivät, miten ja mitä lukupää luki ja kirjoitti nauhalle. Hän mukaansa jokaisen Turingin koneen tulisi olla suunniteltu siten, että se on tarkoitettu suorittaa tiettyö tehtävää tai laskentaa.

Turing kuvaili myös Universaalia Turingin konetta. Tämä olisi erityinen Turingin kone, joka kykenisi simuloimaan mitä tahansa muuta Turingin konetta. Teoriassa, kun tälle universaalille koneelle annettaisiin jonkin toisen Turingin koneen tai sille annettu syöte, UTM voisi käyttää tuota tietoa myös omana syötteenään.

Universaalin Turingin koneen käsite toi esiin ajatuksen, että yksi laskentakone voisi simuloida mitä tahansa muuta laskentakonetta, kun sille annetaan vain oikeat syötteet. Tämä tuli nykyisten tietokoneohjelmien perustaksi ja oli tärkeä askel yleiskäyttöisten tietokoneiden kehittämisessä.

Onko Turingin testi vielä relevantti tapa arvioida tekoälyä?

Turingin testiä pidetään nykyään ensisijaisesti historiallisena työkaluna tekoälyn arvioinnissa.

Testistä puhutaan edelleen tekoälytutkijoiden parissa sen suuren vaikutuksen vuoksi. Käytännössä Turing siirsi filosofisen kysymyksen “Voivatko koneet ajatella?” toiseen kysymykseen, johon voidaan todella vastata ja jota voidaan tukea datalla sekä havainnoilla.

Tämä on tärkeä seikka, koska kysymykseen “Voivatko koneet käyttäytyä tavalla, joka ei voi erottaa ihmisen käyttäytymisestä keskustelun aikana?” voitiin vastata käyttämällä tieteellistä menetelmää.

Tämä hienovarainen mutta merkittävä perspektiivin muutos vaikutti suuresti tiedeyhteisöön ja rohkaisi varhaisia tekoälytutkijoita panostamaan entistä enemmän luonnollisen kielen prosessoinnin (NLP), luonnollisen kielen ymmärtämisen (NLU) ja luonnollisen kielen generoinnin (NLG) tutkimukseen.

Turingin testi – keskusteluun liittyvät AI-sovellukset

Kun Turingin rooli Enigma-koodin murtajana tuli julkisesti tunnetuksi, hänen panoksensa ja oivalluksensa koneälystä arvioitiin uudelleen. Seuraavat teknologiat ja käsitteet jakavat punaisen langan Turingin testin kanssa – ne kaikki pyrkivät tarkasti jäljittelemään ihmiskäyttäytymistä annetussa kontekstissa.

Erilaiset Turingin testiin liittyvät käyttötapaukset

Konsepti Kuvaus
Chatbotit Nämä ovat ohjelmistosovelluksia, jotka on suunniteltu simuloimaan ihmisten välistä keskustelua kuten asiakaspalvelutilanteita. 
Ääniavustajat Tällaiset teknologiat, kuten Amazonin Alexa, Google Assistant, Siri ja Cortana, on suunniteltu ymmärtämään ja vastaamaan käyttäjän komentoihin ihmismäisesti, joten niillä on suora viittaus Turingin testiin.
Luonnollisen kielen käsittely (NLP) Turingin testin keskittyminen keskusteluun on ajanut tutkimusta ymmärtämään ja generoimaan ihmiskieltä, mikä on johtanut erilaisten NLP-työkalujen ja -algoritmien kehittämiseen.
Koneoppiminen Vaikka koneoppiminen ei ole yksinomaan Turingin testille ominaista, monet koneoppimistekniikat voidaan nähdä pyrkimyksenä generoida ihmisen kaltaisia tulosteita. Näin ne läpäisevät Turingin testin.
Keskustelevat tekoälyalustat Työkalut ja alustat, kuten Googlen Dialogflow tai Microsoftin Bot Framework, mahdollistavat keskustelevien agenttien ja keskustelevien käyttöliittymien (CUIs) luomisen.
CAPTCHA Näitä testejä käytetään usein verkkosivustoilla erottamaan ihmiset boteista. Siksi ne ovat eräänlainen käänteinen Turingin testi. CAPTCHAt on suunniteltu olemaan helppoja ihmisille mutta vaikeita koneille.
Turingin numero Tämä on yksi prosessi ihmiskäyttäjien erottamiseen boteista verkkopalveluissa.
Tunnepohjaiset analyysityökalut Vaikka nämä työkalut keskittyvät ymmärtämään tunteita annetussa tekstissä, niiden tavoitteena on tavoittaa tärkeä osa ihmisen viestintään liittyen.
Interaktiivinen tarinankerronta ja NPC:t Videopeleissä NPC:t, joilla on pitkälle edistyneet dialogit, pyrkivät tarjoamaan ihmisen kaltaista vuorovaikutusta pelaajille. Näin niissä pyritään toteuttamaanTuringin testin tavoitteita.
Asiakaspalvelu Nämä botit, jotka ovat yleisiä verkkosivustoilla, yrittävät vastata käyttäjien kysymyksiin ihmisen kaltaisella tavalla ennen kuin keskustelut ohjataan oikealle ihmiselle, mikäli siihen tulee tarvetta.

Turingin testi ja generatiivinen AI

Turingin testi mainitaan usein generatiivista tekoälyä käsittelevissä artikkeleissa, mikä johtuu siitä, että Turingin testi on luonteeltaan generatiivinen. Kun kielimalli luo tarinan, artikkelin tai runon, kyse ei ole pelkästään sanojen yhteen liittämisestä; se yrittää luoda sisältöä, joka tuntuu siltä kuin se olisi ihmisen luomaa.

Yksi ensimmäisistä keskustelevista tietokoneohjelmista oli keskustelurobotti ELIZA, jonka Joseph Weizenbaum MIT:ssä loi 1960-luvulla. ELIZA mainitaan usein keskusteluissa Turingin testistä, koska se oli yksi ensimmäisistä tietokoneohjelmista, jotka pystyivät jäljittelemään ihmisen kaltaista keskustelua ja huijaamaan ihmisiä luulemaan, että he olivat vuorovaikutuksessa oikean henkilön kanssa.

Aikansa kontekstissa ELIZA voitiin nähdä generatiivisena, koska se tuotti monipuolisia vastauksia ilman, että ihminen määritteli jokaista mahdollista keskustelun käännöstä.

Kuuluisia käyttötapauksia Turingin testiin liittyen

Vaikka ELIZAa ei suunniteltu nimenomaan Turingin testin läpäisemistä varten, chatbotin kyky jäljitellä ihmiselle ominaista vuorovaikutusta teki siitä merkittävän virstanpylvään tekoälyn, ihmisen ja tietokoneen välisen vuorovaikutuksen historiassa.

Ihmisten vastaukset ja reaktiot ELIZAa kohtaan korostivat sitä, miten ihmisillä on taipumus antaa tietokoneille myös muita ihmisen ominaisuuksia. Tätä ilmiötä – joka tunnetaan Eliza-efektinä – voidaan käyttää synonyymina personoinnille informaatioteknologian kontekstissa.

ELIZAn lisäksi muita merkittäviä chatbotteja, jotka liittyvät tekoälyyn ja Turingin testiin, ovat:

  • PARRY (1972): Psykiatri Kenneth Colbyn suunnittelema PARRY kehitettiin simuloimaan paranoidista skitsofreniaa sairastavaa potilasta. Kun PARRY keskusteli psykiatrien kanssa, jotkut lääkärit uskoivat kommunikoivansa oikean ihmisen kanssa.
  • Racter (1980-luku): Tämän botin luojat väittivät, että Racter oli ensimmäinen tekoälyohjelma, joka oli kirjoittanut kirjan nimeltä “The Policeman’s Beard is Half Constructed.” Kuitenkin on ollut paljon keskustelua siitä, kuinka paljon ihminen itse asiassa oli mukana kirjan luomisessa.
  • Jabberwacky (1990-luku): Brittiläisen ohjelmoijan Rollo Carpenterin luoma Jabberwacky oli suunniteltu jäljittelemään ihmisen kaltaista keskustelua ja oppimaan käydyistä keskusteluista. Sitä seurasi Cleverbot, joka osallistui viralliseen Turingin testiin 2011 Techniche-festivaalilla Intiassa.
  • Eugene Goostman (2014): Tämä chatbot, joka oli suunniteltu simuloimaan 13-vuotiaan ukrainalaispojan keskustelua, väittää läpäisseensä Turingin testin Lontoon Royal Societyssä järjestetyssä kilpailussa. Goostman-bot on kilpaillut useissa Turingin testikilpailuissa sen kehittämisen jälkeen ja sijoittui toiseksi Loebner-palkintokilpailussa vuosina 2005 ja 2008.
  • Google Duplex (2018): Google Duplex suunniteltiin tekemään ravintolavarauksia, kampaamoaikoja ja vastaavia tehtäviä käyttäjille. Vaikka botti ei koskaan ole ollut Turingin testiin liittyvien kilpailuissa, sillä on merkittävä kyky käydä luonnollisen kuuloisia keskusteluja puhelimessa.
  • OpenAI:n GPT-3 (2020): OpenAI:n kehittämän chatbotin kolmas ja neljäs iteraatio herätti uudelleen kiinnostusta ja keskustelua koneella tuotetun sisällön luonteesta ja Turingin testin rajoituksista. Tällä hetkellä voidaan pitää generatiivisen tekoälyn kärkihankkeena.

Kuuluisia Turingin testiin liittyviä kilpailuja

Vuosien mittaan useat kilpailut ovat hyödyntäneet kiistanalaista Turingin testiä arvioidakseen tekoälyn “älykkyyttä”. Tunnettuja historiallisia esimerkkejä ovat:

  1. Loebner-palkinto, joka perustettiin vuonna 1990 Hugh Loebnerin toimesta yhteistyössä Cambridge Center for Behavioral Studies -keskuksen kanssa, on yksi tunnetuimmista Turingin testikilpailuista. Loebner-palkinto lopetettiin vuonna 2020.
  2. Chatterbox Challenge oli vuosittainen kilpailu, joka alkoi 2000-luvun alussa ja järjestettiin usean vuoden ajan. Parhaimmillaan Chatterbox Challenge oli yksi arvostetuimmista chatbottikilpailuista.
  3. Chatbot Battle Arena -verkkosivusto asettaa eri chatbotit vastakkain ja antaa katsojan päättää, mikä botti tulisi julistaa voittajaksi. Tässä Turingin testin kaltaisessa kilpailussa katsoja määrittelee itse sen, mikä botti on paras.
  4. Turing100 järjestettiin Euroopan tekoäly -yhdistyksen toimesta vuonna 2012. Se oli osa juhlallisuuksia, jotka pidettiin Alan Turingin 100-vuotissyntymäpäivän kunniaksi.
  5. 2K BotPrize oli kilpailu, joka järjestettiin videopeli “Unreal Tournament 2004” kontekstissa. Sen sijaan, että siinä keskityttiin pelkästään keskusteluun, haasteena oli luoda botti, joka käyttäytyy pelissä niin ihmismäisesti, että se sekoitetaan oikeaan pelaajaan.

Turingin testi – vaihtoehtoiset lähestymistavat

Ajan saatossa vaihtoehtoisia menetelmiä ja lisäyksiä Turingin testiin on ehdotettu parantamaan testiin liittyviä rajoituksia. Jotkin näistä ehdotuksista on suunniteltu arvioimaan koneälyä tekoälyn ulkopuolella:

  • Kiinalaisen huoneen argumentti on filosofi John Searlen ehdottama ajatuskoe, joka haastoi Turingin testin pätevyyden ja pyrki todistamaan, että digitaaliset tietokoneet eivät voi ymmärtää kieltä tai ajatella.
  • Lovelacen testi on nimetty Ada Lovelacen – ensimmäisen naisohjelmoijan – mukaan. Tämä testi arvioi koneen kykyä luoda alkuperäistä ja taiteellista sisältöä, jota ei ole nimenomaisesti ohjelmoitu siihen.
  • Marcus-testi on Gary Marcuksen, New Yorkin yliopiston kognitiivisen tieteen tutkijan, ehdottama koeasetelma tekoälyn testaamiseen. Se on suunniteltu arvioimaan tekoälyn kykyä ymmärtää ja reagoida todellisen maailman tapahtumiin.

Miten Turingin testiä käytetään nykyään?

Vaikka Turingin testi ei enää ole samassa roolissa tekoälyn testaamisessa kuin vielä aikaisemmin, sen perintö elää yhä voimakkaasti. Testi on edelleen arvokas työkalu esimerkiksi historian kannalta.

Tässä on lisäksi joitakin tapoja, joilla Turingin testiä käytetään nykyään:

  • AI-kilpailut: Vaikka Loebner-palkintoa ei ole enää tarjolla, joitakin pieniä chatbot-kehittäjien kilpailuja vielä järjestetään. Niihin usein liitetään Turingin testi yhtenä arvostelukriteeriinä kilpailijoiden tuotosten laadun arvioimiseksi.
  • Luonnollisen kielen prosessoinnin (NLP) suorituskyvyn vertailu: Turingin testiä käytetään joskus epävirallisesti tekoäly-yhteisössä NLP-algoritmien suorituskyvyn mittarina. Jos NLP-malli voi generoida ihmisen kaltaisia vastauksia, sitä kutsutaan usein Turingin valmiiksi tai Turingin testikykyiseksi, vaikka mallia ei olisikaan virallisesti testattu.
  • Koulutustyökalu: Turingin testistä keskustellaan usein akateemisilla kursseilla, jotka liittyvät tekoälyyn, kognitiiviseen laskentaan ja filosofiaan. Jäljittelypeli on edelleen hyödyllinen lähtökohta syvemmille tutkimuksille tuntevasta koneälystä ja tietoisuuden käsitteestä.
  • Media ja populaarikulttuuri: Turingin testiin viitataan usein elokuvissa, kirjallisuudessa ja keskusteluissa, jotka liittyvät robotteihin tai muihin itsetietoisiin koneisiin.
  • Etiikka: Viimeaikaiset edistysaskeleet – erityisesti ääneen, videoon ja tekstiin perustuvissa generatiivisissa tekoälymalleissa – ovat johtaneet uudelleen keskusteluihin Turingin testin mahdollisuuksista. Jos kone voi vakuuttavasti jäljitellä ihmistä, siitä voi seurata myös negatiivisiä ilmiöitä kuten petoksia. Se herättääkin keskustelua teknologioiden eettisen käytön suhteen.
  • Markkinointi: Yritykset, jotka kehittävät chatbotteja, ääniavustajia ja muita keskustelevia agentteja, viittaavat usein Turingin testiin mittarina siitä, kuinka ihmismäinen heidän generatiivinen ohjelmistonsa on. Tässä yhteydessä Turingin testiä käytetään enemmän markkinointiterminä kuin todellisena vertailukohtana.

UKK

Miksi Turingin testi oli niin vaikea läpäistä?

Minkä pistemäärän keskusteleva tekoälysovellus tarvitsee Turingin testin läpäisemiseksi?

Voiko Siri läpäistä Turingin testin?

Voiko Alexa läpäistä Turingin testin?

Voiko ChatGPT läpäistä Turingin testin?

Voidaanko Turingin testiä käyttää tekoälyn tietoisuuden määrittämiseen?

Voidaanko Turingin testiä käyttää muihin asioihin kuin chatbotteihin?

Samankaltaiset termit

Margaret Rouse

Margaret Rouse on palkittu teknologiatoimittaja ja opettaja, joka tunnetaan hänen kyvyistään selittää vaikeitakin teknologisia konsepteja aiheesta vähemmän tietävälle finanssialan yleisölle. Viimeisen 20 vuoden ajan hänen selityksensä ovat ilmestyneet TechTargetin nettisivuille, minkä lisäksi häntä ovat siteeranneet asiantuntijana New York Times, Time Magazine, USA Today, ZDNet, PC Magazine ja Discovery Magazine. Margaretin mielestä mikään ei ole hauskempaa kuin opettaa IT-alan ja finanssialan ammattilaisille, kuinka toisen alan hyvin spesifillä kielellä puhutaan. Jos sinulla on ideoita selitettävistä termeistä tai parannuksista aikaisempiin selityksiin, lähetä sähköpostia Margaretille tai ota yhteyttä häneen LinkedInissä tai Twitterissä.