Þegar ég sagði fólkinu mínu frá því að ég væri að byrja í nýrri vinnu í lok síðasta árs, og sagði að verkefnið snerist um að tengja Ísland við ofurtölvu í Finnlandi, þá hljómaði það frekar kómískt með engu frekara samhengi.
Ég mætti til leiks í desember og fór strax að vinna náið með helstu sérfræðingum landsins á sviði gervigreindar og HPC eða “high performance computing” á ensku. Í samtölum var orðum eins og “petaflops” kastað á milli og ég átti, satt best að segja, erfitt með að fara ekki að hlæja. Hvað var ég búin að koma mér út í?
Verkefnið sem um ræðir heitir Glóð en það hefur núna verið starfrækt síðan í febrúar á þessu ári. Glóð er framtak styrkt að hluta af Evrópusambandinu sem veitir gjaldfrjálsan aðgang að reikniafli, sérfræðiþekkingu og gögnum. Ég leiði þetta framtak á Íslandi en það er samstarfsverkefni sex stofnana: Almannaróms, HÍ, HR, Veðurstofunnar, Árnastofnunar og Vísindagarða.
Reikniafl er vítt hugtak. Mig langar að fara yfir hvað það þýðir í samhengi gervigreindar og af hverju það skiptir gríðarlegu máli í dag. Ég setti mér nefnilega það markmið strax í upphafi Glóðar að skilja þetta nægilega vel til að geta talað um þetta á mannamáli.
Mér er mjög annt um að reikniafl sé aðgengilegt fyrir öll, ekki bara þau sem þekkja tæknina nú þegar.
Ein lykilforsenda gervigreindarbyltingarinnar
Byrjum aðeins á byrjuninni. Árið 2017 kom grein út frá Google Brain og Google Research sem kynnti “Transformers” tæknina til leiks.
Tæknin sem fjallað var um í þeirri grein varð undirstaða mállíkananna sem við notum öll í dag. Vissuð þið að GPT í nafninu ChatGPT stendur fyrir “Generative Pre-trained Transformer”? Ef ekki, þá eruð þið komin með skemmtilega staðreynd til að segja í vinnunni á morgun.
Tveir aðrir þættir höfðu áhrif á þessa byltingarkenndu tækni sem leit fyrst dagsins ljós gagnvart almenningi í nóvember 2022: Gögn og reikniafl.
Internetið var stútfullt af texta þannig úr því var hægt að búa til mikið magn af gögnum sem voru síðan notuð til að þjálfa módelin (eða transformerana) á. Auk þess hafði reikniafl vaxið jafnt og þétt í mörg ár — skjákortin frá NVIDIA, sem upphaflega voru þróuð fyrir tölvuleiki, reyndust einstaklega vel til þess að þjálfa tauganet og seinna mállíkön.
Afleiðingar þess að þessir þrír þættir komu saman má lesa úr markaðsverðmæti NVIDIA fyrirtækisins hér að neðan. Takið eftir hvað gerist eftir nóvember 2022.
Reikniafl er undirstaða þess að hægt sé að þjálfa gervigreindarmódel og því segjum við að það sé lykilforsenda gervigreindarbyltingarinnar. En hvað er reikniafl eiginlega?
Reikniafl: Stiklað á stóru
Ég ætla að gefa stutta innsýn inn í reikniafl í samhengi við gervigreind. Svokallaðar ofurtölvur búa yfir gífurlega miklu reikniafli til að geta unnið úr miklu magni gagna eins og gervigreindarverkefni kalla oft á.
Þegar ég tala um gervigreindarverkefni þá er ég að tala um þróun eða þjálfun gervigreindarmódela. Það getur verið fínþjálfun á mállíkani sem skilur og skrifar íslensku, þjálfun módels sem spáir fyrir um jarðhræringar út frá mælingum eða þjálfun módels sem greinir hegðun fiskistofna svo dæmi séu nefnd.
Ofurtölva er annað orð sem hljómar eins og grínorð. En þær eru raunverulega ofur — og hér er af hverju.
Já þú sást rétt, við erum komin í “floppin”. Þau geta haft t.d. tera, peta og exa forskeyti skv. einingakerfinu okkar. Á myndinni að ofan berum við saman heila fartölvu á móti einu skjákorti, en ofurtölvur eru búnar til úr þúsundum skjákorta í einu. Gervigreindarverkefni eru fljót að fara fram úr getu hefðbundinnar fartölvu.
Til að setja svo í samhengi hversu öflugar ofurtölvur eru, þá er hér að ofan mynd af svokallaðri nóðu sem er búið að taka í sundur. Svarti kassinn samanstendur af átta skjákortum. Myndin við hliðina á er síðan tekin af vefsíðu NVIDIA sem sýnir einn gang í gagnaveri þeirra — hver kassi er ein nóða.
Ofurtölvur eru sem sagt hundruð eða þúsundir nóða sem eru tengdar saman með svo hröðum tengingum að þær vinna sem ein vél, og þær búa í gagnaverum. Gagnaver er allt utanumhaldið: Byggingin, kælingin og fleira.
Til að tala meira um petaflops þá sjáið þið á myndinni af skjákortinu að reikniaflið er mælt í TFLOPS eða terafloppum. Til að ná einu petafloppi þarf um 15 skjákort af þessari stærð. Ofurtölvan í Finnlandi sem ég nefndi í byrjun greinarinnar er 380 petaflops — það eru ansi mörg skjákort.
Til að setja þetta í enn meira samhengi þá jafngildir 380 petaflops samanlagðri afkastagetu 1,5 milljóna fartölva.
En nú skal ég hætta að tala um petaflops.
Reikniaflsframtak Evrópu
EuroHPC JU er framtak af hálfu Evrópusambandsins sem gerir okkur kleift að bjóða upp á gjaldfrjálst reikniafl fyrir þróunarverkefni gegnum Glóð.
Í stuttu máli er hvatinn á bak við framtakið sá að hjálpa Evrópu að detta ekki alveg úr gervigreindarlestinni. Það er nokkuð ljóst að við munum ekki keppa við Bandaríkin og Kína um hver nær að þróa besta mállíkanið (og ná AGI á undan hinum en það er efni í aðra grein) — en við getum verið best í hagnýtingu. Við viljum nýta þessa tækni til að skapa virði fyrir okkur innan Evrópu og taka þátt í byltingunni sem er að eiga sér stað.
Af hverju skiptir þetta máli?
Aðgangur að reikniafli er brjálæðislega dýr. Ef sprotafyrirtæki þyrfti að kaupa reikniafl beint af skýjaþjónustu Amazon t.d., þá væru þau ekki lengi að klára fjármagnið sitt.
Þess vegna segjum við að við séum að lækka þröskulda og hraða þróun gervigreindarverkefna með hjálp Glóðar.
Við erum raunverulega að opna á tækifæri til prófana og nýsköpunar með þessum aðgangi. Með hjálp Glóðar getum við leyft hugmyndum að verða að veruleika sem annars hefðu ekki getað orðið til vegna of mikils kostnaðar. Auk þess eru helstu sérfræðingar landsins innan handar til að aðstoða ykkur.
Ef þú náðir svona langt niður í greinina þá vona ég að lesturinn hafi verið gagnlegur og ekki of þurr. Ég hvet þig til að hugsa hvar tækifærin geta legið í svona aðgangi að gjaldfrjálsu reikniafli fyrir þróunarverkefni. Heyrumst!