Astrid og Otto taler om AI

Hvorfor er AI så klog og så dum på samme tid? Astrid og Otto starter med de mest frustrerende og sjove fejl: hallucinationer og det berømte spørgsmål om, hvor mange ’r’er der er i ”strawberry”. Svaret fører ind i kernen af, hvad en sprogmodel egentlig er: ikke en søgemaskine, der finder sandhed, men en statistisk motor, der gætter det næste mest sandsynlige ord — og derfor ser tekst som ”tokens” frem for bogstaver.

Hvorfor virker AI’en knivskarp det ene øjeblik og fuldstændig glemsom det næste? Astrid og Otto åbner kontekstvinduet — modellens skrivebord af fast størrelse — og forklarer, hvorfor det annoncerede ”én million tokens” er størrelsen på rummet, ikke et mål for, hvor meget modellen pålideligt læser. Undervejs: hvorfor det vigtige forsvinder fra midten (”lost in the middle”), hvorfor kvaliteten daler bare teksten bliver lang (”context rot”), og hvorfor dansk fylder skrivebordet hurtigere end engelsk. Anden halvdel handler om løsningen: arkivskab-metoden (RAG), forskellen på ”hukommelse” og et større vindue — og tre konkrete greb, der faktisk virker: læg det vigtigste først eller sidst, start en frisk chat når den begynder at skride, og bed den opsummere undervejs.