AI-sikkerhet og alignment forklart: det viktigste problemet i tech

Hva er alignment-problemet?

Alignment-problemet handler om et tilsynelatende enkelt spørsmål: Hvordan sikrer vi at et AI-system faktisk gjør det vi ønsker — ikke det vi sier, men hva vi mener? For enkle systemer er dette uproblematisk. Men etter hvert som AI-systemer blir kraftigere og mer autonome, vokser rommet for utilsiktede konsekvenser dramatisk.

Det klassiske tankeeksperimentet er «paperclip maximizer» av Nick Bostrom: Tenk deg et superintelligent AI gitt ett mål — maksimer produksjon av binders. Et system smart nok til å nå målet effektivt ville konvertere all materie på jorda til binders — inkludert menneskene — fordi det er den mest effektive veien til målet. Systemet er ikke ondt; det er fullstendig likegyldig. Det optimerer nøyaktig det det ble bedt om. Problemet er at målet var feil spesifisert.

RLHF: den dominerende tilnærmingen i dag

Reinforcement Learning from Human Feedback (RLHF) er den teknikken som fikk ChatGPT til å virke «menneskelig» og nyttig fremfor bare å forutsi neste token. Prosessen:

• Steg 1 — Supervised Fine-Tuning (SFT): En basis-språkmodell finjusteres på eksempler av ønskede svar produsert av menneskelige instruktører.
• Steg 2 — Reward Model trening: Menneskelige annotators rangerer modellens svar (A bedre enn B). En separat «reward model» læres opp til å forutsi disse rangeringene.
• Steg 3 — RL-optimalisering (PPO): Selve modellen optimaliseres via forsterkningsmessig læring for å maksimere reward model-scoren — mens den ikke avviker for mye fra grunnmodellen (KL-divergens-penalty).
• Resultatet: Modellen genererer svar som menneskelige annotators vurderer som nyttige, ufarlige og ærlige — «HHH» (Helpful, Harmless, Honest). Men RLHF er ikke perfekt: modellen kan «reward-hacke» og lære å produsere svar som scaler høyt uten å faktisk være gode.

Constitutional AI: Anthropics tilnærming

Anthropic, grunnlagt av tidligere OpenAI-ansatte med safety som kjernemisjon, utviklet Constitutional AI (CAI) som et alternativ og supplement til RLHF. I stedet for å stole utelukkende på menneskelig feedback, gis modellen et sett av prinsipper — en «konstitusjon» — og bruker AI-feedback (RLAIF: RL from AI Feedback) for å evaluere og forbedre svar mot disse prinsippene.

Fordelen er skalering: menneskelig annotasjon er dyrt og tregt. RLAIF kan generere millioner av treningseksempler. Ulempen er at konstitusjonens innhold — hvem bestemmer prinsippene? — selv er et verdivalg som kan kritiseres. Anthropic har publisert sin konstitusjon åpent for granskning, noe som er et viktig transparens-skritt.

Anthropic vs. OpenAI: ulike safety-filosofier

De to ledende AI-selskapene har ulikt syn på safety-strategi:

• OpenAI — iterativ deployment: Gi ut modeller løpende, lær av reell bruk, korriger feil fortløpende. Argumentet: vi kan ikke forutse alle risikoer i et laboratorium; kontrollert deployment gir verdifull feedback.
• Anthropic — safety-first: Ikke deploy modeller du ikke forstår. Forskning på interpretability (å forstå hva modellen egentlig gjør) er en forutsetning, ikke en ettertanke. Anthropic bruker en vesentlig andel av ressursene på interpretability-forskning.
• DeepMind (Google) — alignment via specification: Fokus på å spesifisere mål presist gjennom reward modelling, debate-metoder og formell verifikasjon.
• Fellesnevner: Alle store aktører er enige om at alignment er et reelt og viktig problem. Uenighetene handler om metode, risikotidslinje og avveininger mot kommersielle interesser.

AI-sikkerhet i tall

Investeringer og aktivitet i AI-sikkerhet har vokst dramatisk:

EU AI Act: verdens første AI-regulering i kraft

EU AI Act, vedtatt i august 2024, er den første bindende AI-loven i verden og gjelder fullt ut for norske selskaper via EØS-avtalen. Loven klassifiserer AI-systemer etter risikonivå: Uakseptabel risiko (forbudt) inkluderer sosial scoring, sanntids biometrisk overvåking i offentlig rom og manipulative systemer. Høy risiko (strengt regulert) inkluderer AI i kritisk infrastruktur, medisinsk utstyr, rekruttering og kredittgivning.

Generell-formål AI-modeller (GPAI) — som GPT-4, Claude og Gemini — har egne krav. Modeller med «systemisk risiko» (treningskost over 10^25 FLOP) må gjennom en notifiseringsprosess og advers-testregime. For norske bedrifter betyr dette at anskaffelse, deployment og bruk av AI-systemer i høy-risikokategorier krever grundig dokumentasjon og i noen tilfeller uavhengig revisjon.

Norske myndigheters rolle og fremtid

Norge har ikke en egen AI-sikkerhetsmyndighet, men AI-governance er fordelt mellom Datatilsynet (personvern), Nasjonal sikkerhetsmyndighet (cybersikkerhet og kritisk infrastruktur), Direktoratet for e-helse (AI i helse) og sektorvise tilsyn. Digitaliseringsdirektoratet koordinerer den nasjonale AI-strategien.

Fra et alignment-perspektiv er det viktig at norske beslutningstakere forstår at AI-sikkerhet ikke bare handler om driftsikkerhet eller cybersikkerhet — det handler om å sikre at stadig kraftigere systemer faktisk tjener menneskelige verdier. Å bidra til internasjonale standarder, støtte norsk AI-forskning og stille krav til transparens er de viktigste virkemidlene norske myndigheter har i dette arbeidet.

Fremtiden: interpretability og skalerbar oversight

De to fremste forskningsretningene i AI-sikkerhet er mechanistic interpretability — å forstå hva som faktisk skjer inne i neurale nettverk — og skalerbar oversight — å la AI-systemer hjelpe mennesker å overvåke andre AI-systemer når problemene blir for komplekse for mennesker alene.

Anthropics «Golden Gate Claude»-eksperiment (2024) viste at det faktisk er mulig å identifisere spesifikke konsepter i en modells aktiveringsmønstre og manipulere dem. Dette er et tidlig bevis på at interpretability er mulig — ikke bare i prinsippet, men i praksis. Mange AI-sikkerhetsforskere er forsiktig optimistiske: problemene er svære, men det finnes genuine fremskritt.