Kjøre AI lokalt med Ollama: Guide for nybegynnere

Hvorfor kjøre AI lokalt?

Når du bruker ChatGPT, Claude eller Gemini, sendes promptene til skytjenester i USA eller Europa. For sensitive samtaler, konfidensielle forretningsdokumenter og personopplysninger reiser dette spørsmål om personvern: Hva skjer med dataene? Kan de brukes til trening av modellen? Hvem har tilgang?

Lokale AI-modeller løser dette ved at ingenting forlater maskinen. Pasientjournaler, juridiske kontrakter, forretningshemmeligheter og personopplysninger kan analyseres uten at dataene sendes ut av eget nettverk, noe som gjør det enklere å overholde norsk og europeisk personvernlovgivning. Lokale modeller er i tillegg gratis å bruke etter installasjon og fungerer uten internettforbindelse.

Hva er Ollama og hvordan fungerer det?

Ollama er et open source-verktøy for å laste ned og kjøre store språkmodeller (LLM-er) på egen maskin, utgitt under MIT-lisens. I stedet for å sette opp Python, CUDA-konfigurasjon og modellvekter manuelt, gir Ollama et enkelt kommandolinjegrensesnitt: kommandoen «ollama run gemma3» laster ned og starter modellen med én kommando.

Teknisk sett lagrer og kjører Ollama modellene i GGUF-formatet, utviklet av skaperen av llama.cpp-prosjektet og optimalisert for rask lasting på vanlig forbrukermaskinvare, både CPU og GPU.

• Gratis og open source (MIT-lisens) – ingen abonnement nødvendig
• Én kommando laster ned og starter modellen
• Støtter macOS, Windows og Linux, med GPU-akselerasjon via Apple Metal, NVIDIA CUDA og AMD ROCm
• REST API inkludert – enkel integrasjon med egne applikasjoner
• Open WebUI gir et ChatGPT-lignende grensesnitt i nettleseren
• Modeller fra Meta, Google, OpenAI, Alibaba og Mistral AI, blant andre

Slik installerer du Ollama

Gå til ollama.com/download og last ned installasjonspakken for operativsystemet du bruker: en .dmg-fil for macOS (krever macOS 14 Sonoma eller nyere), en .exe-fil for Windows, eller shell-scriptet som installeres med kommandoen «curl -fsSL https://ollama.com/install.sh | sh» på Linux. Etter installasjon åpnes terminalen, og «ollama run gemma3» laster automatisk ned standardmodellen – 3,3 GB, ifølge Ollamas modellbibliotek – slik at det kan chattes umiddelbart i terminalen.

For et mer brukervennlig grensesnitt finnes Open WebUI, et selvhostet nettgrensesnitt som kobler seg til den lokale Ollama-serveren. Gjeldende installasjonskommando fra Open WebUIs egen dokumentasjon er «docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=din-hemmelige-nokkel --name open-webui --restart always ghcr.io/open-webui/open-webui:main» – deretter åpnes localhost:3000 i nettleseren.

Hvilke modeller skal du velge?

Modellutvalget i Ollamas bibliotek endrer seg raskt – se også sammenligningen av GPT, Claude og Gemini for skytjenestealternativer. Metas Llama 3.1 finnes i 8B-, 70B- og 405B-varianter, fra 4,9 GB til 243 GB nedlasting med 128K kontekstvindu. Etterfølgeren Llama 4 er en mixture-of-experts-modell i to varianter: Scout (109 milliarder parametere totalt, 17 milliarder aktive, 67 GB nedlasting) og Maverick (400 milliarder totalt, 17 milliarder aktive, 245 GB). Llama-modellene er ikke fritt open source, men underlagt Metas egen brukslisens, som blant annet krever egen tillatelse fra virksomheter med over 700 millioner aktive brukere i måneden.

Googles Gemma 3 finnes fra 270 millioner til 27 milliarder parametere og er beskrevet av Ollama som den mest kapable modellen som kjører på ett enkelt skjermkort. Alibabas Qwen3 spenner fra 0,6 til 235 milliarder parametere; 8B-varianten er lisensiert under Apache 2.0, samme lisens som Mistral AIs Mistral 7B (4,4 GB, 32K kontekstvindu). OpenAIs gpt-oss er også Apache 2.0-lisensiert og finnes i 20B- og 120B-varianter; ifølge Ollama kjører 20B-modellen på systemer med så lite som 16 GB minne, mens 120B-modellen er laget for å fylle et enkelt 80 GB-skjermkort. DeepSeek-R1 finnes både som en destillert 1,5 milliarder-parameters variant og som den fulle modellen på 671 milliarder parametere, for den som vil ha resonnerende modeller lokalt.

GDPR og norsk personvern: det viktigste argumentet

Norske virksomheter som behandler personopplysninger må vurdere hvor dataene sendes. Skal opplysningene til en databehandler utenfor EØS, utløser det krav om overføringsgrunnlag og databehandleravtale – noe helsesektoren, advokatfirmaer, HR-avdelinger og finansinstitusjoner ofte må håndtere når data behandles hos utenlandske skytjenester.

Kjøres modellen lokalt, på egen server eller egen datamaskin innenfor EØS, sendes ingen personopplysninger til en mottaker utenfor EØS. Da er det per definisjon ikke en «overføring» etter regelverket, som forutsetter at en behandlingsansvarlig gjør opplysningene tilgjengelig for en mottaker utenfor EØS, ifølge Datatilsynets regler for overføring av personopplysninger ut av EØS. Lokal kjøring med et verktøy som Ollama fjerner dermed denne konkrete vurderingen – men fritar ikke fra andre krav i personopplysningsloven, som behandlingsgrunnlag og forsvarlig informasjonssikkerhet.

Begrensninger og realistiske forventninger

Lokale modeller som kjører på vanlig forbrukermaskinvare er som regel svakere på komplekse resonnementoppgaver enn de største kommersielle skytjenestene – forskjellen avhenger av hvilken modellstørrelse maskinvaren takler. Ollama bruker som standard et kontekstvindu på 4096 token med mindre annet er satt, ifølge Ollamas dokumentasjon, men mange av modellene i biblioteket støtter opptil 128K token, og enkelte – som Llama 4 Scout – opptil 10 millioner token.

Ollama anbefaler minst 8 GB ledig VRAM, eller unified memory på Mac, som utgangspunkt; større kontekstvinduer krever mer, ifølge Ollamas oppstartsguide. Som tommelfingerregel bør ledig minne minst tilsvare modellens nedlastingsstørrelse – en 70B-modell som llama3.1:70b laster for eksempel ned 43 GB. På Nvidia-skjermkort krever Ollama compute capability 5.0 eller nyere, mens AMD-kort støttes via ROCm. Start gjerne med en mindre modell og gå videre til en større etter behov.

Din første dag med Ollama: en rask startguide

Last ned Ollama fra ollama.com, åpne terminalen og skriv «ollama run phi4» for å starte med Phi-4, Microsofts 14-milliarder-parameters modell (9,1 GB nedlasting, 16K kontekstvindu). Chatten kan begynne direkte i terminalen. For et grafisk grensesnitt: installer Open WebUI som beskrevet over, eller prøv LM Studio – et gratis program for macOS, Windows og Linux for å utforske og kjøre lokale modeller.

Ollamas egen dokumentasjon og GitHub-repositoriet er gode steder å starte når noe ikke fungerer som forventet, eller når REST-API-et skal kobles til egne applikasjoner. Terskelen for å komme i gang er redusert til én kommando og noen minutters nedlasting.