Ollama: kjør AI-modeller lokalt på din PC — norsk guide

Hvorfor kjøre AI lokalt?

Skybaserte AI-tjenester som ChatGPT og Claude er kraftige, men de kommer med noen viktige begrensninger: all tekst du skriver sendes til servere i USA, du betaler månedlig abonnement, og du er avhengig av internettforbindelse. For mange norske brukere — særlig i helsevesenet, advokatbransjen, og offentlig sektor — er dette problematisk.

Ollama er et gratis, åpen kildekode-verktøy som lar deg laste ned og kjøre store språkmodeller (LLM-er) direkte på din egen PC eller Mac. Ingenting forlater maskinen din. Du kan bruke AI til å analysere sensitive dokumenter, skrive kode, oversette tekst og svare på spørsmål — helt offline, helt privat, helt gratis.

Hvilken hardware trenger du?

Størrelsen på modellen som kan kjøres, avhenger primært av tilgjengelig RAM og GPU-minne (VRAM). Ollama anbefaler minst 8 GB ledig VRAM, eller unified memory på Mac, som utgangspunkt — større kontekstvinduer krever mer, ifølge Ollamas oppstartsguide. En praktisk pekepinn er at nedlastingsstørrelsen som er oppgitt for hver modell i Ollamas modellbibliotek tilsvarer omtrent hvor mye ledig minne som trengs for å kjøre den.

GPU-akselerasjon gir best ytelse. Nvidia-kort støttes fra og med compute capability 5.0, med driver 550 eller nyere, ifølge Ollamas GPU-dokumentasjon — på Windows kreves spesifikt driver 551.61 eller nyere, ifølge Ollama for Windows. AMD-skjermkort støttes på både Windows og Linux, ikke bare Linux, via en ROCm v7/HIP7-kapabel driverstack, ifølge samme GPU-dokumentasjon. Apple Silicon bruker Metal-API-et for GPU-akselerasjon, ifølge Ollama, og den delte minnearkitekturen mellom CPU og GPU gjør at også en MacBook Air uten dedikert skjermkort kan kjøre mindre modeller.

• Minimum: 8 GB ledig VRAM, eller unified memory på Mac — Ollamas offisielle minstekrav for GPU-akselerert kjøring, ifølge Ollamas oppstartsguide.
• Nvidia RTX 3060: 12 GB GDDR6-minne, ifølge Nvidia — dekker de fleste 7B- og 13B-modeller i Ollamas bibliotek.
• Nvidia RTX 4090: 24 GB GDDR6X-minne, ifølge Nvidia — dekker de fleste modeller opp til rundt 20 GB nedlastingsstørrelse, men ikke en full 70B-modell som llama3:70b på 40 GB, ifølge Ollamas modellbibliotek.
• AMD-skjermkort: støttes på både Windows og Linux via en ROCm v7/HIP7-kapabel driverstack, ifølge Ollama.

Installasjon på Windows og Mac

Installasjon av Ollama er enkel på både Windows og Mac. På Windows lastes «OllamaSetup.exe» ned fra ollama.com/download og installeres uten at administratorrettigheter kreves; etter installasjonen kjører Ollama i bakgrunnen og starter automatisk ved innlogging, ifølge Ollamas Windows-dokumentasjon. På macOS lastes en .dmg-fil ned og dras til Applications-mappen — dette krever macOS 14 Sonoma eller nyere, ifølge Ollama. På begge plattformer nås Ollama via kommandolinjen: cmd eller PowerShell på Windows, Terminal på Mac.

Første modell lastes ned med kommandoen «ollama pull llama3», som henter Metas standardmodell på 8 milliarder parametere (4,7 GB), ifølge Ollamas modellbibliotek. Deretter startes en samtale direkte i terminalen med «ollama run llama3». Modellen lastes inn i minnet og kjører lokalt — ingen internettforbindelse kreves etter at nedlastingen er ferdig.

• ollama pull llama3 — Last ned Meta Llama 3, standardmodellen på 8 milliarder parametere (4,7 GB), ifølge Ollama
• ollama pull mistral — Last ned Mistral 7B (4,4 GB, 32K kontekstvindu), ifølge Ollama
• ollama pull gemma2 — Last ned Googles Gemma 2, standardmodellen på 9 milliarder parametere (5,4 GB), ifølge Ollama
• ollama pull phi3 — Last ned Microsofts Phi-3 Mini på 3,8 milliarder parametere (2,2 GB), ifølge Ollama
• ollama pull qwen2 — Last ned Alibabas Qwen2, standardmodellen på 7 milliarder parametere (4,4 GB), ifølge Ollama
• ollama list — Se alle nedlastede modeller

Lagringssted, tjeneste og API på Windows og Mac

Ollama lagrer nedlastede modeller i en fast mappe på disken: på Windows i «%HOMEPATH%\.ollama», på macOS i «~/.ollama/models», ifølge Ollamas ofte stilte spørsmål. Skal modellene ligge et annet sted — for eksempel på en disk med mer ledig plass, siden modeller fort tar mange titalls gigabyte — settes miljøvariabelen OLLAMA_MODELS til ønsket mappe, ifølge Ollama for Windows. Ollama kjører som en bakgrunnstjeneste: på Windows starter den automatisk ved innlogging og kan slås av under Oppgavebehandlings Oppstart-fane, ifølge samme kilde. Tjenesten eksponerer et REST-API på «127.0.0.1:11434» som standard — kun tilgjengelig fra egen maskin med mindre miljøvariabelen OLLAMA_HOST endres til å binde mot nettverket, ifølge Ollamas ofte stilte spørsmål. Andre programmer, som Open WebUI, snakker med Ollama nettopp gjennom dette API-et.

Open WebUI — ChatGPT-lignende grensesnitt

Å chatte i terminalen er upraktisk for daglig bruk. Open WebUI (tidligere Ollama WebUI) gir et fullverdig nettleserbasert grensesnitt som likner på ChatGPT — komplett med samtalehistorikk, modellbytte og støtte for filopplasting.

Anbefalt installasjonsmåte er via Docker: «docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=egen-hemmelig-nøkkel --name open-webui --restart always ghcr.io/open-webui/open-webui:main», ifølge Open WebUIs egen dokumentasjon. Deretter åpnes nettleseren på localhost:3000, hvor grensesnittet automatisk kobler seg til den lokale Ollama-tjenesten via host.docker.internal. Open WebUI støtter i tillegg tilkobling til eksterne skytjenester som OpenAI og Anthropics Claude via API-nøkkel, ifølge samme dokumentasjon, slik at lokale Ollama-modeller og skymodeller kan brukes om hverandre i samme grensesnitt.

Norske bruksscenarier

Lokal AI passer godt for norske aktører i regulerte bransjer. Et advokatkontor kan analysere kontrakter og juridiske dokumenter uten at klientdata sendes til en tjeneste i utlandet. En lege kan bruke AI til å formulere pasientnotater uten at opplysningene forlater eget nettverk. En norsk leverandør med sensitiv kildekode kan bruke kodeassistanse uten å sende koden til en ekstern tjeneste.

For privat bruk er lokal AI nyttig for å oversette tekster, skrive e-poster og rapporter, hjelpe med koding i Python og JavaScript, og lage sammendrag av lange PDF-dokumenter. Med Open WebUI kan PDF-er lastes opp direkte for analyse.

Begrensninger og når du bør velge sky

Lokale modeller som kjører på vanlig forbrukermaskinvare er som regel svakere på komplekse resonnementoppgaver enn de største kommersielle skytjenestene — forskjellen avhenger av hvilken modellstørrelse maskinvaren takler. For avansert analyse, forskning og krevende kreativt arbeid gir de største skymodellene fortsatt bedre resultater, men lokale modeller er fullt brukbare for de fleste hverdagsoppgaver som tekstforslag, koding og oppsummering. Se sammenligningen av GPT, Claude og Gemini for skytjenestealternativer.

Oppstart tar noe tid første gang en modell lastes inn i minnet, avhengig av modellstørrelse og lagringshastighet. Maskinen bruker mer strøm og kan bli varmere under kjøring, og på bærbare PC-er uten dedikert GPU er ytelsen mer begrenset. For mange norske brukere er likevel byttet fra sky til lokal fullt mulig — Claude Pro koster 20 dollar i måneden ved månedlig fakturering, ifølge Anthropics prisside, og den besparelsen er et argument i seg selv for den som uansett kan klare seg med en lokal modell.