Kjør AI lokalt på din egen PC med LLaMA

Hva er lokal AI og hvorfor er det attraktivt?

Siden ChatGPT revolusjonerte verden i 2022 har millioner av mennesker blitt avhengige av skybaserte AI-tjenester. Men skybaserte tjenester har iboende begrensninger: all data du sender til ChatGPT, Claude eller Gemini lagres på fremmede servere, tjenestene koster penger over tid, og du er avhengig av internettilgang og tjenesteleverandørens vilkår.

Lokal AI er alternativet der du kjører språkmodellene direkte på din egen maskin. Siden åpne modeller som LLaMA (Meta), Mistral (Mistral AI) og Gemma (Google) er frigitt med åpne vekter, kan hvem som helst laste dem ned og kjøre dem lokalt. Fordelene er åpenbare: full personvern (ingen data forlater maskinen), ingen abonnementsavgift, offlinedrift, og muligheten til å tilpasse modellene.

Den teknologiske barrieren for å kjøre lokale modeller har falt dramatisk. Verktøy som Ollama og LM Studio gjør at du kan ha en kraftig AI-assistent kjørende på under fem minutter, uten å røre en terminalkommando eller konfigureringsfil — og uten å forstå maskinlæringsmatematikken under panseret.

Hardware-krav: Hva trenger du?

Hardware-kravene for lokal AI varierer dramatisk avhengig av hvilken modell du vil kjøre og hvilken ytelse du forventer. Det viktigste å forstå er at GPU-hukommelse (VRAM) er den begrensende faktoren, ikke CPU-kraft: passer ikke modellen i VRAM, laster Ollama den delvis over på CPU og systemminne, som er mye tregere enn ren GPU-kjøring.

Modellstørrelse oppgis i antall parametre (7B, 13B, 70B og så videre) og styrer hvor mye minne som trengs. For Llama 3.1 8B oppgir llama.cpp 14,96 GiB i full presisjon (F16) mot 4,58 GiB kvantisert til Q4_K_M — og for en 70B-modell 43,1 GB i Q4_K_M-format mot 280,9 GB ukvantisert. Kvalitetstapet fra kvantiseringen er i praksis lite merkbart for de fleste oppgaver.

Quantization: Gjør store modeller kjørbare

Quantization (kvantisering) er teknikken som gjør det mulig å kjøre store modeller på forbruker-hardware. I stedet for å lagre hvert tall i modellen med full presisjon (32-bit eller 16-bit flytende komma), komprimeres vektene til lavere presisjon — typisk 4-bit (Q4), 5-bit (Q5) eller 8-bit (Q8). Llama.cpp, verktøyet formatet kommer fra, beskriver dette som å redusere presisjonen på modellvektene for å krympe størrelsen og øke hastigheten, mot et nøyaktighetstap som måles i perplexity.

GGUF er filformatet for kvantiserte modeller som brukes av Ollama, LM Studio og llama.cpp — LM Studio kjører GGUF-modeller med llama.cpp som motor (og MLX-modeller på Mac). For Llama 3.1 8B er filstørrelsen 14,96 GiB i full presisjon (F16), 7,95 GiB i Q8_0 og 4,58 GiB i Q4_K_M-format. Kvalitetstapet fra F16 til Q4_K_M er i praksis lite merkbart for de fleste oppgaver.

Tommelfingerregel: Q4_K_M er eksempelformatet i llama.cpps egen dokumentasjon og gir under en tredjedel av filstørrelsen til full presisjon (F16), med lite merkbart kvalitetstap for de fleste oppgaver. For svært store modeller (70B+) er kraftig kvantisering ofte nødvendig på forbruker-hardware: samme kilde oppgir at en 70B-modell krever rundt 43 GB i Q4_K_M-format mot 281 GB ukvantisert.

Ollama: Enkleste vei til lokal AI

Ollama er et kommandolinjeverktøy som gjør det enkelt å laste ned og kjøre åpne språkmodeller. Installer det med én kommando fra ollama.com — `curl -fsSL https://ollama.com/install.sh | sh` på macOS/Linux — og deretter er det like enkelt som `ollama run llama3.2` for å laste ned og starte Llama 3.2-modellen. Ollama håndterer automatisk nedlasting, lagring og GPU-akselerasjon.

Ollama eksponerer også en lokal REST API — på port 11434 som standard — som er kompatibel med et delsett av OpenAI sin API. Dette betyr at mange apper og verktøy som er bygget for OpenAI sin API kan pekes mot Ollama i stedet, inkludert kodeeditorer som VS Code og selvhostede grensesnitt som Open WebUI.

Open WebUI er et anbefalt grensesnitt for Ollama — en selvhostet webapplikasjon som gir deg et ChatGPT-lignende brukergrensesnitt, opplasting av dokumenter og bilder til retrieval (RAG), lagring av samtalehistorikk, og mulighet til å bruke flere modeller samtidig. Det installeres som en Docker-container med én kommando.

LM Studio: Grafisk grensesnitt for nybegynnere

LM Studio er et grafisk desktop-program for macOS, Windows og Linux som lar deg søke etter, laste ned og kjøre GGUF- og MLX-modeller uten terminalinteraksjon — det bruker llama.cpp som motor for GGUF-modeller. Grensesnittet er polert og brukervennlig: du søker etter modeller direkte fra Hugging Face inne i appen, trykker Last ned, og starter en chattsesjon.

LM Studio har også en innebygd lokal server-funksjon som eksponerer en OpenAI-kompatibel API, akkurat som Ollama. Dette lar deg bruke LM Studio som backend for andre apper. Valget mellom Ollama og LM Studio er i stor grad en smakssak: Ollama er enklere å automatisere og scripte, mens LM Studio er mer tilgjengelig for brukere som foretrekker grafiske grensesnitt.

Hvilken modell skal du velge?

Modellmarkedet er i rask utvikling. Per Ollamas modellbibliotek (september 2026) er sentrale allmennmodeller: Llama 3.2 (1B/3B) og Llama 3.1 (8B) fra Meta, under Metas egen Community License; Mistral 7B fra Mistral AI under Apache 2.0-lisens; og Googles Gemma-familie, nå i sin fjerde generasjon. Disse passer maskiner med 6-12 GB VRAM.

For kodehjelp er Qwen3-Coder fra Alibaba og DeepSeek-Coder-V2 særlig gode, begge bygget som blandede eksperter (MoE) for lavere ressursbruk relativt til totalstørrelsen. Phi-4 fra Microsoft (MIT-lisens) er kompakt (14B) relativt til kvaliteten. For de med kraftigere hardware er Llama 3.3 70B — som Meta oppgir har ytelse på linje med Llama 3.1 405B — og Llama 4 Scout og Maverick (utgitt april 2025, naturlig multimodale modeller med 17 milliarder aktive parametre under Llama 4 Community License) blant de mest kapable åpne alternativene. Sjekk Ollamas modellbibliotek for oppdaterte modeller og størrelser.

• Llama 3.2 (1B/3B): Metas minste, raskeste modeller — 1,3 GB og 2,0 GB å laste ned i Ollama, tekstbaserte.
• Llama 3.2 Vision (11B/90B): Metas multimodale variant som også forstår bilder.
• Mistral 7B: Apache 2.0-lisensiert allmennmodell fra Mistral AI, god ytelse i forhold til størrelsen.
• Gemma: Googles åpne modellfamilie, nå i sin fjerde generasjon med multimodal støtte for tekst, lyd, bilde og video i 12B-varianten.
• Phi-4 (14B): Microsofts kompakte modell, MIT-lisensiert.
• 70B+ modeller (Llama 3.3, Llama 4 Scout/Maverick): krever rundt 43 GB i Q4_K_M-format for en 70B-modell — mer enn de fleste forbruker-GPUer har i VRAM alene.

Praktiske bruksområder for lokal AI

Lokal AI er spesielt verdifullt for oppgaver som involverer sensitiv informasjon du ikke vil sende til skyen: redigering av personlige dokumenter, juridiske tekster, medisinske notater, kildekode med forretningshemmeligheter, eller private dagboknotater. All prosessering skjer lokalt, ingen data forlater maskinen.

Andre populære bruksområder inkluderer kodehjelp og debugging, oversettelse mellom norsk og andre språk, oppsummering av lange dokumenter, kreativ skriving, og som en offline assistent i situasjoner uten internettilgang. Kombinert med verktøy som Fabric eller shell-scripting kan du bygge automatiseringspipelines som bruker lokal AI som en komponent.