Stable Diffusion lokalt: Fri bildegenerering

Hva er Stable Diffusion?

Stable Diffusion er en åpen kildekode diffusjonsmodell for å generere bilder fra tekstbeskrivelser (prompts), opprinnelig utviklet av Stability AI i samarbeid med forskere fra LMU München. Siden modellvektene er fritt tilgjengelige, kan hvem som helst laste ned og kjøre dem lokalt — i motsetning til Midjourney og DALL-E som er skytjenester med abonnement.

Det åpne kildekode-aspektet har resultert i et enormt fellesskap av utviklere og kunstnere som lager spesialiserte modeller, utvidelser og verktøy. Per 2025 finnes det titusener av ferdigtrente modeller og LoRA-er (Low-Rank Adaptation) tilgjengelig gratis på Civitai og Hugging Face — alt fra fotorealistiske portretter til anime-stil, arkitektur, produktfotografering og kunstneriske stiler.

Stable Diffusion er ikke bare for tekstgenererte bilder. Moderne workflows inkluderer img2img (modifisere eksisterende bilder), inpainting (fjerne eller erstatte deler av bilder), upscaling (forstørre bilder uten kvalitetstap), ControlNet (styre komposisjon og positurer), og videogenerering.

Hardware-krav: GPU er nøkkelen

Som med lokale språkmodeller er GPU-VRAM den kritiske begrensingen for Stable Diffusion. Nvidia-GPU-er er i en klar særstilling takket være CUDA-plattformen som all AI-software er primært optimalisert for. AMD-GPU-er fungerer via ROCm (primært på Linux) og er et rimeligere alternativ, men med noe dårligere kompatibilitet.

Apple Silicon (M1/M2/M3/M4) er et utmerket alternativ med god ytelse via Metal-akselerasjon og den store samlede minnepulen — en MacBook Pro M3 Max med 48 GB unified memory kan kjøre svært store modeller. CPU-kjøring er mulig men ekstremt tregt og ikke anbefalt for annet enn testing.

Automatic1111: Den klassiske webgrensesnittet

Automatic1111 (A1111 eller SD WebUI) var lenge det dominerende grensesnittet for Stable Diffusion og er fortsatt svært populært. Det er en webapplikasjon med et bredt brukergrensesnitt med mange innstillinger og et stort utvalg av utvidelser. Installasjonen er relativt enkel: klon repositoryet fra GitHub, installer Python-avhengigheter med install.bat (Windows) eller install.sh (Linux/Mac), og start med webui.bat/webui.sh.

A1111 er særlig godt egnet for brukere som vil ha et tradisjonelt skjemabasert grensesnitt for tekstprompting, og er kjent for sin brukervennlighet. Utvidelsesmarkedet er enormt med hundrevis av tilleggsmoduler for ControlNet, FaceSwap, upscaling, og mye mer.

ComfyUI: Kraftfullt nodebasert grensesnitt

ComfyUI har i stor grad erstattet A1111 som foretrukket grensesnitt blant erfarne brukere. I stedet for et tradisjonelt skjema, bruker ComfyUI et node-basert visuelt workflow-system — tenk Adobe Premiere sin tidslinje eller Blender sine materiale-noder, men for bildegenerering.

Hvert steg i genereringsprosessen representeres som en node: modell-laster, klipp-tekstkoder, sampler, vae-dekoder, og bildesparer. Du kobler nodene sammen med ledninger og kan bygge svært komplekse og gjenbrukbare workflows. Dette gjør ComfyUI kraftfullt for avanserte teknikker som img2img, inpainting, ControlNet-pipelines og generering av video.

ComfyUI støtter også de nyeste modellarkitekturene raskere enn A1111, inkludert Flux.1, Stable Diffusion 3.5 og SDXL Turbo. Mange workflow-filer deles i fellesskapet og kan importeres direkte i ComfyUI for å replikere avanserte teknikker uten å bygge dem fra bunnen av.

Modeller og LoRA: Tilpass stilen

Basismodellene (checkpoints) er fundamentet for bildegenerering. Per 2025 er de tre viktigste arkitekturene SD 1.5 (eldre men med enormt modellbibliotek), SDXL (bedre kvalitet, krever mer VRAM), og Flux.1 (den nyeste og mest imponerende — finnes i Schnell-versjon for rask generering og Dev-versjon for bedre kvalitet).

LoRA (Low-Rank Adaptation) er kompakte tilleggsmodeller (typisk 20-200 MB) som justerer en basismodells stil, utseende eller innhold. Du kan kombinere en fotorealistisk basismodell med en LoRA trent på en spesifikk kunstnerstil, eller bruke en face-LoRA for å inkludere et spesifikt ansikt i genererte bilder. Civitai (civitai.com) er det største arkivet for både modeller og LoRA-er, med tusenvis av fritt tilgjengelige ressurser.

• SD 1.5: Eldre, men enormt utvalg av modeller og LoRA — god for 4 GB VRAM
• SDXL: Høyere basisoppløsning (1024x1024), bedre anatomisk presisjon
• Flux.1 Schnell: Rask (4 steps), høy kvalitet, lisens for kommersiell bruk
• Flux.1 Dev: Saktere men beste åpen kvalitet per 2025
• LoRA: Kompakte stiladaptere (20-200 MB) — last ned fra Civitai
• Controlnet: Styr komposisjon med kantlinjer, dybdekart, positurer

Promptteknikk og beste praksis

Effektiv prompting er en ferdighet som tar tid å lære. De grunnleggende prinsippene er: beskriv motivet, stilen, belysningen og bakgrunnen tydelig; bruk kvalitetsmarkører ('masterpiece', 'photorealistic', '4k') i positive prompts; og bruk negative prompts for å ekskludere uønskede elementer ('blurry', 'deformed hands', 'extra fingers', 'watermark').

For Flux.1-modeller er prompting annerledes enn for SD 1.5/SDXL — Flux.1 forstår naturlig språk bedre og krever ikke den samme listing av søkeord-stil prompts. Med Flux.1 kan du beskrive bildet i naturlige setninger på engelsk.

Sampler og antall steps er to viktige parametere. For SD 1.5 og SDXL gir 20-30 steps med Euler a eller DPM++ 2M Karras gode resultater. For Flux.1 Schnell holder 4 steps. CFG Scale kontrollerer hvor nøye modellen følger prompten — høyere verdier (7-12) er mer trofast mot prompten men kan gi for mye kontrast, mens lave verdier (1-4) er mer kreativt men mindre forutsigbart.

VRAM-optimalisering for lavere-end hardware

Har du begrenset VRAM er det flere teknikker som hjelper. Tiled VAE i A1111 og ComfyUI lar deg generere bilder ved høyere oppløsning enn VRAM normalt tillater. xFormers er et bibliotek som reduserer minnebruken for attention-operasjoner og kan installeres som en utvidelse i A1111.

Modellavlasting mellom steg (model offloading) er en teknikk der deler av modellen flyttes til systemminne (RAM) når de ikke brukes, og tilbake til GPU-minnet ved behov. Dette lar deg kjøre SDXL på 6 GB VRAM, men tregere. ComfyUI sin --lowvram-modus gjør dette automatisk. For Windows-brukere kan PageFile (virtuelt minne) fungere som nødhjelp for svært store modeller, men med dramatisk tregere generering.