LoRA-modellen voor Stable Diffusion: wat zijn het en hoe gebruik je ze?

Kleine bestanden, groot verschil

Je hebt Stable Diffusion draaien. Je genereert beelden. Maar hoe krijg je die ene specifieke stijl, dat ene gezicht of dat karakter dat je in je hoofd hebt? Checkpoint-modellen van 2-7 GB swappen is omslachtig en tijdrovend. Er is een slimmere manier.

LoRA-modellen zijn kleine add-ons (meestal 10-200 MB) die je bovenop je bestaande model laadt. Eén bestand, en plotseling genereert je setup fotorealistische portretten, anime in een specifieke stijl of beelden die eruitzien alsof ze door een bepaalde kunstenaar zijn gemaakt. Zonder dat je een compleet nieuw model hoeft te downloaden.

In deze tutorial leggen we uit wat LoRA precies is, waar je de beste modellen vindt, hoe je ze laadt in zowel ComfyUI als Automatic1111, en hoe je je eigen LoRA traint. Of je nu net begint met Stable Diffusion of al maanden genereert: LoRA's tillen je workflow naar het volgende niveau.

Wat is LoRA eigenlijk?

LoRA staat voor Low-Rank Adaptation. De techniek is oorspronkelijk ontwikkeld door onderzoekers van Microsoft voor het fine-tunen van grote taalmodellen, beschreven in het oorspronkelijke LoRA paper op arXiv, maar bleek perfect toepasbaar op beeldgeneratie.

De kernidee is elegant simpel. Een volledig Stable Diffusion-model bevat miljarden parameters (gewichten). Als je dat model wilt aanpassen, zeg om het jouw gezicht te leren herkennen, zou je normaal gesproken al die miljarden parameters opnieuw moeten trainen. Dat kost enorm veel rekenkracht en geheugen.

LoRA neemt een shortcut. In plaats van de volledige gewichtsmatrix aan te passen, splitst het de verandering op in twee veel kleinere matrices. Wiskundig gezien:

W' = W + B × A, waarbij W de originele gewichten zijn (bevroren), en B × A de kleine aanpassing die de LoRA toevoegt.

Het resultaat? Je traint slechts een fractie van de parameters, soms 10.000 keer minder dan bij volledige fine-tuning, terwijl de kwaliteit vergelijkbaar blijft. Dat is waarom een LoRA-bestand 50 MB kan zijn in plaats van 5 GB.

LoRA versus andere model-types

In het Stable Diffusion-ecosysteem kom je verschillende model-types tegen. Dit is hoe ze zich verhouden:

Type	Bestandsgrootte	Wat het doet	Standalone?
Checkpoint	2-7 GB	Volledig model, bepaalt de basislook	Ja
LoRA	10-200 MB	Voegt stijl, concept of gezicht toe	Nee, laadt bovenop checkpoint
Textual Inversion	10-100 KB	Leert een nieuw "woord" aan het model	Nee, laadt bovenop checkpoint
LyCORIS/LoHa	50-300 MB	Geavanceerdere LoRA-variant met meer flexibiliteit	Nee, laadt bovenop checkpoint

LoRA zit in de sweet spot: klein genoeg om er tientallen te verzamelen, maar krachtig genoeg om de output fundamenteel te veranderen.

Welk basismodel kies je in 2026?

Voordat je LoRA's gaat downloaden, is het goed om te weten welk basismodel bij je hardware past. LoRA's zijn architectuurgebonden.

Basismodel	VRAM	Sterkte	LoRA-ecosysteem
SD 1.5	4-6 GB	Oud, maar enorm LoRA-archief	Zeer groot (legacy)
SDXL	8 GB	Fotorealisme, breed inzetbaar	Groot en actief
SD 3.5 Large	12-16 GB	Beste kwaliteit SD-familie	Groeiend
FLUX.1 / FLUX.2 dev	16-24 GB	Topkwaliteit fotorealisme	Groeiend, apart ecosysteem
FLUX.2 Klein	8-12 GB	Snel, compact, goed resultaat	Nieuw (2026)
Qwen-Image	6-24 GB (sterk kwantisatie-afhankelijk)	Tekst-in-beeld en beeldbewerking (editing), niet alleen generatie	Nieuw en hard groeiend op CivitAI sinds eind 2025

SDXL is in 2026 nog steeds het meest gekozen werkpaard voor fotorealisme op consumentenhardware: stabiel ecosysteem, brede LoRA-keuze en draait op 8 GB VRAM. Qwen-Image (van Alibaba) is de opvallendste nieuwkomer van het jaar: het model is sterker in tekst-in-beeld en directe beeldbewerking dan SDXL of FLUX, en het CivitAI-archief met Qwen-Image-LoRA's groeide in de eerste helft van 2026 snel. Voor puur fotorealistische stijl-LoRA's blijft SDXL vooralsnog de veiligste keuze qua ecosysteemgrootte, maar wie met tekst-in-beeld of edit-taken werkt, kan niet meer om Qwen-Image heen.

Waar vind je LoRA-modellen?

Er zijn twee grote platforms waar de community LoRA's deelt. Elk heeft z'n eigen sterke punten.

CivitAI, de grootste marktplaats

CivitAI is veruit de populairste bron. Duizenden LoRA's, gratis te downloaden, met voorbeeldafbeeldingen, reviews en gedetailleerde beschrijvingen. Je filtert op:

• Basismodel: SD 1.5, SDXL, Pony, Illustrious, Flux
• Type: stijl, karakter, concept, kleding, pose
• Populariteit en rating: de community stemt, dus je ziet snel wat werkt

Tip: kijk altijd naar de "About this version" sectie op CivitAI. Daar staat welke trigger words je moet gebruiken en welk checkpoint het beste werkt.

Hugging Face, de technische bron

Hugging Face is meer gericht op ontwikkelaars en onderzoekers. Je vindt er officiële modellen van Stability AI en community-uploads met technische documentatie, inclusief model cards met trainingsdetails. Minder visueel dan CivitAI, maar betrouwbaar en goed gecureerd.

Andere bronnen

• PromptHero: toont vaak welke LoRA's zijn gebruikt bij populaire beelden
• Reddit (r/StableDiffusion, r/comfyui): community deelt regelmatig hun favoriete LoRA's met voorbeelden
• GitHub: sommige makers publiceren hun LoRA's direct via repositories

LoRA's gebruiken in Automatic1111

Automatic1111 (ook wel A1111 of de Stable Diffusion WebUI) heeft het grootste extensie-archief. LoRA's laden is hier eenvoudig, al heeft A1111 geen ondersteuning voor SD 3.5 of FLUX-modellen. Gebruik het voor SD 1.5 en SDXL-gebaseerde LoRA's.

Stap 1: bestand plaatsen

Download je LoRA (.safetensors bestand) en plaats het in:

stable-diffusion-webui/models/Lora/

Stap 2: de interface openen

Start A1111 en klik op het kaartjes-icoon onder het prompt-veld (het "show/hide extra networks" icoon). Ga naar het Lora tabblad. Je ziet daar je gedownloade LoRA met een thumbnail.

Stap 3: activeren via prompt

Klik op de LoRA en deze wordt automatisch in je prompt ingevoegd met de syntax:

<lora:naam-van-lora:1>

Het getal achter de dubbele punt is de strength (sterkte). Standaard staat die op 1 (100%). Je kunt deze aanpassen:

• 0.5-0.7: subtiel effect, goed voor stijl-LoRA's die je wilt blenden
• 0.8-1.0: sterk effect, ideaal voor specifieke gezichten of karakters
• Boven 1.0: mogelijk maar kan artefacten veroorzaken

Stap 4: trigger words toevoegen

Veel LoRA's hebben specifieke trigger words nodig om geactiveerd te worden. Voeg deze toe aan je prompt. Bijvoorbeeld:

photo of a woman in ohwx style, portrait lighting, soft background <lora:style-ohwx:0.8>

Let op: vergeet de trigger words niet. Zonder die woorden weet het model niet wat je LoRA moet doen, en krijg je generieke resultaten.

LoRA's gebruiken in ComfyUI

ComfyUI werkt visueel met nodes in plaats van tekstvelden. Het laden van LoRA's werkt daardoor iets anders, maar geeft je meer controle. ComfyUI ondersteunt LoRA's voor alle basismodellen: SD 1.5, SDXL, SD 3.5, FLUX.1 en FLUX.2.

Stap 1: bestand plaatsen

Download je LoRA en plaats het in:

ComfyUI/models/loras/

Herstart ComfyUI of klik op "Refresh" in de interface om het nieuwe bestand te detecteren.

Stap 2: Load LoRA node toevoegen

Rechtsklik in de workspace, Add Node, Loaders, Load LoRA. Je krijgt een node met de volgende aansluitingen:

• Input: model + clip (van je checkpoint loader)
• Output: model + clip (naar je KSampler of volgende LoRA)

Stap 3: in de workflow hangen

De basisflow ziet er zo uit:

[Checkpoint Loader] → [Load LoRA] → [CLIP Text Encode] → [KSampler]

Verbind de model output van je checkpoint met de model input van de LoRA-node. Idem voor CLIP. De LoRA-node geeft aangepaste model- en CLIP-outputs door aan de rest van je workflow.

Stap 4: strength instellen

De Load LoRA node heeft twee strength-sliders:

• strength_model: hoe sterk de LoRA het model beïnvloedt (standaard 1.0)
• strength_clip: hoe sterk de LoRA de tekstinterpretatie beïnvloedt (standaard 1.0)

Pro tip: begin met beide op 0.8 en pas aan op basis van je resultaten. Sommige LoRA's zijn agressief getraind en geven bij 1.0 al overbakte resultaten.

Meerdere LoRA's stapelen

Een groot voordeel van ComfyUI: je kunt meerdere Load LoRA nodes achter elkaar schakelen. De output van de eerste gaat naar de input van de tweede:

[Checkpoint] → [LoRA stijl] → [LoRA gezicht] → [LoRA belichting] → [KSampler]

Verlaag de strength per LoRA naar 0.4-0.7 wanneer je er meerdere combineert. Zo voorkom je conflicten en houd je de generatie stabiel.

Je eigen LoRA trainen

Dit is waar het echt interessant wordt. Met een eigen LoRA kun je het model jouw gezicht, jouw huisdier, jouw merk-stijl of een specifiek concept aanleren.

Wat heb je nodig?

• GPU: minimaal 8 GB VRAM (10-12 GB aanbevolen voor SDXL; 24 GB voor FLUX.2 dev zonder kwantisatie)
• Software: Kohya_ss GUI (de standaard voor SD/SDXL LoRA-training), of AI-Toolkit/FluxGym voor FLUX
• Trainingsdata: 15-100 afbeeldingen, afhankelijk van je doel
• Tijd: 30 minuten tot enkele uren, afhankelijk van je hardware

Stap 1: trainingsafbeeldingen verzamelen

De kwaliteit van je trainingsdata bepaalt de kwaliteit van je LoRA. Vuistregels:

• Gezicht/karakter: 15-30 foto's vanuit verschillende hoeken, met verschillende achtergronden en belichting
• Stijl: 50-100 afbeeldingen die consistent dezelfde esthetiek tonen
• Object/concept: 20-50 afbeeldingen van het object in verschillende contexten

Zorg dat alle afbeeldingen scherp zijn, minimaal 512×512 pixels (liefst groter), en dat het onderwerp duidelijk zichtbaar is.

Stap 2: afbeeldingen taggen

Elke trainingsafbeelding heeft een tekstbestand nodig dat beschrijft wat er te zien is. Kohya_ss heeft een ingebouwde tagger (WD14 Tagger v3 is de huidige standaard in 2026). Die genereert automatisch tags per afbeelding.

Belangrijk: verwijder tags die beschrijven wat je wilt dat de LoRA leert. Train je een persoon genaamd "sks"? Verwijder dan tags als "brown hair" of "blue eyes" uit je captions, anders leert het model die kenmerken niet koppelen aan jouw trigger word.

Stap 3: Kohya_ss configureren (voor SDXL en SD 3.5)

Download Kohya_ss van GitHub en start de GUI. De belangrijkste instellingen:

• Network Rank (dim): 32-64 voor gezichten, 64-128 voor stijlen. Hogere waarden = meer detail maar groter bestand
• Network Alpha: de helft van je rank (dus 16-32 bij rank 32-64)
• Learning rate: 5e-5 is de aanbevolen startwaarde voor SDXL met LoRA+ (niet 1e-4 zoals bij oudere SD 1.5-training)
• Epochs: 10-20 voor gezichten, 20-40 voor stijlen
• Batch size: 1-2 bij 8 GB VRAM, 4+ bij 12 GB
• Optimizer: AdamW8bit voor geheugenefficiëntie, Prodigy als je de learning rate niet wilt handmatig tunen

De fused backward pass feature in recente Kohya_ss-versies reduceert het VRAM-gebruik voor SDXL-training van 24 GB naar circa 10 GB met bf16-precisie.

FLUX LoRA-training: andere tools

Voor FLUX.1 en FLUX.2 werkt Kohya_ss, maar er zijn betere alternatieven die specifiek voor FLUX zijn gebouwd:

• AI-Toolkit (Ostris): gebouwd voor FLUX-training (inclusief FLUX.2) en inmiddels ook Qwen-Image, heeft een web UI en is eenvoudiger te configureren dan Kohya_ss voor deze modellen. Zonder kwantisatie vereist het nog altijd minimaal 24 GB VRAM.
• FluxGym: specifiek voor FLUX LoRA-training op lagere VRAM (12-20 GB). Minder instellingen, maar daardoor ook makkelijker voor beginners.
• GGUF-kwantisatie verandert de rekensom: sinds begin 2026 is FLUX.2-training met GGUF-kwantisatie praktisch geworden op consumenten-GPU's, met 8 GB als minimum en 12 GB als comfortabele ondergrens. Dat is een aanzienlijke verlaging ten opzichte van de 24 GB die eerder standaard was, en maakt lokale FLUX-training voor het eerst haalbaar zonder een dure workstation-GPU.
• Learning rate voor FLUX: FLUX is gevoeliger voor learning rate dan SDXL. Start op 1e-4 en verlaag naar 5e-5 als je kwaliteitsproblemen ziet.

Qwen-Image LoRA-training: de nieuwste optie

Qwen-Image (en de edit-variant Qwen-Image-Edit) heeft in de eerste helft van 2026 een eigen trainingsecosysteem gekregen. Twee routes zijn het populairst:

• Kohya's Musubi Tuner: een aparte, lichtgewicht trainer specifiek voor Qwen-Image, met een eenvoudige Gradio-interface.
• AI-Toolkit: ondersteunt inmiddels ook Qwen-Image naast FLUX, met vergelijkbare workflow als bij FLUX-training.

Het opvallendste verschil met FLUX: dankzij kwantisatie is Qwen-Image-training al mogelijk vanaf ongeveer 6 GB VRAM, met een comfortabelere ervaring rond 12-24 GB voor hogere rank-instellingen. Rank 32 is een veilig startpunt; ga naar 48-64 alleen bij complexe stijlen en let dan extra op overtraining.

Stap 4: trainen en testen

Start de training en houd de preview-afbeeldingen in de gaten. Na elke epoch genereert Kohya_ss optioneel een testbeeld. Kijk of:

• Je trigger word het juiste concept activeert
• De stijl/het gezicht herkenbaar is
• Er geen artefacten of vervorming ontstaat

Overtraining is een veelvoorkomend probleem. Als je resultaten er "plastiek" of geforceerd uitzien, train je te lang. Bewaar checkpoints van meerdere epochs en test welke het beste werkt.

Alternatief: CivitAI's online trainer

Geen krachtige GPU? CivitAI biedt een online LoRA-trainer aan. Upload je afbeeldingen, configureer de basis-instellingen, en laat hun servers het zware werk doen. Minder controle dan Kohya_ss, maar de drempel is een stuk lager.

De beste LoRA's om mee te beginnen

Wil je direct aan de slag? Dit zijn categorieën LoRA's die populair zijn op CivitAI en direct impact hebben op je resultaten:

Stijl-LoRA's

• Detail Tweaker: past het detailniveau aan zonder de compositie te veranderen. Subtiel maar effectief
• Film Grain: voegt cinematische korrel toe voor een analoge look
• Anime-stijlen: tientallen LoRA's die specifieke anime-esthetieken nabootsen (voor Illustrious en Pony-modellen)

Kwaliteitsverbetering

• Add More Details: een van de meest gedownloade LoRA's ooit. Voegt textuur en scherpte toe
• DMD2 Speed LoRA: versnelt de generatie door minder steps nodig te maken bij SDXL

Concept-LoRA's

• Specific clothing: LoRA's die specifieke kledingstijlen, texturen of patronen toevoegen
• Lighting setups: studio-achtige belichting, golden hour, neon, zonder het in je prompt te hoeven forceren

Advies: begin met één stijl-LoRA en één detail-LoRA. Leer hoe ze reageren op verschillende strengths voordat je gaat stapelen.

Veelgemaakte fouten (en hoe je ze vermijdt)

Verkeerd basismodel: een LoRA getraind op SD 1.5 gebruiken met een SDXL-checkpoint levert rommel op. Een FLUX-LoRA op SD 3.5 laden doet hetzelfde. Check altijd de compatibiliteit.

Strength te hoog: een LoRA op 1.5 zetten "omdat meer beter is" resulteert in vervormde, overbakte beelden. Begin laag en werk omhoog.

Trigger words vergeten: veel LoRA's doen letterlijk niets zonder hun specifieke trigger word in je prompt. Lees de documentatie.

Te veel LoRA's tegelijk: drie of meer LoRA's op volle sterkte gecombineerd geeft chaos. Stapel bewust en met lagere strengths.

Verouderde LoRA's: een LoRA van twee jaar geleden, getraind op SD 1.4, werkt mogelijk slecht met moderne checkpoints. Kies recent geüpdate modellen.

Workflow-tips voor dagelijks gebruik

Als je regelmatig met LoRA's werkt, helpen deze gewoontes:

1. Organiseer je LoRA-map: maak submappen per basismodel en type (sdxl/stijl, sdxl/gezicht, flux/stijl) zodat je niet door honderden bestanden hoeft te scrollen
2. Houd een logboek bij: noteer welke LoRA + checkpoint + strength combinaties goed werken. Dit bespaart uren experimenteertijd
3. Test op een vaste prompt: gebruik altijd dezelfde basisprompt wanneer je een nieuwe LoRA test, zodat je het effect eerlijk kunt vergelijken
4. Bewaar tussenversies bij training: train je een eigen LoRA? Sla elke 5 epochs een versie op. De "beste" versie is zelden de laatste

Van passieve gebruiker naar actieve maker

LoRA-modellen zijn de reden waarom Stable Diffusion zo'n levendige community heeft. Ze maken het ecosysteem modulair: in plaats van één monolithisch model dat alles moet kunnen, combineer je een sterk basismodel met gerichte aanpassingen. Dat geeft je controle die je bij geen enkele cloud-gebaseerde AI beeldgenerator hebt.

Begin simpel. Download een populaire stijl-LoRA van CivitAI, laad hem in je lokale Stable Diffusion-installatie, en experimenteer met verschillende strengths. Zodra je snapt hoe ze werken, is de stap naar eigen training verrassend klein.

Bronnen

• CivitAI, de grootste community voor LoRA-modellen, met reviews, trigger words en voorbeeldbeelden
• Hugging Face Model Hub, officiële en community-modellen met technische documentatie
• LoRA: Low-Rank Adaptation of Large Language Models (arXiv), het oorspronkelijke onderzoekspaper achter de LoRA-techniek
• Kohya_ss op GitHub, de meest gebruikte tool voor LoRA-training (SD, SDXL, FLUX)
• FluxGym op GitHub, eenvoudige FLUX LoRA-trainer voor 12-20 GB VRAM

De tools zijn er. De community deelt alles. De enige limiet is je eigen experimenteerdrift.

Veelgestelde vragen

Wat is het verschil tussen een LoRA en een checkpoint-model?

Een checkpoint is een compleet AI-model van meerdere gigabytes. Een LoRA is een kleine aanpassing (10-200 MB) die bovenop een checkpoint wordt geladen. Je hebt altijd eerst een checkpoint nodig, de LoRA voegt daar specifieke stijlen, gezichten of concepten aan toe.

Kan ik meerdere LoRA's tegelijk gebruiken?

Ja, zowel in ComfyUI als A1111 kun je meerdere LoRA's tegelijk laden. Verlaag dan de strength van elk naar 0.5-0.7, anders kunnen ze conflicteren en krijg je overbakte resultaten.

Hoeveel afbeeldingen heb ik nodig om een eigen LoRA te trainen?

Voor een gezicht of karakter zijn 15-30 goede foto's voldoende. Voor een stijl-LoRA heb je 50-100 consistente afbeeldingen nodig. Kwaliteit is belangrijker dan kwantiteit, zorg dat je trainingsdata scherp, consistent en goed gecapt is.

Werkt elke LoRA met elk checkpoint-model?

Nee. Een LoRA die getraind is op SD 1.5 werkt alleen goed met SD 1.5-gebaseerde checkpoints. SDXL-LoRA's werken met SDXL-checkpoints. FLUX-LoRA's werken alleen met FLUX-modellen. Check altijd de beschrijving op CivitAI voor welk basismodel de LoRA bedoeld is.

Zijn LoRA-modellen veilig om te downloaden?

Gebruik altijd vertrouwde bronnen zoals CivitAI of Hugging Face. .safetensors bestanden zijn veiliger dan .ckpt bestanden, omdat ze geen willekeurige code kunnen uitvoeren. CivitAI scant geüploade modellen automatisch op malware.

Kan ik een LoRA trainen voor FLUX.2?

Ja. Kohya_ss ondersteunt FLUX-training, al vereist het op z'n minst 24 GB VRAM zonder kwantisatie. Voor lagere VRAM is AI-Toolkit van Ostris een populairder alternatief (met web UI), en FluxGym is specifiek gebouwd voor FLUX LoRA-training op 12-20 GB kaarten. Sinds begin 2026 maakt GGUF-kwantisatie training zelfs mogelijk vanaf 8 GB VRAM, met 12 GB als comfortabele ondergrens.

Moet ik overstappen naar Qwen-Image, of blijft SDXL de beste keuze?

Dat hangt van je doel af. Voor pure fotorealistische stijl-LoRA's heeft SDXL nog altijd het grootste en meest volwassen CivitAI-archief. Voor tekst-in-beeld en beeldbewerking (editing) is Qwen-Image inmiddels sterker en groeit het LoRA-ecosysteem er snel. Voor de meeste hobbyisten is SDXL nog steeds het makkelijkste startpunt; Qwen-Image is de tool om bij te houden als je met tekst of edits werkt.