LoRA (Low-Rank Adaptation)

LoRA is een efficiënte fine-tuning techniek die alleen lage-rank aanpassingen aan modelgewichten toevoegt in plaats van het hele model bij te werken. Dit maakt fine-tuning veel sneller en goedkoper.

LoRA stelt gebruikers in staat om grote modellen aan te passen met veel minder rekenhuishoudkost. Dit heeft het democratiseren van fine-tuning van grote modellen aanzienlijk bevorderd.