Wie werden Abliterated-Modelle erstellt? Eine klare Erklärung
Abliterated-Modelle sind große Sprachmodelle, bei denen die Mechanismen zur Erzwingung von Sicherheitsablehnungen entfernt wurden, sodass das Modell kontroverse, erwachsene oder Nischenfragen beantworten kann, ohne auf einen Inhaltsfilter zu stoßen. Dieser Ansatz gibt Entwicklern die volle Kontrolle über die Stimme und den Wissensstand des Modells, was besonders für Coding, Rollenspiele und kreatives Schreiben wertvoll ist, bei dem Standard-Sicherheitsmechanismen nützliche Ausgaben blockieren könnten.
Aktualisiert
Wichtige Punkte
- Abliteration misst eine Ablehnungsrichtung innerhalb des Modells und projiziert sie aus den Gewichten.
- Es ist eine Bearbeitung, kein Retraining, daher ist es günstig, kann aber die Antwortqualität leicht mindern.
- Fine-Tuning ändert das Verhalten durch Training an Beispielen; Abliteration ändert es durch Subtraktion einer Richtung.
- Du kannst jedes solche Modell mit einem kurzen Testset bewerten, bevor du darauf aufbaust.
Die Kurzversion
Sprachmodelle, die einem Safety-Training unterzogen wurden, lehnen häufiger bestimmte Anfragen ab. Forscher haben festgestellt, dass dieses Ablehnungsverhalten durch eine einzelne Richtung in den internen Aktivierungen des Modells vermittelt wird. Entfernt man diese Richtung, lehnt das Modell die meisten Anfragen nicht mehr ab. Der Name „Abliteration“ ist eine Verschmelzung aus „Ablation“ (Entfernen einer Komponente) und „Obliteration“ (völliges Vernichten).
Wie werden abliterierte Modelle in der Praxis erstellt? Es gibt vier Schritte: Sammeln von zwei Prompt-Sets, Aufzeichnen der Modellaktivierungen für jedes Set, Berechnen der Differenz zur Ermittlung einer Richtung und Bearbeiten der Gewichte, sodass das Modell nicht mehr in diese Richtung schreiben kann. Die folgenden Abschnitte erläutern jeden Schritt ohne komplexe Mathematik.
Schritt 1: zwei Prompt-Sets
Du benötigst einen Satz von Prompts, die das Modell normalerweise ablehnt, und einen Satz, auf den es normal antwortet. Jeder Satz enthält einige hundert kurze Anweisungen. Die Sätze sollten in Länge und Stil ähnlich sein, damit der einzige systematische Unterschied zwischen ihnen darin besteht, ob das Modell ablehnt. Wenn der schädliche Satz aus langen und der harmlose aus kurzen Anweisungen besteht, kodiert die resultierende Richtung teilweise auch die Länge, was Rauschen hinzufügt.
Die Prompts dienen nur der Messung. Es wird nichts daran trainiert, und die Antworten des Modells darauf werden nicht verwendet.
Schritt 2: Finden der Ablehnungsrichtung
Ein Transformer verarbeitet Text als Vektoren, die durch viele Schichten laufen. An einer gewählten Schicht nimmst du den Vektor am letzten Prompt-Token für jeden Prompt in beiden Sets auf. Dann bildest du den Mittelwert der Vektoren pro Set und subtrahierst einen Mittelwert vom anderen. Das Ergebnis ist ein einzelner Vektor, der von „normal antworten“ zu „ablehnen“ zeigt. Normalisiere ihn auf Länge eins und du hast die Ablehnungsrichtung.
Die meisten versuchen mehrere Schichten und wählen diejenige, bei der das Entfernen der Richtung auf einer separaten Menge von Prompts am besten funktioniert. Das Auswählen der Schicht ist der praktischste Teil des Prozesses.
import numpy as np
# acts_bad, acts_good: arrays of shape (n_prompts, hidden_size)
direction = acts_bad.mean(axis=0) - acts_good.mean(axis=0)
direction = direction / np.linalg.norm(direction)
# remove the direction from a weight matrix W that writes into the residual stream
W_edited = W - np.outer(direction, direction) @ WPraktische Implementierungen wenden dies auf mehrere Gewichtsmatrizen in jeder Schicht an, aber die Idee ist die in diesen drei Zeilen.
Schritt 3: Bearbeitung der Gewichte
Sobald du die Richtung hast, gibt es zwei Möglichkeiten, sie zu nutzen. Du kannst sie von den Aktivierungen während des Modelllaufs subtrahieren, was benutzerdefinierten Inferenz-Code erfordert. Oder du kannst sie in die Gewichte einarbeiten, indem du jede Matrix, die in den Residual-Stream schreibt, orthogonal zur Richtung stellst. Der zweite Ansatz ist der übliche, weil das bearbeitete Modell ein gewöhnlicher Checkpoint ist, den jede Laufzeitumgebung laden kann. Deshalb erscheinen abliterierte Modelle als reguläre Downloads.
Die Bearbeitung ist deterministisch und schnell. Sie dauert Minuten auf einer GPU, die das Modell fassen kann, im Vergleich zu Stunden oder Tagen für einen Trainingslauf.
Abliteration vs. Fine-Tuning
Beide können ein Modell erzeugen, das weniger ablehnt, aber sie funktionieren unterschiedlich.
| Abliteration | Fine-Tuning | |
|---|---|---|
| Was ändert sich | Gewichte werden von einer Richtung weg projiziert | Gewichte werden durch Gradientenabstieg auf Beispielen aktualisiert |
| Benötigte Daten | Zwei kleine Prompt-Sets zur Messung | Ein kuratierter Trainingsdatensatz |
| Rechenleistung | Minuten bis eine Stunde | Stunden bis Tage |
| Nebeneffekte | Kann das Denken beeinträchtigen oder den Ton ändern | Hängt von den Daten ab; kann neuen Stil oder Wissen lehren |
| Kontrolle | Grob: eine Richtung an oder aus | Fein: Du formst das Verhalten mit den Daten |
Einige Ersteller kombinieren beides: erst abliterieren, dann ein kurzes Fine-Tuning durchführen, um verlorene Qualität wiederherzustellen. Neuere Tools automatisieren auch die Suche nach der besten Schicht und Stärke, sodass die Bearbeitung Ablehnungen entfernt, während das Modell so wenig wie möglich verändert. Welcher Ansatz zu einem bestimmten Modell geführt hat, steht normalerweise auf seiner Modellkarte.
Die Qualitätskosten
Das Entfernen einer Richtung ist eine grobe Bearbeitung. Die Ablehnungsrichtung ist nicht perfekt von anderen Merkmalen getrennt, sodass das Herausprojizieren auch anderes Verhalten verschieben kann. Gemeldete Nebeneffekte sind eine leicht schwächere Leistung bei Denkaufgaben, seltsame Formatierungen und in einigen Fällen ein Modell, das schädliche Anfragen sorglos statt mit nützlichen Details beantwortet. Der Effekt variiert je nach Basismodell und wie aggressiv die Bearbeitung angewendet wurde.
Zwei Dinge reduzieren den Schaden. Das eine ist, die Schicht und Stärke zu wählen, die Ablehnungen auf deinem Testset mit der kleinstmöglichen Änderung an anderer Stelle entfernen. Das andere ist das oben erwähnte Repair Fine-Tuning. Beides macht die Bearbeitung nicht kostenlos, weshalb du ein Modell auf deinen eigenen Aufgaben testen solltest, statt einem Label zu vertrauen.
Häufige Missverständnisse
„Es fügt neues Wissen hinzu.“ Tut es nicht. Die Bearbeitung entfernt nur ein Verhalten. Wenn das Basismodell ein Thema nicht kannte, wird die abliterierte Version es auch nicht kennen. Sie wird einfach versuchen, eine Antwort zu geben, wo das Original abgelehnt hat.
„Es entfernt alle Sicherheitsmechanismen.“ Es entfernt die gemessene Ablehnungsrichtung. Andere erlernte Gewohnheiten wie vorsichtige Formulierungen oder moralische Einschübe können überleben, weil sie über andere Merkmale verteilt sind. Einige Modelle fügen nach der Bearbeitung noch Hinweise hinzu.
„Größere Modelle sind einfacher zu bearbeiten.“ Die Ergebnisse sind gemischt. Größere Modelle halten der Bearbeitung oft besser stand, weil sie mehr Reservekapazität haben, aber die Qualität deiner beiden Promptsets ist wichtiger als die reine Größe.
„Eine Model Card sagt dir alles.“ Karten beschreiben die Absicht. Sie enthalten selten Ablehnungsraten für deine Art von Prompt. Ein 40-Prompt-Test von dir dauert zehn Minuten und sagt dir mehr als die Karte.
„Das Ergebnis ist für ein gegebenes Basismodell immer gleich.“ Das ist es nicht. Unterschiedliche Promptsets, Schichten und Stärken erzeugen unterschiedliche Bearbeitungen, sodass zwei Modelle, die auf derselben Basis basieren, sich deutlich unterschiedlich verhalten können. Vergleiche sie direkt, anstatt anzunehmen, dass sie übereinstimmen, und notiere die Version, wenn du Testergebnisse festhältst.
Eine Grenze gilt für jeden verantwortungsvollen Dienst, gehostet oder lokal: Sexualisierung von Minderjährigen ist tabu, und eine Ablehnungsbearbeitung ändert diese Regel auf dieser Website nicht.
Wie du ein Modell bewertest, bevor du darauf aufbaust
Schreibe eine kurze Testdatei mit 30 bis 50 Prompts, die deinem echten Einsatz entsprechen: die Art von Fiktion, Analyse oder Code, die du produzieren möchtest. Füge ein paar normale Aufgaben hinzu, wie Zusammenfassen oder Beantworten einer faktischen Frage, damit du siehst, ob die allgemeine Qualität nachgelassen hat. Führe die gleiche Datei gegen jeden Kandidaten aus und lies die Ausgaben. Zähle Ablehnungen, lies aber auch auf Kohärenz, Befolgung der Anweisungen und Wiederholungen.
Wenn du Gewichte lieber nicht herunterladen und hosten möchtest, um dies zu tun, kannst du die Datei gegen einen gehosteten Endpunkt ausführen. Die API dieser Seite ist OpenAI-kompatibel und bedient ein Open-Weight-Modell, das darauf abgestimmt ist, ohne Inhaltsablehnungen für die rechtmäßige Nutzung durch Erwachsene zu antworten, unter der ID uncensored:
curl https://api.abliterated.cc/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Summarize the plot of Hamlet in three sentences."}]}'Lies die Übersicht über abliterierte Modelle für mehr Tipps zur Auswahl oder die Seite zum besten abliterierten LLM für Roleplay, wenn Charakterarbeit dein Ziel ist. Details zur API findest du in der API-Dokumentation. Neue Konten können eine 0,50-$-Testphase ohne Karte beanspruchen, genug, um eine Testdatei dieser Größe auszuführen.
Weitere Anleitungen
Fragen und Antworten
Benötigt Abliteration neue Trainingsdaten?
Nein. Sie benötigt zwei kleine Prompt-Sets, um Aktivierungen zu messen, aber das Modell wurde nicht darauf trainiert. Die Änderung ist eine direkte Bearbeitung der Gewichte.
Ist ein ablieriertes Modell dasselbe wie ein Jailbreak?
Nein. Ein Jailbreak ist ein Prompt, der versucht, ein Modell dazu zu bringen, seine Verweigerung aufzugeben. Abliteration ändert das Modell selbst, daher ist kein spezieller Prompt erforderlich.
Macht Abliteration ein Modell schlechter?
Oft ein wenig. Die Reasoning-Punkte und der Stil können sich verschieben. Das Testen mit deinen eigenen Prompts ist der einzige zuverlässige Weg, um es für ein bestimmtes Modell zu wissen.
Kann ich es verwenden, ohne es selbst auszuführen?
Ja. Eine gehostete OpenAI-kompatible API ermöglicht es dir, ein Modell ohne GPU aufzurufen. Die Basis-URL ist https://api.abliterated.cc/v1 und die Model-ID ist uncensored.
Dein Schlüssel ist nur ein Formular entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.
