Najlepszy model LLM Abliterated do roleplay: Przewodnik po konfiguracji API

Co sprawia, że model jest dobry w roleplay

Roleplay to trudny test dla modelu językowego. Musi utrzymać głos przez setki wiadomości, pamiętać, co wydarzyło się trzy sceny temu, pozostać w charakterze, gdy fabuła staje się mroczna, i nigdy nie wychodzić z roli, by się tłumaczyć. Standardowy model asystenta najczęściej zawodzi w ostatnim punkcie. Pisze dobry akapit, a potem dodaje zastrzeżenie lub odrzuca zwrot akcji, który jest zwykłą fikcją.

Model abliterowany lub bez cenzury jest dostrojony do usuwania tych odmów. To pomaga, ale to tylko jedna z pięciu cech wartych sprawdzenia przed zobowiązaniem się do dostawcy:

• Zachowanie odmowy. Czy podąża za dialogiem złoczyńcy lub sceną moralnie szarą bez komentarza?
• Długość kontekstu. Czy karta postaci, notatki o świecie i historia czatu zmieszczą się w jednym zapytaniu?
• Spójność. Czy postać zachowuje te same nawyki językowe przez długą sesję?
• Kontrola próbkowania. Czy możesz zmienić temperaturę, top_p, kary i sekwencje stop?
• Strumieniowanie. Czy tekst pojawia się token po tokenie, dzięki czemu odpowiedź brzmi jak rozmowa?

Nikt nie może uczciwie wskazać jednego zwycięzcy dla każdego stylu opowiadania. Liczy się gust, a dwaj pisarze będą oceniać ten sam model różnie. Praktyczną odpowiedzią jest uruchomienie własnych scen na kandydacie i samodzielna ocena wyniku.

Co to API daje Ci do roleplay

Usługa obsługuje jeden model o otwartych wagach, hostowany przez niezależnego dostawcę i dostrojony do odpowiadania bez odmów treści dla zgodnego z prawem użytku przez dorosłych. ID modelu to uncensored. Nie ma routingu między dostawcami, więc głos, którego testowałeś w poniedziałek, to głos, który dostaniesz w piątek.

Potrzeba w roleplay	Co otrzymujesz
Długa pamięć	100 000 tokenów kontekstu, prompt plus completion
Efekt pisania na żywo	Strumieniowanie przez SSE z stream: true
Kontrola stylu	temperatura, top_p, stop, seed i obie kary są przekazywane
Kompatybilność z klientami	Kompatybilne z OpenAI, więc SillyTavern i podobne narzędzia działają po zmianie URL
Prywatność	Prompty nie są używane do trenowania

Obowiązuje jeden twardy limit, który nie podlega negocjacji: brak treści seksualnych z udziałem nieletnich. Trzymaj się prawa w odniesieniu do swoich postaci i scenariuszy oraz w ramach zgodnego z prawem użytku przez dorosłych. Szczegóły rodziny modeli znajdziesz na stronie modeli abliterated.

Połącz SillyTavern w pięciu krokach

SillyTavern może komunikować się z każdym endpointem kompatybilnym z OpenAI. Etykiety menu zmieniają się nieco między wersjami, ale przepływ jest taki sam.

1. Załóż konto i odbierz swój klucz na stronie klucza API. Nowi użytkownicy mogą pobrać $0,50 kredytu próbnego jednym kliknięciem, ważny przez 7 dni, bez karty.
2. W SillyTavern otwórz ikonę wtyczki (Połączenia API) i ustaw typ API na Chat Completion.
3. Wybierz źródło Custom (OpenAI-compatible).
4. Wpisz https://api.abliterated.cc/v1 jako URL endpointu i wklej klucz w polu API key.
5. Wpisz uncensored jako ID modelu i kliknij Connect. Zielony status oznacza sukces zapytania do /v1/models.

Jeśli połączenie nie działa, sprawdź URL. Musi kończyć się na /v1 bez dodatkowej ścieżki ani /chat/completions. Klient dodaje to sam.

Sugerowane ustawienia początkowe

Temperatura między 0,8 a 1,0 daje żywą prozę. Utrzymuj top_p blisko 0,9. Dodaj małą karę za częstotliwość, około 0,2, jeśli odpowiedzi zaczynają powtarzać te same frazy. Ustaw rozmiar kontekstu blisko rzeczywistego okna, ale zostaw miejsce na odpowiedź. Następnie dostosuj to po odczuciu po kilku scenach.

Zbuduj własną pętlę roleplay w Pythonie

Jeśli piszesz własny interfejs lub bota Discorda, wystarczy SDK OpenAI. Ten skrypt zachowuje pełną historię, strumieniuje odpowiedź i zapobiega pisaniu przez model Twoich linii.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

system = (
    "You are Mara, a smuggler captain in a sea-faring fantasy setting. "
    "Write in third person, past tense, two short paragraphs per reply. "
    "Never write the actions or words of the player character."
)
history = [{"role": "system", "content": system}]

while True:
    user = input("> ")
    history.append({"role": "user", "content": user})

    stream = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0,9,
        top_p=0,9,
        frequency_penalty=0,2,
        stop=["\nPlayer:"],
        stream=True,
    )
    reply = ""
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    print()
    history.append({"role": "assistant", "content": reply})

To samo zadziała w Node, curl lub innym kliencie OpenAI. Zmienia się tylko base URL, klucz i ID modelu. Szybki start w dokumentacji pokazuje warianty.

Napisz kartę postaci, za którą model będzie mógł podążać

Większość problemów z jakością roleplay to problemy z promptem. Mglista karta daje mglistą postać. Dobra karta mieści się w 300 do 600 tokenów i obejmuje cztery rzeczy: kim jest postać, jak mówi, czego chce teraz i czego nigdy nie powinna robić.

Konkretność bije poetyckość. Porównaj „Mara jest tajemnicza i niebezpieczna” z „Mara odpowiada na pytania pytaniami, nigdy nie podaje swojego prawdziwego imienia obcym i trzyma jedną rękę blisko noża, gdy ktoś stanie za nią”. Druga linia daje modelowi zachowanie, które może powtórzyć w każdej turze.

• Próbka głosu. Dodaj dwie lub trzy linie przykładowego dialogu. Modele naśladują rytm i słownictwo z przykładów bardziej niezawodnie niż z przymiotników.
• Zasady formatowania. Określ osobę, czas, długość i czy używać gwiazdek do akcji. Modele tracą formatowanie, chyba że zostaną poinstruowane raz, wyraźnie.
• Stan sceny. Umieść bieżące miejsce, czas i otwarte wątki na końcu promptu, gdzie najnowsza informacja ma najsilniejszy wpływ.
• Granice. Jeśli historia dotyczy wyłącznie dorosłych, zaznacz to w karcie postaci. Zdanie takie jak „wszystkie postacie są dorosłe” sprawia, że ustawienie jest jednoznaczne dla Ciebie i dla każdego, kto przegląda logi.

Napraw płaskie, zapętlające się lub natrętne postacie

To są problemy, które pojawiają się po pierwszej godzinie, wraz ze zwykłymi rozwiązaniami.

Postać powtarza się

Frazy wracają co kilka odpowiedzi. Podnieś frequency_penalty do 0,3 i presence_penalty do 0,1, podnieś temperaturę o 0,1 i sprawdź, czy Twoje streszczenie lub przykładowy dialog nie zawierają już tej frazy. Model kopiuje to, co widzi.

Odpowiedzi stają się coraz dłuższe

Długie odpowiedzi uczą model, że długie odpowiedzi są normalne. Usuń kilka z nich z historii, powtórz regułę długości i ustaw max_tokens na limit, który akceptujesz. Pole jest opcjonalne, więc działa tylko jako limit, gdy je ustawisz.

Model decyduje, co robi Twoja postać

Dodaj ścisłą regułę w wiadomości systemowej i sekwencję zatrzymującą dla prefiksu nazwy Twojej postaci, tak jak w powyższym skrypcie. Jeśli używasz interfejsu front-end, sprawdź, czy formatuje historię z tymi samymi znacznikami nazwy.

Historia się zacina

Nadaj postaci cel i termin. „Muszę znaleźć mapę przed zmianą przypływu” powoduje ruch. Postać, która niczego nie pragnie, czeka na Twój ruch, a scena traci dynamikę.

Zachowaj spójność długich historii

Okno 100 000 tokenów jest duże, ale kampania trwająca miesiące go przekroczy. Zaplanuj to z góry.

• Przypnij to, co najważniejsze. Zachowaj kartę postaci i bieżący cel sceny na górze wiadomości systemowej, gdzie nigdy nie zostaną obcięte.
• Podsumuj stare zwroty. Co 30 lub 40 wiadomości, poproś model o skondensowanie najstarszej części czatu w krótkie streszczenie, a następnie zamień te wiadomości na streszczenie.
• Użyj listy lore. Przechowuj nazwy, miejsca i obietnice w krótkim bloku, który odświeżasz przy każdym zwrocie. Modele zapominają o drobnym detalu z 80 wiadomości temu częściej niż o fakcie podanym w ostatnim promptcie.
• Użyj seed podczas debugowania. Gdy modyfikujesz prompt, stały seed sprawia, że porównanie jest bardziej uczciwe.

Powszechna usterka: model przejmuje głos Twojej postaci. Napraw to w promptcie systemowym za pomocą bezpośredniej reguły i wesprzyj ją sekwencją zatrzymującą, taką jak powyżej. Inna: każda odpowiedź zaczyna się tak samo. Nieznacznie podnieś temperaturę i dodaj karę za częstotliwość.

Koszt sesji

Ceny wynoszą $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych, pobierane z przedpłaconego kredytu. Roleplay jest obciążający po stronie wejścia, ponieważ cała historia jest wysyłana przy każdej turze, więc to strona wejściowa dominuje.

Weź sesję 50 zwrotów. Średni prompt to 6 000 tokenów (karta postaci plus historia), a każda odpowiedź ma około 250 tokenów.

• Wejście: 50 x 6 000 = 300 000 tokenów, co daje 0,3 x $0,15 = $0,045
• Wyjście: 50 x 250 = 12 500 tokenów, co daje 0,0125 x $0,50 = $0,00625
• Suma: $0,05125, około pięć centów

Doładowanie $20 pokrywa około 390 sesji tego rozmiaru. Doładowania wynoszą od $20 do $500 w pełnych kwotach, z bonusem +5% od $50, +10% od $100 i +15% od $200. Kredyt nigdy nie wygasa, a nieudane lub odrzucone zapytania nie są rozliczane. Możesz zapłacić kryptowalutami (USDT na TRC20, USDC na Base). Pełne liczby znajdziesz na stronie z cenami.

Więcej przewodników

• Zbuduj Chatbota z LLM API: Przewodnik Python
• LLM API bez cenzury: kompatybilne z OpenAI i tryb JSON