Rol Yapma İçin En İyi Abliterated LLM: API Kurulum Kılavuzu

Bir modeli rol yapmada iyi yapan şey

Rol yapma, bir dil modeli için zor bir testtir. Yüzlerce mesaj boyunca bir sesi korumalı, üç sahne önce olanları hatırlamalı, hikaye karanlık bir yöne döndüğünde karakterde kalmalı ve kendini açıklamak için rolden çıkmamalıdır. Standart bir asistan modeli genellikle son noktada başarısız olur. İyi bir paragraf yazar, ardından bir açıklama ekler veya düz bir kurgu olan bir hikaye dönüşünü reddeder.

Bir abliterated veya sansürsüz model, bu reddetmeleri kaldırmak için ayarlanmıştır. Bu yardımcı olur, ancak bir sağlayıcıya bağlanmadan önce kontrol etmeniz gereken beş özelliğin sadece biridir:

• Reddetme davranışı. Bir kötü karakterin diyalogunu veya ahlaki olarak gri bir sahneyi yorum yapmadan takip eder mi?
• Bağlam uzunluğu. Karakter kartı, dünya notları ve sohbet geçmişi tek bir istekte sığabilir mi?
• Tutarlılık. Bir karakter uzun bir oturum boyunca aynı konuşma alışkanlıklarını korur mu?
• Örnekleme kontrolü. Sıcaklık, top_p, cezalar ve durma dizileri değiştirilebilir mi?
• Akış. Metin token token görünür mü, böylece bir yanıt bir konuşma gibi hissedilir mi?

Her hikaye tarzı için tek bir kazananı dürüstçe söyleyebilecek kimse yoktur. Tercih önemlidir ve iki yazar aynı modeli farklı sıralar. Pratik cevap, kendi sahnelerinizi bir aday üzerinden çalıştırmak ve çıktıyı kendiniz yargılamaktır.

Bu API'nin rol yapma için size sundukları

Hizmet, bağımsız bir sağlayıcı tarafından barındırılan ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modeli çalıştırır. Model kimliği uncensored'dir. Tedarikçiler arasında yönlendirme olmadığından, Pazartesi günü test ettiğiniz ses, Cuma günü alacağınız sestedir.

Rol yapma ihtiyacı	Ne alırsınız
Uzun hafıza	İstem ve tamamlama dahil 100.000 token bağlam
Canlı yazma efekti	stream: true ile SSE üzerinden akış
Stil kontrolü	Sıcaklık, top_p, durma, tohum ve her iki ceza da geçirilir
İstemci desteği	OpenAI uyumlu, böylece SillyTavern ve benzeri araçlar bir URL değişikliği ile çalışır
Gizlilik	İstemler eğitim için kullanılmaz

Tek bir katı limit uygulanır ve müzakere edilemez: reşit olmayanlarla ilgili cinsel içerik yok. Karakterlerinizi ve senaryoları bu çizginin doğru tarafında ve yasal yetişkin kullanımı içinde tutun. Model ailesinin ayrıntıları abliterated modeller sayfasında yer alır.

SillyTavern'i beş adımda bağlayın

SillyTavern herhangi bir OpenAI uyumlu uç noktaya bağlanabilir. Menü etiketleri sürümler arasında biraz değişse de akış aynıdır.

1. API anahtarı sayfasında bir hesap oluşturun ve anahtarınızı alın. Yeni kullanıcılar, 7 gün geçerli, tek tıklamayla $0,50 deneme kredisi alabilir, kart gerekmez.
2. SillyTavern'de, fiş simgesini (API Bağlantıları) açın ve API türünü Chat Completion olarak ayarlayın.
3. Özel (OpenAI uyumlu) kaynağını seçin.
4. Uç nokta URL'si olarak https://api.abliterated.cc/v1 girin ve anahtarınızı API anahtarı alanına yapıştırın.
5. Model kimliği olarak uncensored yazın, ardından Bağlan'a basın. Yeşil durum, /v1/models isteğinin başarılı olduğunu gösterir.

Bağlantı başarısız olursa, önce URL'yi kontrol edin. Sonunda /v1 olmalı, ek yol ve ek /chat/completions olmamalıdır. İstemci bu kısmı kendisi ekler.

Önerilen başlangıç ayarları

0,8 ile 1,0 arasındaki sıcaklık canlı bir anlatım sağlar. top_p değerini 0,9 civarında tutun. Yanıtlar aynı kalıpları tekrar etmeye başlarsa yaklaşık 0,2 değerinde küçük bir frekans cezası ekleyin. Yanıt için alan bırakarak gerçek pencereye yakın bir bağlam boyutu ayarlayın. Ardından birkaç sahne sonrası sezgiye göre ayarlayın.

Python ile kendi rol yapma döngünüzü oluşturun

Kendi ön ucunuzu veya bir Discord botunu yazıyorsanız, OpenAI SDK'sı yeterlidir. Bu betik tam geçmişi korur, yanıtı akış halinde gönderir ve modeli sizin satırlarınızı yazmaktan alıkoyar.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

system = (
    "You are Mara, a smuggler captain in a sea-faring fantasy setting. "
    "Write in third person, past tense, two short paragraphs per reply. "
    "Never write the actions or words of the player character."
)
history = [{"role": "system", "content": system}]

while True:
    user = input("> ")
    history.append({"role": "user", "content": user})

    stream = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.9,
        top_p=0.9,
        frequency_penalty=0.2,
        stop=["\nPlayer:"],
        stream=True,
    )
    reply = ""
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    print()
    history.append({"role": "assistant", "content": reply})

Aynı çağrı Node, curl veya başka herhangi bir OpenAI istemcisinden çalışır. Yalnızca temel URL, anahtar ve model kimliği değişir. belgelerde hızlı başlatma her varyantı gösterir.

Modelin takip edebileceği bir karakter kartı yazın

Rol yapmadaki kalite sorunlarının çoğu istem sorunlarıdır. Belirsiz bir kart belirsiz bir karakter üretir. İyi bir kart 300 ile 600 token arasında sığar ve dört şeyi kapsar: karakter kimdir, nasıl konuşur, şu anda ne istiyor ve asla ne yapmamalıdır.

Somutluk şiirselliği yener. "Mara gizemli ve tehlikeli" ile "Mara soruları sorularla yanıtlar, gerçek adını yabancılara asla vermez ve biri arkasına geçtiğinde bir elini bıçağına yakın tutar" arasında karşılaştırma yapın. İkinci satır, modele her adımda üretebileceği davranışı verir.

• Ses örneği. İki veya üç örnek diyalog satırı ekleyin. Modeller, sıfatlardan daha güvenilir bir şekilde örneklerden ritmi ve kelime dağarcığını taklit eder.
• Biçim kuralları. Kişi, zaman, uzunluk ve eylemler için yıldız işaretlerinin kullanılıp kullanılmayacağını belirtin. Modeller, bir kez açıkça söylenmedikçe biçimlendirmede kayar.
• Sahne durumu. Mevcut yeri, zamanı ve açık konuları, son bilginin en güçlü çekim yaptığı istemin sonuna yakın bir yere yerleştirin.
• Sınırlar. Hikâye yalnızca yetişkinler içeriyorsa, bunu kartta belirtin. "Tüm karakterler yetişkindir" gibi bir ifade, ortamı hem sizin hem de günlükleri okuyanlar için belirsizlikten arındırır.

Düz, döngüsel veya ısrarcı karakterleri düzeltin

Bunlar, ilk saatten sonra ortaya çıkan ve yaygın düzeltmeleri olan sorunlardır.

Karakter kendini tekrarlıyor

İfadeler her birkaç yanıtta geri geliyor. frequency_penalty değerini 0,3'e ve presence_penalty değerini 0,1'e yükseltin, sıcaklığı 0,1 artırın ve özetiniz veya örnek diyalogunuzun içinde ifadenin yer almadığından emin olun. Model, gördüğü şeyi kopyalar.

Yanıtlar giderek uzuyor

Uzun yanıtlar modele uzun yanıtların normal olduğunu öğretir. Geçmişten birkaçını kaldırın, uzunluk kuralını yeniden belirtin ve max_tokens'ı kabul edilebilir bir üst sınıra ayarlayın. Alan isteğe bağlıdır, bu nedenle yalnızca ayarladığınızda bir üst sınır olarak işlev görür.

Model karakterinizin ne yapacağını belirliyor

Sistem mesajına katı bir kural ekleyin ve karakterinizin ad önekine bir durma dizisi ekleyin, yukarıdaki betikteki gibi. Bir ön uç (front end) kullanıyorsanız, geçmişin aynı ad etiketleriyle biçimlendirildiğinden emin olun.

Hikâye tıkanıyor

Karaktere bir hedef ve bir zaman baskısı verin. "Haritayı gelgit dönmeden bulmalı" hareket üretir. İsteyecek bir şeyi olmayan karakter sizin eyleminizi bekler ve sahne sarkar.

Uzun hikâyeleri tutarlı kılın

100.000 tokenlik bir pencere büyüktür, ancak aylarca süren bir kampanya onu aşacaktır. Bunu erkenden planlayın.

• Temel öğeleri sabitleyin. Karakter kartını ve geçerli sahne hedefini, asla kısaltılmayacak şekilde sistem mesajının en üstünde tutun.
• Eski konuşmaları özetleyin. Her 30 veya 40 mesajda bir, modelden sohbetin en eski kısmını kısa bir özet haline getirmesini isteyin, ardından bu mesajları özetle değiştirin.
• Evren bilgisi listesi kullanın. İsimleri, yerleri ve vaatleri, her adımda yenilediğiniz kısa bir bloğa kaydedin. Modeller, 80 mesaj önceki küçük bir detayı, son istemde belirtilen bir gerçeğe göre daha sık unutur.
• Hata ayıklama sırasında seed kullanın. Bir istemi ayarladığınızda, sabit bir seed karşılaştırmayı daha adil kılar.

Yaygın hata: model sizin karakteriniz için konuşuyor. Bunu sistem isteminde doğrudan bir kural ve yukarıdaki gibi bir durma dizisi ile düzeltin. Başka bir hata: her yanıt aynı şekilde başlıyor. Sıcaklığı biraz artırın ve frekans cezasını ekleyin.

Bir oturumun maliyeti

Fiyatlandırma, ön ödemeli krediden ödenmek üzere 1M giriş tokeni başına $0,15 ve 1M çıktı tokeni başına $0,50'dir. Rol yapma, her adımda tüm geçmişin gönderildiği için giriş ağırlıklıdır, bu nedenle giriş tarafı baskındır.

50 dönüşlü bir oturum düşünün. Ortalama istem 6.000 token (karakter kartı ve geçmiş) içerir ve her yanıt yaklaşık 250 token uzunluğundadır.

• Giriş: 50 x 6.000 = 300.000 token, bu da 0,3 x $0,15 = $0,045 eder
• Çıktı: 50 x 250 = 12.500 token, bu da 0,0125 x $0,50 = $0,00625 eder
• Toplam: $0,05125, yaklaşık beş sent

$20'lık bir bakiye yükleme bu boyuttaki yaklaşık 390 oturumu karşılar. Bakiye yüklemeler $20 ile $500 arasında tam miktarlarda yapılır; $50'dan itibaren +%5, $100'dan itibaren +%10 ve $200'dan itibaren +%15 bonus uygulanır. Kredi asla sona ermez ve başarısız veya reddedilen istekler için ücret alınmaz. Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz. Tam fiyatlandırma fiyatlandırma sayfasında yer alır.

Daha fazla kılavuz

• LLM API'sinden Bir Chatbot Oluşturun: Python Eğitimi
• Sansürsüz LLM API'si: OpenAI-Uyumlu ve JSON Modu