Barındırılan Abliterated Modeller: API Kullanın, GPU'dan Kaçının

Abliteration tarzı bir model için "sunulmuş" ne anlama gelir

Sunulan abliteration modellerini arayanlar genellikle aynı duvara çarpar. Ağırlıklar ücretsiz indirilebilir, ancak yetkin bir modeli çalıştırmak çok fazla video belleği, uyumlu bir çıkarım yığınını ve kurulum için sabrı gerektirir. Sunulan bir hizmet tüm bunları başkalarının makinelerine taşır. Sizin ilgilendiğiniz kısmı korursunuz: yasal yetişkin kullanım için içerik reddi olmadan yanıt veren bir model.

Bu sitede model, bağımsız bir sağlayıcı tarafından yürütülen tek bir açık ağırlıklı modeldir. Reddetmelerden kaçınmak için ayarlanmıştır; bu, abliteration'ın da hedefidir. Meta, Mistral, Qwen, DeepSeek veya başka herhangi bir satıcının resmi API'si değildir ve isteklerinizi farklı modellere yönlendiren bir yönlendirici de değildir. Tek bir model ID'si, uncensored vardır ve her istek ona gider.

Eğer önce teknik hakkında bilgi almak isterseniz, abliterated modeller sayfası fikri kapsar ve rol yapma için bir abliterated LLM seçme makalesi karakter çalışması için önemli olanları kapsar.

Yerel indirme veya sunulan API: ne değişir

Seçeneklerin hiçbiri her zaman daha iyi değildir. Bu tablo pratik farklılıkları listeler.

Soru	Yerel ağırlıklar	Barındırılan API
Donanım	Model ve nicelleme gereksinimlerine uygun GPU belleği sağlarsınız	Sizin tarafınızda herhangi bir şey yok
Kurulum	İndirmek, dönüştürmek, bir çalışma zamanı yapılandırmak	Bir anahtar oluştur, bir temel URL ayarla
Maliyet yapısı	Başlangıç donanım ve güç	Token başına, ön ödemeli krediden
Bağlam uzunluğu	Belleğinizle sınırlıdır	100.000 token, istem ve tamamlama
Gizlilik	Her şey makinenizde kalır	İstekler bir sunucuya gider; istemler eğitim için kullanılmaz
Çevrimdışı kullanım	Çalışıyor	Bir bağlantı gerektirir

İstemlerinizin kendi donanımınızdan hiç ayrılmaması gerekiyorsa, yerel olarak çalıştırın ve kurulum işini kabul edin. Eğer bu öğleden sonra bir fikri test etmek istiyorsanız veya uygulamanız zaten bir OpenAI tarzı uç noktaya konuşuyorsa, barındırma daha hızlıdır. İnsanların çoğu önce sunulanla başlar ve daha sonra yerel olanı kullanır, veya tam tersi.

İlk isteğinizi gönderin

Bir hesap oluşturun, API anahtarı sayfasını açın ve anahtarınızı kopyalayın. Ardından herhangi bir OpenAI SDK'sını Base URL'ye yönlendirin. Uç nokta POST /v1/chat/completions, POST /v1/responses ve GET /v1/models'i destekler.

Python

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt, helpful writing partner."},
        {"role": "user", "content": "Draft a tense opening scene for a noir story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)

curl

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in one sentence."}]}'

Tam parametre listesi dokümantasyon sayfasında yer alır. max_tokens isteğe bağlıdır; tamamlama, isteminizden sonra kalan 100.000 tokenlik pencerenin tamamını kullanabilir.

Akış ve araç çağrıları diğer yerlerdeki gibi çalışır

API OpenAI formatını takip ettiği için zaten kullandığınız özellikler aktarılır. stream: true ayarlayın ve token kullanımının sonunda sunucu gönderilen olayları (SSE) alırsınız. Fonksiyon çağırma tools ve tool_choice'i kabul eder, tool_calls'i akışa alır ve sonuçları role: "tool" ile mesajlar olarak bekler. JSON modu response_format üzerinden mevcuttur.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.abliterated.cc/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  stream: true,
  messages: [{ role: "user", content: "Write two lines of dialogue between a smuggler and a customs officer." }],
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Sıcaklık, top_p, stop, seed ve tekrar ceza ayarları gibi örnekleme ayarları iletilir. Bu etrafında bir arayüz oluşturuyorsanız, bir LLM'den sohbet botu oluşturma rehberi, sohbet geçmişini nasıl koruyacağınızı ve küçük bir uygulamada akış işlemini nasıl yöneteceğinizi gösterir.

Gerçek sayılarla maliyet

Fiyatlandırma 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir. Abonelik yoktur. Bakiye yüklersiniz ve harcarsınız; kredi hiç sona ermez ve başarısız veya reddedilen istekler için ücret alınmaz.

İşte bu iki orandan hesaplanan üç örnek.

• Kısa sohbet dönüşü: 2.000 girdi token ve 500 çıktı token. Girdi: 2.000 / 1.000.000 x $0,15 = $0,0003. Çıktı: 500 / 1.000.000 x $0,50 = $0,00025. Toplam $0,00055, yani yaklaşık 1.800 böyle dönüş $1'e mal olur.
• Uzun hikaye oturumu: 1.000 çıktı token ile yeniden gönderilen 40.000 tokenlik bir geçmiş. Girdi: $0,006, çıktı: $0,0005, toplam: $0,0065.
• 1.000 isteklik toplu işlem: Her biri için 1.500 girdi ve 700 çıktı token. Bu, 1.5M girdi token ($0,225) ve 0.7M çıktı token ($0,35) demektir. Toplam $0,575.

Uzun geçmişler daha pahalıdır çünkü her çağrı için girdi için ödeme yaparsınız. Hikaye uzadığında her şeyi yeniden göndermek yerine önceki dönüşlerin bir özetini tutun. Güncel oranlar ve bonuslar fiyatlandırma sayfasında listelenmiştir.

Kredi ekleme ve ücretsiz deneme

Yüklemeler $20 ile $500 arasında herhangi bir tam tutar alır. Daha büyük miktarlar bonus kazandırır: $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15. Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz.

Ödemeden önce test etmek için Google veya e-posta ve şifre ile kaydolun, ardından API anahtarı sayfasında denemeyi talep edin. $0,50 kredi değerindedir, 7 gün boyunca geçerlidir, kişi başı bir kez kullanılabilir ve kart gerektirmez. Yukarıdaki kısa dönüş hızında bu yaklaşık 900 isteği karşılar. Bir deneme anahtarı 2 eşzamanlı istek ve dakika başına 60 isteğe sınırlıdır. Tam bir anahtar 8 eşzamanlı istek ve dakika başına 300 isteğe izin verir.

Denemeye hazır mısınız? Bir API anahtarı alın ve yukarıdaki Python kod parçacığını çalıştırın.

Yerel kurulumdan geçişte yapılan hatalar

Yerel bir çalışma zamanı, barındırılan bir API'nin açıkça ortaya koyduğu bazı ayrıntıları gizler. Bunlar insanların çoğu zaman takıldığı yerlerdir.

• Yanlış model adı. Yerel araçlar genellikle bir dosya adı veya etiket bekler. Burada model ID'si her zaman uncensored olur. Başka bir değer beklendiği gibi çalışmaz.
• Base URL'de eksik /v1. Base URL /v1 ile biter. İstemciler kendileri /chat/completions ekler, bu yüzden iki kez eklemeyin.
• Sabit kodlanmış sohbet şablonları. Yerel çalıştırıcılar bazen model için bir istem şablonu gerektirir. API ile düz messages gönderirsiniz ve sunucu şablonu uygular.
• Tüm geçmişi sonsuza kadar yeniden gönderme. Yerel bir modelin token başına maliyeti yoktur, bu nedenle insanlar tüm konuşma kayıtlarını yapıştırır. API'de bu alışkanlık, maliyet örneklerinin gösterdiği gibi birikerek artar. Eski dönüşleri kısaltın veya özetleyin.
• 429 yanıtlarını yok sayma. Aynı isteği sık bir döngüde göndermek yerine kısa bir gecikmeyle yeniden deneyin.

Bu beşini düzeltin ve yerel bir sunucu için yazılmış bir betik genellikle sunulan uç noktaya başka bir değişiklik olmadan çalışır.

Planlama için limitler

Barındırılan hizmet sınırsız değildir. İstek hızını aşarsanız, rate_limited hata koduyla HTTP 429 alırsınız. Çok fazla eşzamanlı istek, concurrency ile 429 döndürür. Geçici aşırı yüklenme sırasında API, Retry-After: 5 başlığıyla da 429 gönderir, bu nedenle beş saniye bekleyip yeniden deneyin. Akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar, bu nedenle aynı anda birçok akış açan bir arayüz beklenenden daha erken eşzamanlılık sınırına çarpabilir.

Kalan kredinizi ayrı bir çağrı olmadan görmek için X-Balance-USD yanıt başlığını kontrol edin. API sadece metindir: resim, ses, video, gömme veya ince ayar yok. Sabit bir kural vardır: reşit olmayanlar ile ilgili cinsel içerik asla izin verilmez.

Daha fazla kılavuz

• Abliterated Modelleri Nasıl Üretilir? Düz Bir Açıklama
• Sansürsüz LLM API'si: OpenAI-Uyumlu ve JSON Modu