Abliterated Modelleri: Maliyet, Bağlam ve Kod

Abliterated Modelleri Nedir?

Abliterated modelleri, mevcut açık ağırlıklı bir dil modelini alıp, belirli içerik türlerini reddetmesine neden olan nöral yolları sistematik olarak kaldırarak veya zayıflatarak oluşturulur. Standart modeller bir güvenlik politikası nedeniyle bir konuyu tartışmaktan kibarca kaçınabilirken, abliterate edilmiş bir model soruya doğrudan yanıt verir. Süreç genellikle reddetmeyle ilgili 'dikkat başlıklarını' belirlemeyi ve bunların etkisini sıfıra yakın bir değere ayarlamayı veya kapsamlı yanıt vermeyi teşvik eden bir veri setinde modeli ayarlamayı içerir.

Sonuç, temel zeka ve akıl yürütme yeteneklerini koruyan ancak 'filtreleme' katmanından yoksun bir modeldir. Bu, yetişkin temaları, tartışmalı görüşleri veya niş teknik konuları bir reddetme mesajı oluşturmadan tartışabileceği anlamına gelir. 'Sansürsüz' ifadesinin 'akılsız' anlamına gelmediğini belirtmek önemlidir; model yine de talimatlara uyar ve tutarlılığını korur. Ancak, genellikle kurumsal bir cilaya sahip olmayan temel eğitim verisinde mevcut olan önyargıları veya hataları yansıtabilir.

• Temel Model Bütünlüğü: Temel akıl yürütme ve dil becerileri korunur.
• Reddetme Kaldırma: İçerik filtrelerini tetikleyen belirli mekanizmalar zayıflatılır.
• Tek Ağırlık Dosyası: Abliterate edilmiş durum da dahil olmak üzere tüm model tek bir dosyada bulunur.

Sansürsüz Çıkarım Maliyeti

Sansürsüz bir modeli yerel olarak çalıştırmak önemli donanım gerektirir; genellikle orta boyutlu modeller için en az 24GB VRAM'e sahip bir GPU gerekir. Güvenilirlik ve ölçeklenebilirlik ihtiyaçları olan geliştiriciler için modeli kendiniz barındırmak operasyonel yük getirir. API'miz, GPU yönetimi ihtiyacını ortadan kaldıran öngörülebilir, kullanım başına ödemeli bir fiyatlandırma modeli sunar.

1 milyon girdi tokenu başına $0,25 ve 1 milyon çıktı tokenu başına $1,00 ücretlendiriyoruz. Aylık abonelik veya gizli ücret yoktur. Kripto para birimi (TRC20 üzerinde USDT veya Base üzerinde USDC) kullanarak kredi ön yüklemesi yaparsınız ve kredi hiçbir zaman sona ermez. İsteklerinizdeki hatalar ücretsizdir, bu nedenle yalnızca gerçek kullanım için ödeme yaparsınız. Bu model, sabit bir aylık maliyete bağlı kalmadan bir modeli test etmek isteyen startup'lar veya bağımsız geliştiriciler için idealdir.

Kullanım Türü	1M Token Başına Maliyet
Girdi Tokenleri	$0.25
Çıktı Tokenleri	$1.00

Hesabınıza $10 ile $500 arasında herhangi bir tam miktarla bakiye yükleyebilirsiniz. $50 veya daha fazla eklerseniz kredide %5 bonus alırsınız; $100 veya daha fazla eklerseniz %10 bonus alırsınız. Bu yapı, altyapı maliyetlerinizin uygulamanızdaki trafiğe doğrusal olarak ölçeklenmesini sağlar.

Bağlam Penceresi Avantajları

Uzun belgeler, kod tabanları veya karmaşık konuşmalarla çalışan geliştiriciler için en kritik faktörlerden biri bağlam penceresidir. API'miz, modelin tek bir istek içinde büyük miktarda bilgiyi işlemesini ve tutmasını sağlayan 100.000 tokenlik bir bağlam penceresi sağlar. Bu, birçok eski veya küçük modelde bulunan standart 8.000 tokenlik limitlerden önemli ölçüde daha büyüktür.

100k bağlam penceresi birkaç gelişmiş kullanım durumunu mümkün kılar. Modelin dosyalar arası bağımlılıkları anlamasını sağlayarak tüm bir kod deposunu bağlam olarak iletebilirsiniz. Modelin önceki talimatları unutmaması için uzun, tutarlı konuşmalar da sürdürebilirsiniz. Bağlam penceresi hem girdi istemi hem de çıktı tamamlamasını içerir, bu nedenle token bütçenizi dikkatli bir şekilde planlamanız gerekir.

• Kod Analizi: Bağlam farkında öneriler almak için birden fazla dosya iletin.
• Uzun Konuşmalar: Konuyu takip etmeyi kaybetmeden onlarca tur boyunca durumu sürdürün.
• Belge Özetleme: Büyük metin bloklarını tek bir çağrıda işleyin.

Her istek için maksimum çıktı 32.000 token ile sınırlıdır. max_tokens parametresini belirtmezseniz, model varsayılan olarak 2.048 token kullanır. Bu sınır, büyük girdiler işlenirken bile kararlı performans sağlar.

Kodlama Performansı

Sansürsüz modeller, kodlama görevleri için özellikle değerlidir çünkü standart filtreler tarafından 'güvensiz' olarak değerlendirilebilecek istekleri reddetme olasılıkları daha düşüktür. Örneğin, standart bir model güvenlik araştırmaları için bir SQL enjeksiyon yükünü oluşturmayı reddedebilirken, abliterate edilmiş bir model bunu doğrudan sağlayacaktır. Bu da onları analiz, hata ayıklama veya yaratıcı kodlama için ham, filtresiz çıktıya ihtiyaç duyan geliştiriciler için ideal kılar.

Model, araçları tanımlamanıza ve modelin yapılandırılmış JSON yanıtlar döndürmesini sağlamanıza olanak tanıyan fonksiyon çağırma özelliğini destekler. Bu, harici API'ler veya veritabanlarıyla etkileşime girebilen AI ajanları oluşturmak için gereklidir. Modelin çıktısının her zaman geçerli JSON olmasını sağlamak için JSON modunu zorlayabilir ve bu da uygulamanızda ayrıştırmayı kolaylaştırır.

API'yi entegre ederken resmi OpenAI SDK'larını veya herhangi bir OpenAI uyumlu istemciyi kullanabilirsiniz. Base URL https://api.abliterated.cc/v1 şeklindedir ve istekleri /v1/chat/completions uç noktasına gönderirsiniz. Model kimliği basitçe uncensored şeklindedir.

Araç Kullanımı ve Fonksiyon Çağırma

Fonksiyon çağırma, pratik AI uygulamaları oluşturmak için kritik bir özelliktir. API'miz bunu yerel olarak destekler; bu da araçların bir şemasını tanımlamanıza ve modelin hangi aracı hangi argümanlarla çağıracağına karar vermesine olanak tanır. Model, kodunuzda ayrıştırıp çalıştırabileceğiniz yapılandırılmış bir yanıt döndürür.

Modeli belirli bir aracı çağırmaya zorlamak veya otomatik olarak seçmesini sağlamak için tool_choice parametresini belirtebilirsiniz. Bu esneklik, veritabanı arama, kullanıcı profili güncelleme veya e-posta gönderme gibi birden fazla eylem gerçekleştirebilen ajanlar oluşturmak için faydalıdır.

• Yapılandırılmış Çıktı: Geçerli JSON sağlamak için response_format değerini json_object olarak ayarlayın.
• Araç Tanımları: Araçları ad, açıklama ve parametrelerle tools dizisinde tanımlayın.
• Çalıştırma: Modelin yanıtını ayrıştırın ve ilgili işlevi kodunuzda çalıştırın.

API, model davranışını ince ayarlamak için temperature, top_p, stop, seed, presence_penalty ve frequency_penalty gibi parametreleri destekler. Bu, kullanım durumunuza bağlı olarak yaratıcılık ve hassasiyet arasında denge kurmanıza olanak tanır.

Akış Verimliliği

Akış (streaming), sohbet uygulamalarında iyi bir kullanıcı deneyimi sağlamak için esastır. API'miz Sunucu Tarafından Gönderilen Olayları (SSE) destekler; bu sayede modelin yanıtını gerçek zamanlı olarak token token alabilirsiniz. Bu, yanıtın tamamı oluşturulana kadar beklemek yerine kademeli olarak görünmesini sağlayarak kullanıcı algılanan gecikmeyi azaltır.

Akış (streaming) sırasında API, son parçada token kullanım bilgilerini içerir. Bu, token tüketiminizi gerçek zamanlı olarak izlemenizi ve bütçe limitinize yaklaştığınızda akışı durdurmanızı sağlar. Akış arayüzü tüm standart OpenAI SDK'ları ile uyumludur; bu da mevcut uygulamalara entegrasyonu kolaylaştırır.

Dikkate alınması gereken bir dezavantaj, model dolgu kelimeleri üretirken veya tereddüt ederken non-streaming isteklere kıyasla biraz daha yüksek token sayılarına yol açabilmesidir. Ancak anlık geri bildirim avantajı genellikle bu küçük maliyetin üzerindedir. Model tekrar etmeye veya konudan sapmaya başlarsa stop parametresini kullanarak üretimi erken durdurabilirsiniz.

Veri Gizliliği ve Eğitim

Birçok geliştirici için veri gizliliği en önemli endişedir. API'mizi kullandığınızda, istemleriniz eğitim için kullanılmaz. Bu, modele gönderdiğiniz verilerin gizli kaldığı ve temel modeli geliştirmek için veya üçüncü taraflarla paylaşılmadığı anlamına gelir. Bu, müşteri verilerini eğitim için kullanan bazı büyük tedarikçilere kıyasla önemli bir avantajdır.

Kayıt olmak için yalnızca bir e-posta adresine ihtiyacınız vardır. Google ile giriş yapabilir veya e-posta ve şifre kullanabilirsiniz. Telefon numarası gerekmez ve deneme için kredi kartı gerekmez. Deneme, 7 gün boyunca geçerli olan 0,50 $ kredi içerir; bu sayede API'yi test edebilir ve ücretli plana geçmeden önce deneyebilirsiniz.

Her zaman geçerli olan tek bir katı içerik sınırı vardır: model, küçüklerle cinsel içerik içeren istekleri reddeder. Diğer tüm yasal yetişkin, tartışmalı veya niş konulara izin verilir. Bu, modelin beklenmedik kısıtlamalar olmadan geniş bir uygulama yelpazesinde kullanılabilir olmasını sağlar.

Neden API'yi Yerelde Kullanmaya Tercih Etmelisiniz?

Bir modeli yerelde çalıştırmak size veri ve altyapı üzerinde tam kontrol sağlar ancak önemli donanım ve teknik uzmanlık gerektirir. GPU sürücülerini, bellek tahsisini ve model güncellemelerini yönetmeniz gerekir. Özellikle prototip veya küçük ölçekli uygulamalar geliştiren birçok geliştirici için bu ek yük buna değmez.

API'miz tüm altyapıyı yöneten barındırılan bir çözüm sağlar. Tahmin edilebilir fiyatlandırmaya sahip güvenilir, ölçeklenebilir bir uç nokta elde edersiniz. API dakika başına 300 istek ve ana başına eşzamanlı olarak 8 isteği destekler; bu, çoğu küçük ve orta ölçekli uygulama için yeterlidir. Daha yüksek limitlere ihtiyacınız varsa destek ekibiyle iletişime geçebilirsiniz.

Başka bir avantaj da entegrasyon kolaylığıdır. GPT-4 için kullanacağınız aynı kodu, yalnızca temel URL'yi ve API anahtarını değiştirerek kullanabilirsiniz. Bu, öğrenme eğrisini azaltır ve gerekirse modeller arasında geçiş yapmanızı sağlar. API belirli bir tedarikçiye bağlı değildir; bu nedenle tek bir ekosisteme hapsolmazsınız.

Abliterated ile Başlangıç

API'mizle başlamak basittir. İlk olarak, e-posta veya Google kullanarak bir hesap oluşturun. İsteklerinize kimlik doğrulaması yapmak için kullanabileceğiniz bir API anahtarı hemen alırsınız. Ödeme bilgisi girmeden API'yi test etmek için deneme kredisini de kullanabilirsiniz.

İlk isteğinizi yapmak için POST yöntemini /v1/chat/completions uç noktasında kullanın. model parametresini uncensored olarak ayarlayın ve isteminizi messages dizisine ekleyin. Çıktıyı kontrol etmek için temperature ve max_tokens gibi parametreleri de belirtebilirsiniz.