Model Abliterated yang Dihosting: Gunakan API, Lewati GPU

Apa arti "hosting" untuk model bergaya abliterated

Pengguna yang mencari model abliteration yang di-host biasanya menghadapi kendala yang sama. Bobotnya gratis diunduh, tetapi menjalankan model yang mumpuni memerlukan banyak memori video, tumpukan inferensi yang kompatibel, dan kesabaran saat penyiapan. Layanan yang di-host memindahkan semua hal itu ke mesin orang lain. Anda hanya mempertahankan bagian yang penting: model yang menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah.

Di situs ini, model adalah satu model bobot terbuka yang dijalankan oleh penyedia independen. Model ini disesuaikan untuk melewatkan penolakan, tujuan yang sama yang dicapai oleh abliteration. Ini bukan API resmi dari Meta, Mistral, Qwen, DeepSeek, atau vendor lain, dan ini bukan router yang meneruskan permintaan Anda ke model yang berbeda. Ada satu ID model, uncensored, dan setiap permintaan dikirim ke model tersebut.

Jika Anda ingin latar belakang tentang teknik itu sendiri terlebih dahulu, halaman tentang model yang diabliter membahas idenya, dan artikel tentang memilih LLM yang diabliter untuk roleplay membahas hal-hal penting untuk pekerjaan karakter.

Unduhan lokal atau API yang ditangani: apa yang berubah

Tidak ada opsi yang selalu lebih baik. Tabel ini mencantumkan perbedaan praktis.

Pertanyaan	Bobot lokal	API Terhosting
Perangkat Keras	Anda menyediakan memori GPU yang ukurannya sesuai dengan model dan kuantisasi	Tidak ada di sisi Anda
Pengaturan	Unduh, konversi, konfigurasikan runtime	Buat kunci, atur base URL
Bentuk biaya	Perangkat keras dan daya di muka	Per token, dari saldo prabayar
Panjang konteks	Dibatasi oleh memori Anda	100.000 token, prompt plus penyelesaian
Privasi	Semua tetap berada di mesin Anda	Permintaan dikirim ke server; prompt tidak digunakan untuk pelatihan
Penggunaan offline	Berfungsi	Membutuhkan koneksi

Jika prompt Anda harus tetap berada di perangkat keras Anda sendiri, jalankan secara lokal dan terima pekerjaan setup. Jika Anda ingin menguji ide sore ini, atau aplikasi Anda sudah terhubung ke endpoint gaya OpenAI, hosting lebih cepat. Banyak orang memulai dengan hosting dan beralih ke lokal nanti, atau sebaliknya.

Buat permintaan pertama Anda

Buat akun, buka halaman kunci API, dan salin kunci Anda. Kemudian arahkan SDK OpenAI apa pun ke base URL. Endpoint mendukung POST /v1/chat/completions, POST /v1/responses dan GET /v1/models.

Python

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt, helpful writing partner."},
        {"role": "user", "content": "Draft a tense opening scene for a noir story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)

curl

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in one sentence."}]}'

Daftar parameter lengkap ada di halaman dokumentasi. max_tokens bersifat opsional; penyelesaian dapat menggunakan sisa apa pun dari jendela 100.000 token setelah prompt Anda.

Streaming dan panggilan alat berfungsi seperti di tempat lain

Karena API mengikuti format OpenAI, fitur yang sudah Anda gunakan dapat dilanjutkan. Atur stream: true dan Anda akan menerima server-sent events, dengan penggunaan token di akhir. Pemanggilan alat menerima tools dan tool_choice, melakukan streaming tool_calls, dan mengharapkan hasil sebagai pesan dengan role: "tool". Mode JSON tersedia melalui response_format.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.abliterated.cc/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  stream: true,
  messages: [{ role: "user", content: "Write two lines of dialogue between a smuggler and a customs officer." }],
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Pengaturan sampling seperti temperature, top_p, stop, seed, dan penalti repetisi diteruskan. Jika Anda membangun antarmuka di sekitar ini, panduan tentang membuat chatbot dari LLM menunjukkan cara menyimpan riwayat percakapan dan menangani streaming dalam aplikasi kecil.

Biayanya, dengan angka nyata

Harga adalah $0,15 per 1 juta token input dan $0,50 per 1 juta token output. Tidak ada langganan. Anda mengisi saldo dan menggunakannya; saldo tidak pernah kedaluwarsa, dan permintaan yang gagal atau ditolak tidak dikenakan biaya.

Berikut adalah tiga contoh, masing-masing dihitung berdasarkan dua tarif tersebut.

• Giliran chat pendek: 2.000 token input dan 500 token output. Input adalah 2.000 / 1.000.000 x $0,15 = $0,0003. Output adalah 500 / 1.000.000 x $0,50 = $0,00025. Total $0,00055, jadi sekitar 1.800 giliran tersebut berharga $1.
• Sesi cerita panjang: riwayat 40.000 token dikirim ulang dengan 1.000 token output. Input adalah $0,006, output adalah $0,0005, total $0,0065.
• Batch 1.000 permintaan: 1.500 input dan 700 token output masing-masing. Itu adalah 1,5 juta token input, $0,225, ditambah 0,7 juta token output, $0,35. Total $0,575.

Riwayat panjang lebih mahal karena Anda membayar input pada setiap panggilan. Simpan ringkasan giliran sebelumnya daripada mengirim ulang semuanya ketika cerita menjadi panjang. Tarif dan bonus saat ini tercantum di halaman harga.

Menambahkan saldo dan uji coba gratis

Isi ulang mengambil jumlah bulat apa pun dari $20 hingga $500. Jumlah yang lebih besar mendapatkan bonus: +5% dari $50, +10% dari $100 dan +15% dari $200. Anda dapat membayar dengan kripto (USDT pada TRC20, USDC pada Base).

Untuk menguji sebelum membayar, daftar dengan Google atau dengan email dan kata sandi, lalu klaim uji coba di halaman kunci API. Ini adalah $0,50 kredit, berlaku selama 7 hari, satu per orang, dan tidak memerlukan kartu. Pada tarif giliran pendek di atas, itu mencakup sekitar 900 permintaan. Kunci uji coba dibatasi hingga 2 permintaan simultan dan 60 permintaan per menit. Kunci penuh memungkinkan 8 permintaan simultan dan 300 permintaan per menit.

Siap untuk mencobanya? Dapatkan kunci API dan jalankan cuplikan Python di atas.

Kesalahan yang sering dilakukan saat beralih dari setup lokal

Runtime lokal menyembunyikan beberapa detail yang diperlihatkan secara eksplisit oleh API yang dihosting. Ini adalah kesalahan yang paling sering membuat orang bingung.

• Nama model salah. Alat lokal sering mengharapkan nama file atau tag. Di sini ID model selalu uncensored. Nilai lain tidak akan melakukan apa yang Anda harapkan.
• Kehilangan /v1 di URL dasar. URL dasar diakhiri dengan /v1. Klien menambahkan /chat/completions sendiri, jadi jangan tambahkan dua kali.
• Template chat yang dikodekan secara keras. Pelari lokal terkadang membutuhkan template prompt untuk model. Dengan API, Anda mengirim messages polos dan server menerapkan template.
• Mengirim ulang seluruh riwayat tanpa henti. Model lokal tidak memiliki biaya per token, sehingga orang menyisipkan seluruh transkrip. Pada API, kebiasaan itu bertambah, seperti yang ditunjukkan oleh contoh biaya. Potong atau ringkas percakapan lama.
• Mengabaikan respons 429. Coba lagi dengan jeda singkat daripada mengirimkan permintaan yang sama dalam loop ketat.

Perbaiki lima hal itu dan skrip yang ditulis untuk server lokal biasanya berjalan terhadap endpoint yang dihosting tanpa perubahan lain.

Batas yang perlu Anda rencanakan

Dihosting bukan berarti tanpa batas. Di atas tingkat permintaan, Anda mendapatkan HTTP 429 dengan kode kesalahan rate_limited. Terlalu banyak permintaan simultan mengembalikan 429 dengan concurrency. Selama kelebihan beban sementara, API juga mengirimkan 429 dengan header Retry-After: 5, jadi tunggu lima detik dan coba lagi. Permintaan yang di-streaming memegang slot konkurensinya hingga stream berakhir, sehingga UI yang membuka banyak stream sekaligus dapat mencapai batas konkurensi lebih cepat dari yang diharapkan.

Periksa header respons X-Balance-USD untuk melihat sisa kredit Anda tanpa panggilan terpisah. API hanya teks: tidak ada gambar, audio, video, embedding, atau fine-tuning. Satu aturan tetap: konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan.

Lebih banyak panduan

• Bagaimana Model Abliterated Dibuat? Penjelasan Sederhana
• API LLM Tanpa Sensor: Kompatibel dengan OpenAI & Mode JSON