Abliterated मॉडल होस्ट किए गए: API का उपयोग करें, GPU छोड़ें

एक एब्लिरेटेड-शैली वाले मॉडल के लिए "होस्टेड" का क्या अर्थ है

जो लोग होस्टेड एब्लिटरेटेड मॉडल खोजते हैं, वे आमतौर पर उसी दीवार से टकराते हैं। वजन डाउनलोड करने के लिए मुफ़्त हैं, लेकिन एक सक्षम मॉडल चलाने के लिए बहुत अधिक वीडियो मेमोरी, एक संगत इनफ़रेंस स्टैक और सेटअप के लिए धैर्य की आवश्यकता होती है। एक होस्टेड सेवा इन सभी चीज़ों को किसी अन्य की मशीनों पर ले जाती है। आप उस हिस्से को बनाए रखते हैं जिसमें आपकी रुचि है: एक मॉडल जो कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देता है।

इस साइट पर मॉडल एक ओपन-वेट मॉडल है जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है। इसे रिफ्यूजल्स को छोड़ने के लिए ट्यून्ड किया गया है, वही लक्ष्य जिसे abliteration पीछा करता है। यह Meta, Mistral, Qwen, DeepSeek या किसी अन्य वेंडर का आधिकारिक API नहीं है, और न ही यह एक राउटर है जो आपके अनुरोध को अलग-अलग मॉडल्स में फॉरवर्ड करता है। एक ही मॉडल ID है, uncensored, और हर अनुरोध उसी पर जाता है।

अगर आप तकनीक के बारे में पृष्ठभूमि चाहते हैं, तो abliterated मॉडल्स पर पेज विचार को कवर करता है, और roleplay के लिए abliterated LLM चुनना पर आर्टिकल किरदार के काम के लिए महत्वपूर्ण बातों को कवर करता है।

स्थानीय डाउनलोड या होस्टेड API: क्या बदलाव होता है

कोई भी विकल्प हमेशा बेहतर नहीं होता है। यह तालिका व्यावहारिक अंतर सूचीबद्ध करती है।

प्रश्न	स्थानीय वेट्स	होस्टेड API
हार्डवेर	आप मॉडल और क्वांटाइज़ेशन के अनुसार GPU मेमोरी प्रदान करते हैं	आपकी ओर से कोई नहीं
सेटअप	डाउनलोड करें, कन्वर्ट करें, रनटाइम को कन्फ़िगर करें	एक कुंजी बनाएं, एक बेस URL सेट करें
लागत का स्वरूप	अग्रिम हार्डवेयर और बिजली	प्रति टोकन, प्रीपेड क्रेडिट से
कॉन्टेक्स्ट लंबाई	आपकी मेमोरी द्वारा सीमित	100,000 टोकन, प्रॉम्प्ट और पूर्णता
गोपनीयता	सब कुछ आपकी मशीन पर रहता है	अनुरोध एक सर्वर पर जाते हैं; प्रॉम्प्ट्स प्रशिक्षण के लिए उपयोग नहीं किए जाते
ऑफ़लाइन उपयोग	काम करता है	एक कनेक्शन की आवश्यकता है

यदि आपके प्रॉम्प्ट कभी भी आपकी स्वयं की हार्डवेयर से बाहर नहीं जाने चाहिए, तो स्थानीय रूप से चलाएं और सेटअप कार्य स्वीकार करें। यदि आप इस दोपहर एक विचार का परीक्षण करना चाहते हैं, या आपका एप्लिकेशन पहले से ही एक OpenAI-शैली वाले एंडपॉइंट से बात करता है, तो होस्टिंग तेज़ है। कई लोग पहले होस्टेड शुरू करते हैं और बाद में स्थानीय में बदलते हैं, या इसके विपरीत।

अपना पहला अनुरोध बनाएं

एक खाता बनाएं, API कुंजी पेज खोलें, और अपनी कुंजी कॉपी करें। फिर किसी भी OpenAI SDK को बेस URL पर पॉइंट करें। एंडपॉइंट POST /v1/chat/completions, POST /v1/responses और GET /v1/models का समर्थन करता है।

Python

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt, helpful writing partner."},
        {"role": "user", "content": "Draft a tense opening scene for a noir story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)

curl

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in one sentence."}]}'

पैरामीटर की पूरी सूची दस्तावेज़ पृष्ठ पर है। max_tokens वैकल्पिक है; उत्तर आपके प्रॉम्प्ट के बाद 100,000-टोकन विंडो में बचे किसी भी हिस्से का उपयोग कर सकता है।

स्ट्रीमिंग और टूल कॉल वैसे ही काम करते हैं जैसे अन्य जगह

क्योंकि API OpenAI फॉर्मेट का पालन करता है, आपकी मौजूदा फीचर्स काम करती हैं। stream: true सेट करें और आपको server-sent events मिलते हैं, जिसमें अंत में टोकन उपयोग होता है। टूल कॉलिंग tools और tool_choice स्वीकार करती है, tool_calls स्ट्रीम करती है, और role: "tool" के साथ मैसेजेज की उम्मीद करती है। JSON मोड response_format के माध्यम से उपलब्ध है।

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.abliterated.cc/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  stream: true,
  messages: [{ role: "user", content: "Write two lines of dialogue between a smuggler and a customs officer." }],
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

तापमान, top_p, stop, seed और repetition penalties जैसे सैम्पलिंग सेटिंग्स पास हो जाती हैं। अगर आप इसके आसपास एक इंटरफेस बना रहे हैं, तो LLM से चैटबॉट बनाना पर वॉकथ्रू दिखाता है कि कैसे कॉन्वर्सेशन हिस्ट्री रखें और एक छोटे ऐप में स्ट्रीमिंग हैंडल करें।

इसकी लागत, वास्तविक संख्याओं के साथ

मूल्य $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है। कोई सब्सक्रिप्शन नहीं है। आप क्रेडिट टॉप-अप करते हैं और इसे खर्च करते हैं; क्रेडिट कभी एक्सपायर नहीं होता है, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है।

यहाँ तीन उदाहरण हैं, प्रत्येक उन दो दरों से गणना किया गया है।

• छोटा चैट टर्न: 2,000 इनपुट टोकन और 500 आउटपुट टोकन। इनपुट 2,000 / 1,000,000 x $0.15 = $0.0003 है। आउटपुट 500 / 1,000,000 x $0.50 = $0.00025 है। कुल $0.00055, इसलिए ऐसे लगभग 1,800 टर्न्स की लागत $1 है।
• लंबी कहानी सत्र: 1,000 आउटपुट टोकन के साथ 40,000-टोकन इतिहास पुनः भेजा गया। इनपुट $0.006 है, आउटपुट $0.0005 है, कुल $0.0065।
• 1,000 अनुरोधों का बैच: प्रत्येक में 1,500 इनपुट और 700 आउटपुट टोकन। यह 1.5M इनपुट टोकन, $0.225, प्लस 0.7M आउटपुट टोकन, $0.35 है। कुल $0.575।

लंबे इतिहास अधिक लागत वाले होते हैं क्योंकि आप हर कॉल पर इनपुट के लिए भुगतान करते हैं। कहानी लंबी होने पर सब कुछ फिर से भेजने के बजाय पिछले टर्न्स का सारांश रखें। वर्तमान दरें और बोनस मूल्य निर्धारण पेज पर सूचीबद्ध हैं।

क्रेडिट जोड़ना और मुफ़्त ट्रायल

टॉप-अप $20 से $500 तक किसी भी पूर्ण राशि लेते हैं। बड़ी राशियों पर बोनस मिलता है: $50 से +5%, $100 से +10% और $200 से +15%। आप क्रिप्टो (TRC20 पर USDT, Base पर USDC) से भुगतान कर सकते हैं।

भुगतान करने से पहले परीक्षण करने के लिए, Google या ईमेल और पासवर्ड से साइन अप करें, फिर API कुंजी पेज पर ट्रायल क्लेम करें। यह $0.50 क्रेडिट है, 7 दिनों के लिए मान्य, प्रति व्यक्ति एक, और कार्ड की आवश्यकता नहीं है। ऊपर दिए गए शॉर्ट-टर्न दर पर, यह लगभग 900 अनुरोधों को कवर करता है। एक ट्रायल कुंजी 2 समवर्ती अनुरोधों और प्रति मिनट 60 अनुरोधों तक सीमित है। एक पूर्ण कुंजी 8 समवर्ती अनुरोधों और प्रति मिनट 300 अनुरोधों की अनुमति देती है।

कोशिश करने के लिए तैयार हैं? API कुंजी प्राप्त करें और ऊपर दिया गया Python स्निपेट चलाएं।

स्थानीय सेटअप से स्थानांतरित करते समय लोग जो गलतियाँ करते हैं

एक स्थानीय रनटाइम कुछ विवरण छुपाता है जिन्हें होस्टेड API स्पष्ट रूप से दिखाता है। ये वे हैं जो लोगों को सबसे अधिक परेशान करते हैं।

• गलत मॉडल नाम। स्थानीय टूल अक्सर एक फ़ाइल नाम या टैग की उम्मीद करते हैं। यहाँ मॉडल ID हमेशा uncensored होती है। कोई भी अन्य मान वही नहीं करेगा जो आप उम्मीद करते हैं।
• Base URL में /v1 गायब है। Base URL /v1 पर समाप्त होता है। क्लाइंट स्वयं /chat/completions जोड़ते हैं, इसलिए इसे दो बार न जोड़ें।
• हार्ड-कोडेड चैट टेम्पलेट। स्थानीय रनर्स को मॉडल के लिए कभी-कभी एक प्रॉम्प्ट टेम्पलेट की आवश्यकता होती है। API के साथ आप सादे messages भेजते हैं और सर्वर टेम्पलेट लागू करता है।
• सारी इतिहास को हमेशा के लिए पुनः भेजना। एक स्थानीय मॉडल का प्रत्येक टोकन पर कोई लागत नहीं होती है, इसलिए लोग पूरे ट्रांसक्रिप्ट पेस्ट करते हैं। एक API पर वह आदत जमा होती जाती है, जैसा कि लागत उदाहरण दिखाते हैं। पुराने टर्न्स को काटें या सारांश बनाएं।
• 429 प्रतिक्रियाओं को अनदेखा करना। तंग लूप में एक ही अनुरोध भेजने के बजाय, छोटे विलंब के साथ पुनः प्रयास करें।

उन पाँचों को ठीक करें और एक स्क्रिप्ट जो स्थानीय सर्वर के लिए लिखी गई है, आमतौर पर बिना किसी अन्य बदलाव के होस्टेड एंडपॉइंट के खिलाफ चलती है।

योजना बनाने के लिए सीमाएँ

होस्टेड का मतलब अनलिमिटेड नहीं है। अनुरोध दर से अधिक होने पर आपको HTTP 429 मिलता है जिसमें त्रुटि कोड rate_limited होता है। बहुत सारे समवर्ती अनुरोधों पर 429 लौटाता है जिसमें concurrency होता है। अस्थायी ओवरलोड के दौरान API एक Retry-After: 5 हेडर के साथ भी 429 भेजता है, इसलिए पाँच सेकंड प्रतीक्षा करें और पुन: प्रयास करें। एक स्ट्रीम किए गए अनुरोध में उसका कॉन्करेंसी स्लॉट स्ट्रीम समाप्त होने तक बनी रहती है, इसलिए एक UI जो एक साथ कई स्ट्रीम खोलता है, अपेक्षा से जल्दी कॉन्करेंसी सीमा को छू सकता है।

अलग कॉल किए बिना अपना शेष क्रेडिट देखने के लिए X-Balance-USD रिस्पॉन्स हेडर देखें। API केवल टेक्स्ट के लिए है: इमेज, ऑडियो, वीडियो, एम्बेडिंग या फ़ाइन-ट्यूनिंग नहीं। एक नियम तय है: नाबालिगों से जुड़ी यौन सामग्री की कभी अनुमति नहीं है।

अधिक गाइड

• Abliterated मॉडल कैसे बनाए जाते हैं? एक सरल व्याख्या
• अनसेंसर्ड एलएलएम एपीआई: ओपनएआई-कम्पैटिबल और JSON मोड