Abliterated LLM: रोलप्ले के लिए सर्वश्रेष्ठ: API सेटअप गाइड

किसी मॉडल को रोलप्ले में अच्छा बनाने वाली बातें

रोलप्ले एक भाषा मॉडल के लिए कठिन परीक्षण है। इसे सैकड़ों संदेशों के लिए एक आवाज़ बनाए रखनी होती है, तीन दृश्य पहले की घटनाओं को याद रखना होता है, कहानी अंधेरे मोड़ पर जाए तो किरदार में बने रहना होता है, और कभी भी खुद को समझाने के लिए बाहर नहीं निकलना होता है। एक सामान्य सहायक मॉडल अक्सर अंतिम बिंदु पर विफल हो जाता है। यह एक अच्छा पैराग्राफ लिखता है, फिर एक डिसक्लेमर जोड़ देता है या एक साधारण काल्पनिक प्लॉट टर्न से इनकार कर देता है।

एक abliterated या बिना सेंसर मॉडल इन अस्वीकृतियों को हटाने के लिए ट्यून्ड होता है। यह मदद करता है, लेकिन यह एक प्रदाता के साथ प्रतिबद्ध होने से पहले जाँचने योग्य पाँच गुणों में से केवल एक है:

• अस्वीकृति व्यवहार। क्या यह बिना टिप्पणी के एक खलनायक के संवाद या एक नैतिक रूप से ग्रे दृश्य का पालन करता है?
• कॉन्टेक्स्ट लंबाई। क्या कैरेक्टर कार्ड, दुनिया के नोट्स और चैट इतिहास एक ही अनुरोध में फिट हो सकते हैं?
• स्थिरता। क्या एक किरदार लंबे सत्र में अपने बोलने के तरीके समान रखता है?
• सैंपलिंग नियंत्रण। क्या आप तापमान, top_p, पेनल्टी और स्टॉप सीक्वेंस बदल सकते हैं?
• स्ट्रीमिंग। क्या टेक्स्ट टोकन-दर-टोकन प्रकट होता है, ताकि जवाब एक संवाद जैसा लगे?

कोई भी ईमानदारी से हर कहानी शैली के लिए एक अकेले विजेता का नाम नहीं दे सकता। स्वाद मायने रखता है, और दो लेखक एक ही मॉडल को अलग-अलग रैंक करेंगे। व्यावहारिक उत्तर यह है कि एक उम्मीदवार मॉडल के माध्यम से अपने स्वयं के दृश्यों को चलाएं और आउटपुट का स्वयं निर्णय लें।

रोलप्ले के लिए यह API आपको क्या देता है

सेवा एक ओपन-वेट मॉडल चलाती है, जो एक स्वतंत्र प्रदाता द्वारा होस्ट किया गया है और कानूनी वयस्क उपयोग के लिए सामग्री अस्वीकृति के बिना उत्तर देने के लिए ट्यून्ड किया गया है। मॉडल ID uncensored है। वेंडर्स के बीच कोई रूटिंग नहीं है, इसलिए जिस आवाज़ को आपने सोमवार को टेस्ट किया था, वही आवाज़ शुक्रवार को मिलेगी।

रोलप्ले की आवश्यकता	आपको क्या मिलता है
लंबी मेमोरी	100,000 टोकन कॉन्टेक्स्ट, प्रॉम्प्ट और कंप्लीशन सहित
लाइव टाइपिंग प्रभाव	SSE के माध्यम से स्ट्रीमिंग stream: true के साथ
शैली नियंत्रण	temperature, top_p, stop, seed और दोनों पेनल्टी पास कर दी जाती हैं
क्लाइंट सपोर्ट	OpenAI-संगत, इसलिए SillyTavern और समान उपकरण URL बदलने के साथ काम करते हैं
गोपनीयता	प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता

एक कठोर सीमा लागू होती है और वह वार्ता के लिए नहीं है: नाबालिगों से जुड़ी यौन सामग्री नहीं। अपने पात्रों और परिदृश्यों को उस रेखा के सही पक्ष और कानूनी वयस्क उपयोग के भीतर रखें। मॉडल परिवार के विवरण abliterated मॉडल पृष्ठ पर हैं।

SillyTavern को पांच चरणों में कनेक्ट करें

SillyTavern किसी भी OpenAI-संगत एंडपॉइंट से बात कर सकता है। मेनू लेबल्स संस्करणों के बीच थोड़े बदल सकते हैं, लेकिन प्रवाह समान रहता है।

1. खाता बनाएँ और API कुंजी पेज पर अपनी कुंजी प्राप्त करें। नए उपयोगकर्ता एक क्लिक से $0.50 का ट्रायल क्रेडिट ले सकते हैं, जो 7 दिनों के लिए मान्य है, कार्ड की आवश्यकता नहीं है।
2. SillyTavern में, प्लग आइकन (API कनेक्शन) खोलें और API प्रकार को Chat Completion पर सेट करें।
3. Custom (OpenAI-compatible) स्रोत चुनें।
4. एंडपॉइंट URL के रूप में https://api.abliterated.cc/v1 दर्ज करें और अपनी कुंजी API कुंजी फ़ील्ड में पेस्ट करें।
5. मॉडल ID के रूप में uncensored टाइप करें, फिर कनेक्ट दबाएं। हरा स्टेटस का अर्थ है कि /v1/models के लिए अनुरोध सफल रहा।

यदि कनेक्शन विफल हो जाता है, तो पहले URL की जांच करें। यह /v1 पर समाप्त होना चाहिए, बिना किसी ट्रेलिंग पाथ और बिना अतिरिक्त /chat/completions के। क्लाइंट उस भाग को स्वयं जोड़ता है।

सुझाए गए प्रारंभिक सेटिंग्स

0.8 और 1.0 के बीच का तापमान जीवंत प्रॉज़ देता है। top_p को 0.9 के करीब रखें। यदि जवाब एक ही वाक्यांशों को दोहराना शुरू करते हैं, तो 0.2 के आसपास एक छोटी फ्रीक्वेंसी पेनल्टी जोड़ें। वास्तविक विंडो के करीब एक कॉन्टेक्स्ट साइज़ सेट करें, लेकिन जवाब के लिए जगह छोड़ें। फिर कुछ दृश्यों के बाद अनुभव से समायोजित करें।

Python में अपना खुद का रोलप्ले लूप बनाएं

यदि आप अपना खुद का फ्रंटएंड या Discord बॉट लिखते हैं, तो OpenAI SDK पर्याप्त है। यह स्क्रिप्ट पूरा इतिहास रखती है, जवाब को स्ट्रीम करती है और मॉडल को आपकी पंक्तियाँ लिखने से रोकती है।

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

system = (
    "You are Mara, a smuggler captain in a sea-faring fantasy setting. "
    "Write in third person, past tense, two short paragraphs per reply. "
    "Never write the actions or words of the player character."
)
history = [{"role": "system", "content": system}]

while True:
    user = input("> ")
    history.append({"role": "user", "content": user})

    stream = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.9,
        top_p=0.9,
        frequency_penalty=0.2,
        stop=["\nPlayer:"],
        stream=True,
    )
    reply = ""
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    print()
    history.append({"role": "assistant", "content": reply})

यही कॉल Node, curl या किसी अन्य OpenAI क्लाइंट से काम करती है। केवल बेस URL, कुंजी और मॉडल ID बदलते हैं। दस्तावेज़ों में क्विकस्टार्ट प्रत्येक विधि को दिखाता है।

एक कैरेक्टर कार्ड लिखें जिसका मॉडल पालन कर सके

अधिकांश रोलप्ले गुणवत्ता समस्याएं प्रॉम्प्ट समस्याएं हैं। एक अस्पष्ट कार्ड एक अस्पष्ट पात्र उत्पन्न करता है। एक अच्छा कार्ड 300 से 600 टोकन में फिट होता है और चार चीजों को कवर करता है: पात्र कौन है, वह कैसे बात करता है, वह अभी क्या चाहता है, और उसे कभी क्या नहीं करना चाहिए।

स्पष्ट विवरण काव्यात्मक शब्दों से बेहतर है। "Mara रहस्यमय और खतरनाक है" की तुलना "Mara सवालों के जवाब सवालों से देती है, अजनबियों को अपना असली नाम कभी नहीं देती है, और जब कोई उसके पीछे खड़ा हो तो अपने छुरे के पास एक हाथ रखती है" से करें। दूसरी लाइन मॉडल को हर टर्न पर दोहरा सकने वाला व्यवहार देती है।

• वॉइस नमूना। उदाहरण संवाद की दो या तीन पंक्तियाँ जोड़ें। मॉडल विशेषणों की तुलना में उदाहरणों से लय और शब्दावली अधिक विश्वसनीयता से नकल करते हैं।
• प्रारूप नियम। व्यक्ति, काल, लंबाई और क्रियाओं के लिए तारांकन का उपयोग करना है या नहीं, यह बताएं। मॉडल प्रारूप में भटक जाते हैं जब तक कि उन्हें एक बार, स्पष्ट रूप से नहीं बताया जाता।
• दृश्य की स्थिति। वर्तमान स्थान, समय और अनसुलझे प्लॉट लाइन्स को प्रॉम्प्ट के अंत में रखें, जहाँ हाल की जानकारी सबसे मजबूत प्रभाव डालती है।
• सीमाएँ। यदि कहानी में केवल वयस्क शामिल हैं, तो कार्ड में ऐसा कहें। "सभी पात्र वयस्क हैं" जैसे एक पंक्ति आपको और लॉग पढ़ने वाले किसी भी व्यक्ति के लिए सेटिंग को अस्पष्टता से मुक्त रखती है।

सपाट, बार-बार दोहराने वाले या ज़बरदस्ती करने वाले पात्रों को ठीक करें

ये वे समस्याएं हैं जो पहले घंटे के बाद सामने आती हैं, जिनके लिए सामान्य समाधान हैं।

पात्र स्वयं को दोहराता है

वाक्यांश हर कुछ जवाबों में वापस आते हैं। frequency_penalty को 0.3 और presence_penalty को 0.1 पर बढ़ाएं, तापमान को 0.1 से ऊपर धकेलें, और जाँचें कि आपका सारांश या उदाहरण संवाद स्वयं उस वाक्यांश को नहीं रखता है। मॉडल वही कॉपी करता है जो वह देखता है।

जवाब लंबे होते जाते हैं

लंबे जवाब मॉडल को यह सिखाते हैं कि लंबे जवाब सामान्य हैं। इतिहास से कुछ को हटाएं, लंबाई के नियम को फिर से बताएं, और max_tokens को एक सीमा पर सेट करें जिसे आप स्वीकार करते हैं। यह फ़ील्ड वैकल्पिक है, इसलिए यह केवल तभी काम करती है जब आप इसे सेट करते हैं।

मॉडल तय करता है कि आपका किरदार क्या करता है

सिस्टम संदेश में एक कड़ा नियम जोड़ें और अपने किरदार के नाम के प्रीफ़िक्स पर एक स्टॉप सीक्वेंस जोड़ें, जैसा कि स्क्रिप्ट में ऊपर दिखाया गया है। यदि आप एक फ्रंट एंड का उपयोग करते हैं, तो जांचें कि यह इतिहास को उसी नाम टैग के साथ फॉर्मेट करता है।

कहानी अटक जाती है

किरदार को एक लक्ष्य और एक समयसीमा दें। "उसे ज्वार पलटने से पहले नक्शा चाहिए" गति पैदा करता है। एक किरदार जिसके पास कुछ भी चाहने को नहीं है, आपकी कार्रवाई का इंतज़ार करता है, और दृश्य ढीला पड़ जाता है।

लंबी कहानियों को सहज रखें

100,000-टोकन विंडो बड़ी है, फिर भी महीनों तक चलने वाले अभियान में इसकी कमी हो सकती है। इसके लिए जल्दी से योजना बनाएं।

• आवश्यक तत्वों को स्थिर रखें। किरदार कार्ड और वर्तमान दृश्य लक्ष्य को सिस्टम संदेश के शीर्ष पर रखें, जहाँ वे कभी भी ट्रिम नहीं होते हैं।
• पुराने संवादों का सारांश दें। हर 30 या 40 संदेशों पर, मॉडल से चैट के सबसे पुराने हिस्से को एक छोटे सारांश में संक्षिप्त करने के लिए कहें, और फिर उन संदेशों को सारांश से बदल दें।
• लोर लिस्ट का उपयोग करें। नामों, स्थानों और वादों को एक छोटे ब्लॉक में स्टोर करें जिसे आप हर टर्न पर रीफ्रेश करते हैं। मॉडल 80 संदेश पहले के एक मामूली विवरण को पिछले प्रॉम्प्ट में बताए गए एक तथ्य की तुलना में अधिक बार भूल जाता है।
• डिबगिंग के दौरान सीड का उपयोग करें। जब आप एक प्रॉम्प्ट को ट्वीक करते हैं, तो एक स्थिर seed तुलना को अधिक निष्पक्ष बनाता है।

सामान्य विफलता: मॉडल आपके किरदार के लिए बोलता है। इसे सिस्टम प्रॉम्प्ट में एक सीधे नियम से ठीक करें और ऊपर दिखाए गए जैसे स्टॉप सीक्वेंस से इसे पुख्ता करें। एक अन्य समस्या: हर जवाब एक ही तरीके से शुरू होता है। तापमान को थोड़ा बढ़ाएं और फ्रीक्वेंसी पेनल्टी जोड़ें।

एक सत्र की लागत

मूल्य निर्धारण $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, जो प्रीपेड क्रेडिट से कटाया जाता है। रोलप्ले इनपुट-भारी होता है क्योंकि हर टर्न पर पूरा इतिहास भेजा जाता है, इसलिए इनपुट पक्ष हावी होता है।

50-टर्न का सत्र लें। औसत प्रॉम्प्ट 6,000 टोकन का है (किरदार कार्ड और इतिहास) और हर जवाब लगभग 250 टोकन का होता है।

• इनपुट: 50 x 6,000 = 300,000 टोकन, जो 0.3 x $0.15 = $0.045 है
• आउटपुट: 50 x 250 = 12,500 टोकन, जो 0.0125 x $0.50 = $0.00625 है
• कुल: $0.05125, लगभग पाँच सेंट

$20 का टॉप-अप उस आकार के लगभग 390 सत्रों को कवर करता है। टॉप-अप $20 से $500 तक पूर्णांक राशियों में चलते हैं, $50 से +5%, $100 से +10% और $200 से +15% बोनस के साथ। क्रेडिट कभी समाप्त नहीं होता और असफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता। आप क्रिप्टो (TRC20 पर USDT, Base पर USDC) से भुगतान कर सकते हैं। पूर्ण संख्याएँ मूल्य निर्धारण पृष्ठ पर हैं।

अधिक गाइड

• LLM API से चैटबॉट बनाएं: Python ट्यूटोरियल
• Uncensored LLM API: OpenAI-संगत और JSON मोड