โฮสต์โมเดล Abliterated: ใช้ API ไม่ต้องใช้ GPU

ความหมายของ "hosted" สำหรับโมเดลสไตล์ abliterated

ผู้ค้นหาโมเดลแบบ abliterated ที่โฮสต์มักพบกำแพงเดียวกัน น้ำหนักโมเดลดาวน์โหลดได้ฟรี แต่การรันโมเดลที่ทรงพลังต้องการ VRAM จำนวนมาก สแต็ก inference ที่เข้ากันได้ และความอดทนในการติดตั้ง บริการโฮสต์ย้ายภาระทั้งหมดนี้ไปยังเครื่องของผู้ให้บริการ คุณจึงเก็บส่วนที่สำคัญไว้: โมเดลที่ตอบโดยไม่มีข้อปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย

ในเว็บนี้ โมเดลคือโมเดลแบบเปิดน้ำหนักหนึ่งตัวที่รันโดยผู้ให้บริการอิสระ มันถูกปรับให้ข้ามการปฏิเสธ ซึ่งเป็นเป้าหมายเดียวกันกับที่ abliteration มุ่งหมาย ไม่ใช่ API ทางการของ Meta, Mistral, Qwen, DeepSeek หรือผู้ขายรายอื่น ไม่ใช่เร้าเตอร์ที่ส่งคำขอของคุณไปยังโมเดลต่างๆ มีโมเดล ID เพียงตัวเดียวคือ uncensored และทุกคำขอจะไปที่โมเดลนี้

หากคุณต้องการข้อมูลพื้นฐานเกี่ยวกับเทคนิคนี้ก่อน หน้า โมเดล abliterated ครอบคลุมแนวคิด และบทความ การเลือก LLM แบบ abliterated สำหรับการแสดงบทบาทสมมติ ครอบคลุมสิ่งที่สำคัญสำหรับงานตัวละคร

ดาวน์โหลดโลคัลหรือ API แบบโฮสต์: อะไรเปลี่ยนแปลง

ตัวเลือกทั้งสองไม่ได้ดีกว่าเสมอ ตารางนี้แสดงถึงความแตกต่างในทางปฏิบัติ

คำถาม	น้ำหนักโมเดลในเครื่อง	API แบบโฮสต์
ฮาร์ดแวร์	คุณต้องจัดเตรียม GPU memory ให้เหมาะสมกับโมเดลและ quantization	ไม่มีฝั่งของคุณ
การตั้งค่า	ดาวน์โหลด แปลง และกำหนดค่า runtime	สร้างคีย์ API และตั้งค่า Base URL
รูปแบบต้นทุน	ฮาร์ดแวร์และพลังงานล่วงหน้า	ต่อโทเคน จากเครดิตแบบเติมเงินล่วงหน้า
ความยาวของบริบท	จำกัดโดยหน่วยความจำของคุณ	100,000 โทเคน, พรอมต์รวมกับผลลัพธ์
ความเป็นส่วนตัว	ทุกอย่างอยู่บนเครื่องของคุณ	คำขอถูกส่งไปยังเซิร์ฟเวอร์; prompts ไม่ถูกนำไปใช้ในการฝึก
การใช้งานแบบออฟไลน์	ใช้งานได้	ต้องการการเชื่อมต่อ

หาก prompts ของคุณต้องไม่ออกจากฮาร์ดแวร์ของคุณเอง ให้รันแบบ local และยอมรับงานติดตั้ง หากต้องการทดสอบไอเดียในวันนี้ หรือแอปของคุณเชื่อมต่อกับ endpoint สไตล์ OpenAI อยู่แล้ว การ hosting จะเร็วกว่า หลายคนเริ่มด้วยแบบ hosted แล้วย้ายไปแบบ local ในภายหลัง หรือในทางกลับกัน

ส่งคำขอแรกของคุณ

สร้างบัญชี เปิดหน้า API key และคัดลอกคีย์ของคุณ จากนั้นชี้ OpenAI SDK ใดๆ ไปยัง URL พื้นฐาน เอนด์พอยต์รองรับ POST /v1/chat/completions, POST /v1/responses และ GET /v1/models

Python

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt, helpful writing partner."},
        {"role": "user", "content": "Draft a tense opening scene for a noir story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)

curl

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in one sentence."}]}'

รายการพารามิเตอร์เต็มรูปแบบอยู่ที่หน้า เอกสารประกอบ max_tokens เป็นตัวเลือกได้; การสร้างข้อความสามารถใช้ ส่วนที่เหลือทั้งหมดของหน้าต่าง 100,000-token หลังจากพรอมต์ของคุณ

สตรีมมิงและการเรียกใช้เครื่องมือทำงานเหมือนที่อื่น

เนื่องจาก API ปฏิบัติตามรูปแบบของ OpenAI คุณสมบัติที่คุณใช้อยู่แล้วจึงทำงานต่อได้ ตั้งค่า stream: true และคุณจะได้รับ server-sent events พร้อมการใช้โทเคนที่ส่วนท้าย การเรียกใช้เครื่องมือรองรับ tools และ tool_choice, สตรีม tool_calls และคาดหวังผลลัพธ์เป็นข้อความที่มี role: "tool" โหมด JSON มีให้ผ่าน response_format

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.abliterated.cc/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  stream: true,
  messages: [{ role: "user", content: "Write two lines of dialogue between a smuggler and a customs officer." }],
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

การตั้งค่าการสุ่มตัวอย่างเช่น temperature, top_p, stop, seed และค่าปรับซ้ำถูกส่งผ่าน หากกำลังสร้างอินเทอร์เฟซรอบสิ่งนี้ หน้าแนะนำการ การสร้างแชทบอทจาก LLM แสดงวิธีเก็บประวัติการสนทนาและจัดการสตรีมมิงในแอปขนาดเล็ก

ต้นทุนจริง

ราคาคือ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens ไม่มีบริการสมัครสมาชิก คุณเติมเงินเครดิตและใช้มัน; เครดิตไม่หมดอายุ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน

นี่คือตัวอย่างสามตัวอย่าง ซึ่งคำนวณจากอัตรานี้ทั้งสอง

• รอบแชทสั้น: 2,000 input tokens และ 500 output tokens Input คือ 2,000 / 1,000,000 x $0.15 = $0.0003 Output คือ 500 / 1,000,000 x $0.50 = $0.00025 รวม $0.00055 ดังนั้นประมาณ 1,800 รอบเช่นนี้จะมีค่าใช้จ่าย $1
• เซสชันเรื่องยาว: ประวัติความยาว 40,000-token ที่ส่งใหม่พร้อม output 1,000 tokens Input คือ $0.006, output คือ $0.0005, รวม $0.0065
• ชุดคำขอ 1,000 คำขอ: input 1,500 และ output 700 tokens ต่อคำขอ นั่นคือ input 1.5M tokens, $0.225, บวก output 0.7M tokens, $0.35 รวม $0.575

ประวัติที่ยาวนานมีค่าใช้จ่ายมากกว่าเพราะคุณจ่ายสำหรับ input ในทุกคำขอ เก็บสรุปของรอบก่อนหน้าไว้แทนที่จะส่งทุกอย่างใหม่เมื่อเรื่องราวยาวขึ้น อัตราและโบนัสปัจจุบันแสดงอยู่ที่ หน้าราคา

การเพิ่มเครดิตและการทดลองใช้ฟรี

การเติมเงินรับจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 จำนวนที่มากขึ้นได้รับโบนัส: +5% จาก $50, +10% จาก $100 และ +15% จาก $200 คุณสามารถชำระเงินด้วยด้วยคริปโต (USDT บน TRC20, USDC บน Base)

เพื่อทดสอบก่อนชำระเงิน ลงชื่อเข้าใช้ด้วย Google หรืออีเมลและรหัสผ่าน จากนั้นขอเครดิตทดลองใช้ที่หน้าคีย์ API มันคือเครดิต $0.50 ใช้ได้ 7 วัน ต่อคน และไม่ต้องใช้บัตร อัตรารอบสั้นข้างต้นครอบคลุมคำขอประมาณ 900 คำขอ คีย์ทดลองใช้จำกัดที่คำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที คีย์เต็มอนุญาตให้คำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที

พร้อมทดลองแล้วหรือยัง? รับคีย์ API แล้วรันโค้ด Python ด้านบน

ข้อผิดพลาดที่พบบ่อยเมื่อเปลี่ยนจากการใช้งานแบบโลคอล

สภาพแวดล้อมแบบโลคอลมักซ่อนรายละเอียดบางอย่างที่ API แบบโฮสต์แสดงออกมาอย่างชัดเจน นี่คือประเด็นที่ทำให้ผู้ใช้ส่วนใหญ่พบปัญหาบ่อยที่สุด

• ชื่อโมเดลผิด เครื่องมือโลคัลมักคาดหวังชื่อไฟล์หรือแท็ก ที่นี่โมเดล ID คือ uncensored เสมอ ค่าอื่นใดจะไม่ทำงานตามที่คาดไว้
• ขาด /v1 ใน URL พื้นฐาน URL พื้นฐานลงท้ายด้วย /v1 ไคลเอนต์เพิ่ม /chat/completions เอง ดังนั้นอย่าเพิ่มมันสองครั้ง
• Chat templates แบบ hard-coded เครื่องรันโลคัลบางครั้งต้องการ prompt template สำหรับโมเดล เมื่อใช้ API คุณส่ง plain messages และเซิร์ฟเวอร์จะนำไปใช้กับ template
• ส่งประวัติทั้งหมดซ้ำไปเรื่อยๆ โมเดลโลคัลมีต้นทุนต่อโทเคนเป็นศูนย์ ดังนั้นผู้คนจึงวาง transcript ทั้งหมด ใน API นิสัยนี้สะสมค่าใช้จ่ายตามตัวอย่างต้นทุน ตัดหรือสรุปย่อรอบเก่า
• ไม่สนใจการตอบกลับ 429 ให้ลองใหม่โดยเว้นระยะห่างสั้นๆ แทนที่จะยิงคำขอเดิมซ้ำอย่างรวดเร็ว

แก้ไขห้าจุดนี้ และสคริปต์ที่เขียนสำหรับเซิร์ฟเวอร์แบบโลคอลมักจะทำงานกับเอนด์พอยต์แบบโฮสต์ได้โดยไม่ต้องเปลี่ยนแปลงอื่นใด

ขีดจำกัดที่ต้องวางแผน

โฮสต์ไม่ได้หมายถึงไม่มีขีดจำกัด อัตราคำขอเกินคุณจะได้ HTTP 429 พร้อม error code rate_limited คำขอพร้อมกันมากเกินไปจะส่ง 429 พร้อม concurrency ในช่วง overload ชั่วคราว API ยังส่ง 429 พร้อม header Retry-After: 5 ดังนั้นรอห้าวิแล้วลองใหม่ คำขอแบบสตรีมมิงจะยึด slot concurrency ไว้จนกว่าสตรีมจะจบ ดังนั้น UI ที่เปิดสตรีมหลายสตรีมพร้อมกันอาจชนขีดจำกัด concurrency ได้เร็วกว่าที่คาด

ตรวจสอบส่วนหัวการตอบกลับ X-Balance-USD เพื่อดูเครดิตคงเหลือของคุณโดยไม่ต้องเรียกแยก API รองรับเฉพาะข้อความ: ไม่มีรูปภาพ เสียง วิดีโอ การฝัง หรือการปรับแต่ง กฎหนึ่งข้อคือคงที่: เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตเด็ดขาด

คู่มือเพิ่มเติม

• โมเดลของ Abliterated สร้างขึ้นอย่างไร? คำอธิบายแบบตรงไปตรงมา
• LLM API แบบไม่เซ็นเซอร์: เข้ากันได้กับ OpenAI & โหมด JSON