Chạy mô hình Abliterated: Dùng API, bỏ qua GPU

Ý nghĩa của "lưu trữ" đối với mô hình loại abliterated

Mọi người tìm kiếm các mô hình loại abliterated được lưu trữ thường gặp cùng một rào cản. Trọng số miễn phí để tải xuống, nhưng việc chạy một mô hình hiệu quả cần nhiều bộ nhớ video, một ngăn xếp suy luận tương thích và sự kiên nhẫn khi thiết lập. Dịch vụ lưu trữ chuyển tất cả những điều đó sang máy của người khác. Bạn giữ lại phần bạn quan tâm: một mô hình trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp.

Trên trang web này, mô hình là một mô hình trọng số mở do một nhà cung cấp độc lập chạy. Nó được tinh chỉnh để không từ chối, cùng mục tiêu mà quá trình abliteration theo đuổi. Đây không phải là API chính thức của Meta, Mistral, Qwen, DeepSeek hoặc bất kỳ nhà cung cấp nào khác, và nó không phải là bộ định tuyến chuyển hướng yêu cầu của bạn đến các mô hình khác. Có một ID mô hình, uncensored, và mọi yêu cầu đều được gửi đến nó.

Nếu bạn muốn tìm hiểu thêm về kỹ thuật này trước, trang về mô hình đã abliterated bao gồm ý tưởng, và bài viết về chọn LLM đã abliterated cho nhập vai bao gồm những điều quan trọng cho công việc nhân vật.

Tải cục bộ hoặc API lưu trữ: những thay đổi

Không có tùy chọn nào luôn tốt hơn. Bảng này liệt kê các khác biệt thực tế.

Câu hỏi	Trọng số cục bộ	API lưu trữ
Phần cứng	Bạn cung cấp bộ nhớ GPU tương ứng với mô hình và lượng tử hóa	Không có ở phía bạn
Cài đặt	Tải xuống, chuyển đổi, cấu hình thời gian chạy	Tạo khóa, đặt base URL
Hình dạng chi phí	Phần cứng và điện năng ban đầu	Theo token, từ tín dụng trả trước
Độ dài ngữ cảnh	Giới hạn bởi bộ nhớ của bạn	100.000 token, prompt cộng với hoàn tất
Quyền riêng tư	Mọi thứ vẫn nằm trên máy của bạn	Yêu cầu được gửi đến máy chủ; prompt không được sử dụng để huấn luyện
Sử dụng ngoại tuyến	Hoạt động	Cần một kết nối

Nếu prompt của bạn không bao giờ được rời khỏi phần cứng của riêng bạn, hãy chạy cục bộ và chấp nhận công việc thiết lập. Nếu bạn muốn kiểm tra một ý tưởng vào chiều nay, hoặc ứng dụng của bạn đã giao tiếp với endpoint kiểu OpenAI, việc lưu trữ nhanh hơn. Nhiều người bắt đầu với dịch vụ lưu trữ và chuyển sang cục bộ sau này, hoặc ngược lại.

Thực hiện yêu cầu đầu tiên

Tạo tài khoản, mở trang khóa API và sao chép khóa của bạn. Sau đó, trỏ bất kỳ SDK tương thích OpenAI nào vào base URL. Endpoint hỗ trợ POST /v1/chat/completions, POST /v1/responses và GET /v1/models.

Python

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt, helpful writing partner."},
        {"role": "user", "content": "Draft a tense opening scene for a noir story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)

curl

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in one sentence."}]}'

Danh sách đầy đủ các tham số có trên trang tài liệu. max_tokens là tùy chọn; phần hoàn thành có thể sử dụng bất kỳ phần nào còn lại của cửa sổ 100.000 token sau prompt của bạn.

Truyền phát và gọi công cụ hoạt động như ở nơi khác

Vì API tuân theo định dạng OpenAI, các tính năng bạn đã sử dụng sẽ được chuyển tiếp. Đặt stream: true và bạn sẽ nhận được các sự kiện do máy chủ gửi, với thông tin sử dụng token ở cuối. Gọi công cụ chấp nhận tools và tool_choice, truyền phát tool_calls và mong đợi kết quả dưới dạng các thông báo với role: "tool". Chế độ JSON có sẵn thông qua response_format.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.abliterated.cc/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  stream: true,
  messages: [{ role: "user", content: "Write two lines of dialogue between a smuggler and a customs officer." }],
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Các cài đặt lấy mẫu như temperature, top_p, stop, seed và các hình phạt lặp lại được chuyển tiếp. Nếu bạn đang xây dựng giao diện xung quanh điều này, hướng dẫn về xây dựng bot trò chuyện từ LLM cho thấy cách giữ lịch sử hội thoại và xử lý truyền phát trong một ứng dụng nhỏ.

Chi phí thực tế

Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra. Không có gói đăng ký. Bạn nạp tiền và sử dụng nó; tín dụng không bao giờ hết hạn, và các yêu cầu bị lỗi hoặc bị từ chối không bị tính phí.

Dưới đây là ba ví dụ, mỗi ví dụ được tính toán từ hai tỷ lệ đó.

• Một lượt trò chuyện ngắn: 2.000 token đầu vào và 500 token đầu ra. Đầu vào là 2.000 / 1.000.000 x $0,15 = $0,0003. Đầu ra là 500 / 1.000.000 x $0,50 = $0,00025. Tổng cộng $0,00055, vì vậy khoảng 1.800 lượt như vậy tốn $1.
• Phiên truyện dài: lịch sử 40.000 token được gửi lại với 1.000 token đầu ra. Đầu vào là $0,006, đầu ra là $0,0005, tổng cộng $0,0065.
• Một lô 1.000 yêu cầu: 1.500 token đầu vào và 700 token đầu ra mỗi yêu cầu. Đó là 1,5M token đầu vào, $0,225, cộng thêm 0,7M token đầu ra, $0,35. Tổng cộng $0,575.

Lịch sử dài tốn nhiều tiền hơn vì bạn phải trả tiền cho đầu vào trong mọi yêu cầu. Hãy giữ một bản tóm tắt của các lượt trước đó thay vì gửi lại mọi thứ khi câu chuyện trở nên dài. Các tỷ lệ và ưu đãi hiện tại được liệt kê trên trang giá cả.

Nạp tiền và dùng thử miễn phí

Nạp tiền có thể thực hiện với bất kỳ số nguyên nào từ $20 đến $500. Số tiền lớn hơn nhận được ưu đãi: +5% từ $50, +10% từ $100 và +15% từ $200. Bạn có thể thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base).

Để kiểm tra trước khi trả phí, bạn hãy đăng ký bằng Google hoặc bằng email và mật khẩu, sau đó nhận tín dụng dùng thử miễn phí trên trang khóa API. Đó là $0,50 tín dụng, có giá trị trong 7 ngày, một lần cho mỗi người, và không cần thẻ. Với tốc độ ngắn hạn ở trên, số tiền đó chi trả cho khoảng 900 yêu cầu. Khóa dùng thử bị giới hạn ở 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút.

Sẵn sàng thử nghiệm? Lấy khóa API và chạy đoạn mã Python ở trên.

Những sai lầm mọi người mắc phải khi chuyển từ thiết lập cục bộ

Môi trường chạy cục bộ ẩn đi một số chi tiết mà API lưu trữ làm rõ. Đây là những điều khiến mọi người vấp phải thường xuyên nhất.

• Tên mô hình sai. Các công cụ cục bộ thường mong đợi một tên tệp hoặc thẻ. Tại đây, ID mô hình luôn là uncensored. Bất kỳ giá trị nào khác sẽ không cho ra kết quả như bạn mong đợi.
• Thiếu /v1 trong base URL. Base URL kết thúc bằng /v1. Các máy khách thêm /chat/completions vào, vì vậy đừng nối nó hai lần.
• Mẫu trò chuyện được mã hóa cứng. Các trình chạy cục bộ đôi khi cần một mẫu prompt cho mô hình. Với API, bạn gửi các messages thô và máy chủ áp dụng mẫu.
• Gửi lại toàn bộ lịch sử liên tục. Một mô hình cục bộ không tốn phí theo token, vì vậy mọi người dán toàn bộ bản ghi. Trên API, thói quen đó cộng lại, như các ví dụ về chi phí cho thấy. Hãy cắt giảm hoặc tóm tắt các lượt cũ.
• Bỏ qua phản hồi 429. Hãy thử lại với độ trễ ngắn thay vì gửi cùng một yêu cầu trong một vòng lặp liên tục.

Sửa năm điều đó và một tập lệnh được viết cho máy chủ cục bộ thường chạy trên endpoint lưu trữ mà không cần thay đổi khác.

Các giới hạn cần lên kế hoạch

Dịch vụ lưu trữ không có nghĩa là không giới hạn. Vượt quá giới hạn tốc độ yêu cầu, bạn nhận được HTTP 429 với mã lỗi rate_limited. Quá nhiều yêu cầu đồng thời sẽ trả về 429 với lỗi concurrency. Trong thời gian quá tải tạm thời, API cũng gửi mã 429 kèm tiêu đề Retry-After: 5, vì vậy bạn hãy đợi năm giây rồi thử lại. Một yêu cầu truyền phát (streaming) sẽ giữ khe đồng thời cho đến khi luồng kết thúc, nên giao diện người dùng mở nhiều luồng cùng lúc có thể chạm giới hạn đồng thời nhanh hơn dự kiến.

Bạn hãy kiểm tra tiêu đề phản hồi X-Balance-USD để xem số tín dụng còn lại mà không cần gọi riêng. API chỉ xử lý văn bản: không có hình ảnh, âm thanh, video, embedding hay fine-tuning. Một quy tắc là cố định: nội dung tình dục liên quan đến người chưa thành niên không bao giờ được phép.

Hướng dẫn khác

• Các mô hình Abliterated được tạo ra như thế nào? Giải thích đơn giản
• API LLM uncensored: Tương thích OpenAI & Chế độ JSON