Modele Abliterated: Korzystaj z API, omijaj GPU

Co oznacza „hostowanie” dla modelu w stylu abliterated

Szukający modeli abliterated zwykle natrafiają na ten sam mur. Wagi są dostępne do pobrania za darmo, ale uruchomienie wydajnego modelu wymaga dużo pamięci VRAM, kompatybilnego stosu do wnioskowania i cierpliwości przy konfiguracji. Usługa hostowana przenosi wszystko to na maszyny kogoś innego. Ty zachowujesz to, o co Ci chodzi: model, który odpowiada bez odmów generowania treści do użytku prawnego przez osoby pełnoletnie.

Na tej stronie model to jeden model o otwartych wagach uruchamiany przez niezależnego dostawcę. Jest dostosowany do ignorowania odmów, z tym samym celem, jaki realizuje abliteration. Nie jest to oficjalne API Meta, Mistral, Qwen, DeepSeek ani żadnego innego dostawcy, ani nie jest to router, który przekieruje Twoje zapytanie do różnych modeli. Istnieje jeden identyfikator modelu, uncensored, i każde zapytanie trafia do niego.

Jeśli chcesz najpierw poznać tło samej techniki, strona o modelach abliterated omawia ideę, a artykuł na temat wyboru LLM abliterated do odgrywania ról omawia, co jest ważne dla pracy z postaciami.

Pobranie lokalne lub API hostowane: co się zmienia

Żadna opcja nie jest zawsze lepsza. Ta tabela wymienia praktyczne różnice.

Pytanie	Wagi lokalne	Hostowane API
Sprzęt	Zapewniasz pamięć GPU dopasowaną do modelu i kwantyzacji	Nic po Twojej stronie
Konfiguracja	Pobieranie, konwersja, konfiguracja środowiska uruchomieniowego	Utwórz klucz, ustaw bazowy adres URL
Struktura kosztów	Wydatki na sprzęt i energię z góry	Za token, z przedpłaconego kredytu
Długość kontekstu	Ograniczone przez Twoją pamięć	100 000 tokenów, prompt plus uzupełnienie
Prywatność	Wszystko pozostaje na Twojej maszynie	Zapytania trafiają na serwer; prompty nie są używane do trenowania
Praca offline	Działa	Wymaga połączenia

Jeśli Twoje prompty muszą nigdy nie opuszczać Twojego własnego sprzętu, uruchom lokalnie i zaakceptuj pracę konfiguracyjną. Jeśli chcesz przetestować pomysł dziś popołudniu lub Twoja aplikacja już komunikuje się z endpointem w stylu OpenAI, hostowanie jest szybsze. Wielu zaczyna od hostowania i przechodzi lokalnie później, lub odwrotnie.

Wykonaj pierwsze zapytanie

Utwórz konto, otwórz stronę klucza API i skopiuj swój klucz. Następnie wskaż dowolne SDK OpenAI na Base URL. Endpoint obsługuje POST /v1/chat/completions, POST /v1/responses i GET /v1/models.

Python

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt, helpful writing partner."},
        {"role": "user", "content": "Draft a tense opening scene for a noir story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)

curl

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in one sentence."}]}'

Pełna lista parametrów jest na stronie dokumentacji. max_tokens jest opcjonalne; uzupełnienie może użyć tego, co zostanie z okna 100 000 tokenów po Twoim promptcie.

Strumieniowanie i wywoływanie narzędzi działają tak samo jak gdzie indziej

Ponieważ API jest zgodne z formatem OpenAI, funkcje, których już używasz, przenoszą się. Ustaw stream: true i otrzymasz zdarzenia wysyłane przez serwer z użyciem tokenów na końcu. Wywoływanie narzędzi akceptuje tools i tool_choice, strumieniuje tool_calls i oczekuje wyników jako wiadomości z role: "tool". Tryb JSON jest dostępny przez response_format.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.abliterated.cc/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  stream: true,
  messages: [{ role: "user", content: "Write two lines of dialogue between a smuggler and a customs officer." }],
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Ustawienia próbkowania takie jak temperature, top_p, stop, seed i kary za powtarzalność są przekazywane dalej. Jeśli budujesz interfejs wokół tego, przewodnik po budowaniu czatu z LLM pokazuje, jak utrzymać historię rozmowy i obsługiwać strumieniowanie w małej aplikacji.

Ile to kosztuje, z realnymi liczbami

Ceny to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych. Nie ma subskrypcji. Doładowujesz kredyt i go wydajesz; kredyt nigdy nie wygasa, a nieudane lub odrzucone zapytania nie są rozliczane.

Oto trzy przykłady, każdy obliczony na podstawie tych dwóch stawek.

• Krótka tura czatu: 2 000 tokenów wejściowych i 500 tokenów wyjściowych. Wejście to 2 000 / 1 000 000 x $0,15 = $0,0003. Wyjście to 500 / 1 000 000 x $0,50 = $0,00025. Łącznie $0,00055, więc około 1 800 takich tur kosztuje $1.
• Długa sesja opowiadania: historia 40 000 tokenów wysłana ponownie z 1 000 tokenami wyjściowymi. Wejście to $0,006, wyjście to $0,0005, razem $0,0065.
• Partia 1 000 zapytań: 1 500 tokenów wejściowych i 700 tokenów wyjściowych każde. To 1,5M tokenów wejściowych, $0,225, plus 0,7M tokenów wyjściowych, $0,35. Łącznie $0,575.

Długie historie kosztują więcej, ponieważ płacisz za dane wejściowe przy każdym wywołaniu. Zamiast wysyłać wszystko od nowa, gdy historia się wydłuża, zachowaj jej streszczenie. Aktualne stawki i bonusy znajdziesz na stronie z cenami.

Doładowanie kredytu i darmowy kredyt próbny

Doładowania przyjmują dowolną kwotę całkowitą od $20 do $500. Większe kwoty dają bonus: +5% od $50, +10% od $100 i +15% od $200. Możesz zapłacić kryptowalutami (USDT na TRC20, USDC na Base).

Aby przetestować przed płaceniem, zaloguj się przez Google lub e-mail i hasło, a następnie claimuj próbę na stronie klucza API. To $0,50 kredytu, ważny przez 7 dni, jeden na osobę, bez karty. Przy stawce krótkiej tury powyżej obejmuje to około 900 zapytań. Klucz próbny jest ograniczony do 2 równoległych zapytań i 60 zapytań na minutę. Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę.

Gotowy, aby spróbować? Uzyskaj klucz API i uruchom powyższy fragment kodu Python.

Błędy popełniane przy przejściu z konfiguracji lokalnej

Lokalne środowiska uruchomieniowe ukrywają niektóre szczegóły, które API hostowane ujawnia. Oto te, które najczęściej mylą ludzi.

• Zła nazwa modelu. Narzędzia lokalne często oczekują nazwy pliku lub tagu. Tutaj identyfikator modelu to zawsze uncensored. Każda inna wartość nie zadziała zgodnie z oczekiwaniami.
• Brak /v1 w bazowym URL. Bazowy URL kończy się na /v1. Klienci dodają /chat/completions sami, więc nie dodawaj go dwukrotnie.
• Sztywno zdefiniowane szablony czatu. Niektóre lokalne środowiska wymagają szablonu promptu dla modelu. W przypadku API wysyłasz zwykłe messages, a serwer stosuje szablon.
• Wysyłanie całej historii w nieskończoność. Lokalny model nie kosztuje nic za token, więc ludzie wklejają całe transkrypcje. W przypadku API ta praktyka szybko się mnoży, co pokazują przykłady kosztów. Ogranicz lub streszczaj starsze wiadomości.
• Ignorowanie odpowiedzi 429. Spróbuj ponownie po krótkim opóźnieniu, zamiast wysyłać to samo zapytanie w szybkim pętli.

Napraw tych pięć błędów, a skrypt napisany dla serwera lokalnego zwykle działa na endpointzie hostowanym bez innych zmian.

Ograniczenia, które należy uwzględnić w planowaniu

Hostowanie nie oznacza nieskończoności. Po przekroczeniu limitu szybkości żądań otrzymasz HTTP 429 z kodem błędu rate_limited. Zbyt wiele jednoczesnych zapytań zwraca 429 z concurrency. Podczas tymczasowego przeciążenia API wysyła również 429 z nagłówkiem Retry-After: 5, więc poczekaj pięć sekund i spróbuj ponownie. Zapytanie strumieniowe zajmuje miejsce w limicie współbieżności do końca strumienia, więc interfejs, który otwiera wiele strumieni naraz, może osiągnąć limit współbieżności szybciej niż się spodziewasz.

Sprawdź nagłówek odpowiedzi X-Balance-USD, aby zobaczyć pozostały kredyt bez osobnego wywołania. API jest tylko tekstowe: bez obrazów, audio, wideo, embeddingów ani fine-tuning. Jedna zasada jest stała: treści seksualne z udziałem nieletnich są zawsze zabronione.

Więcej przewodników

• Jak powstają modele Abliterated? Proste wyjaśnienie
• Uncensored LLM API: Kompatybilny z OpenAI i tryb JSON