Modelli Abliterated ospitati: usa un'API, salta la GPU

Cosa significa "ospitato" per un modello in stile abliterated

Le persone che cercano modelli abliterated solitamente si scontrano con lo stesso muro. I pesi sono scaricabili gratuitamente, ma eseguire un modello capace richiede molta memoria video, uno stack di inferenza compatibile e pazienza per la configurazione. Un servizio in cloud sposta tutto questo sulle macchine di qualcun altro. Tu ti tieni la parte che ti interessa: un modello che risponde senza rifiuti di contenuto per uso adulto legale.

Su questo sito il modello è un modello a pesi aperti gestito da un provider indipendente. È ottimizzato per saltare i rifiuti, lo stesso obiettivo che persegue l'abliteration. Non è l'API ufficiale di Meta, Mistral, Qwen, DeepSeek o di qualsiasi altro vendor, e non è un router che instrada la tua richiesta verso modelli diversi. C'è un solo model ID, uncensored, e ogni richiesta va a quello.

Se vuoi prima approfondire la tecnica stessa, la pagina sui modelli abliterated copre l'idea, e l'articolo su come scegliere un LLM abliterated per il gioco di ruolo copre ciò che conta per il lavoro sui personaggi.

Download locale o API ospitata: cosa cambia

Nessuna opzione è sempre migliore. Questa tabella elenca le differenze pratiche.

Domanda	Pesi locali	API Ospitata
Hardware	Fornisci memoria GPU dimensionata per il modello e la quantizzazione	Nessuno da parte tua
Configurazione	Scarica, converti, configura un runtime	Crea una chiave, imposta un URL di base
Struttura del costo	Hardware e energia iniziali	Per token, da credito prepagato
Lunghezza del contesto	Limitato dalla tua memoria	100.000 token, prompt più completamento
Privacy	Tutto rimane sul tuo dispositivo	Le richieste vanno a un server; i prompt non sono usati per l'addestramento
Uso offline	Funziona	Richiede una connessione

Se i tuoi prompt non devono mai lasciare il tuo hardware personale, esegui localmente e accetta il lavoro di configurazione. Se vuoi testare un'idea questo pomeriggio, o la tua app parla già a un endpoint in stile OpenAI, l'hosting è più veloce. Molte persone iniziano con l'hosting e passano al locale più tardi, o viceversa.

Esegui la tua prima richiesta

Crea un account, apri la pagina della chiave API e copia la tua chiave. Poi punta qualsiasi SDK OpenAI all'URL di base. L'endpoint supporta POST /v1/chat/completions, POST /v1/responses e GET /v1/models.

Python

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt, helpful writing partner."},
        {"role": "user", "content": "Draft a tense opening scene for a noir story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)

curl

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in one sentence."}]}'

L'elenco completo dei parametri è nella pagina di documentazione. max_tokens è opzionale; il completamento può usare tutto ciò che resta della finestra di 100.000 token dopo il tuo prompt.

Streaming e chiamate di funzioni funzionano come altrove

Poiché l'API segue il formato OpenAI, le funzionalità che già usi si trasferiscono. Imposta stream: true e ricevi eventi server-sent, con l'utilizzo dei token alla fine. La chiamata di funzioni accetta tools e tool_choice, trasmette tool_calls e si aspetta risultati come messaggi con role: "tool". La modalità JSON è disponibile tramite response_format.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.abliterated.cc/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  stream: true,
  messages: [{ role: "user", content: "Write two lines of dialogue between a smuggler and a customs officer." }],
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Le impostazioni di campionamento come temperature, top_p, stop, seed e le penali di ripetizione vengono passate. Se stai costruendo un'interfaccia attorno a questo, la guida su costruire un chatbot da un LLM mostra come mantenere la cronologia delle conversazioni e gestire lo streaming in un'app piccola.

Quanto costa, con numeri reali

I costi sono $0,15 per 1M token di input e $0,50 per 1M token di output. Non c'è abbonamento. Ricarichi il credito e lo spendi; il credito non scade mai e le richieste fallite o rifiutate non vengono addebitate.

Ecco tre esempi, ciascuno calcolato da questi due tassi.

• Breve turno di chat: 2.000 token di input e 500 token di output. Input è 2.000 / 1.000.000 x $0,15 = $0,0003. Output è 500 / 1.000.000 x $0,50 = $0,00025. Totale $0,00055, quindi circa 1.800 turni di questo tipo costano $1.
• Sessione di lunga durata: una cronologia di 40.000 token rispedita con 1.000 token di output. Input è $0.006, output è $0.0005, totale $0.0065.
• Batch di 1.000 richieste: 1.500 input e 700 token di output ciascuno. Questo è 1,5M di token di input, $0,225, più 0,7M di token di output, $0,35. Totale $0,575.

Le cronologie lunghe costano di più perché paghi per l'input su ogni chiamata. Tieni un riassunto dei turni precedenti invece di rispedire tutto quando la storia diventa lunga. I tassi e i bonus attuali sono elencati nella pagina dei prezzi.

Aggiunta di credito e prova gratuita

Le ricariche accettano qualsiasi importo intero da $20 a $500. Importi maggiori ottengono un bonus: +5% da $50, +10% da $100 e +15% da $200. Puoi pagare con cripto (USDT su TRC20, USDC su Base).

Per testare prima di pagare, registrati con Google o con email e password, poi richiedi il credito di prova nella pagina della chiave API. Sono $0,50 di credito, validi per 7 giorni, uno per persona, senza bisogno di carta. Al tasso per turni brevi sopra, questo copre circa 900 richieste. Una chiave di prova è limitata a 2 richieste parallele e 60 richieste al minuto. Una chiave completa permette 8 richieste parallele e 300 richieste al minuto.

Pronto a provarlo? Ottieni una chiave API ed esegui lo snippet Python sopra.

Errori comuni passando da un setup locale

Un runtime locale nasconde alcuni dettagli che un'API ospitata rende espliciti. Questi sono quelli che creano problemi alle persone più spesso.

• Nome del modello sbagliato. Gli strumenti locali spesso si aspettano un nome di file o un tag. Qui il model ID è sempre uncensored. Qualsiasi altro valore non farà ciò che ti aspetti.
• Mancanza di /v1 nell'URL base. L'URL base termina con /v1. I client aggiungono /chat/completions da soli, quindi non aggiungerlo due volte.
• Template di chat hard-coded. I runner locali a volte hanno bisogno di un template prompt per il modello. Con l'API invii semplici messages e il server applica il template.
• Rispedire l'intera cronologia per sempre. Un modello locale non costa nulla per token, quindi le persone incollano intere trascrizioni. Su un'API questa abitudine si somma, come mostrano gli esempi di costo. Taglia o riassumi i turni vecchi.
• Ignorare le risposte 429. Riprova con un breve ritardo invece di inviare la stessa richiesta in un loop stretto.

Risolti questi cinque errori, uno script scritto per un server locale di solito gira contro l'endpoint ospitato senza altre modifiche.

Limiti da pianificare

L'hosting non significa illimitato. Superato il limite di richieste ottieni HTTP 429 con il codice di errore rate_limited. Troppe richieste simultanee restituiscono 429 con concurrency. Durante un sovraccarico temporaneo l'API invia anche un 429 con l'intestazione Retry-After: 5, quindi attendi cinque secondi e riprova. Una richiesta in streaming occupa la sua slot di concorrenza fino alla fine dello streaming, quindi un'interfaccia utente che apre molti stream in una volta può raggiungere il limite di concorrenza prima del previsto.

Controlla l'intestazione di risposta X-Balance-USD per vedere il tuo credito residuo senza una chiamata separata. L'API è solo testo: nessuna immagine, audio, video, embedding o affinamento. Una regola è fissa: i contenuti sessuali che coinvolgono i minorenni non sono mai permessi.

Altre guide

• Come sono fatti i modelli Abliterated? Una spiegazione semplice
• API LLM senza censura: Compatibile con OpenAI e modalità JSON