Abliterated 모델 호스팅: API를 사용하고 GPU 없이 사용하세요

아블리테이션 스타일 모델에 "호스팅"이 의미하는 바

호스팅된 아블리테이션 모델을 찾는 사람들은 보통 같은 벽에 부딪힙니다. 가중치는 무료로 다운로드할 수 있지만, 강력한 모델을 실행하려면 많은 비디오 메모리, 호환되는 추론 스택 및 설정에 대한 인내심이 필요합니다. 호스팅 서비스는 이를 모두 타인의 머신으로 이동시킵니다. 귀하가 중요하게 여기는 부분인 합법적인 성인 사용을 위해 콘텐츠 거부 없이 답변하는 모델을 유지합니다.

이 사이트에서 모델은 독립적인 제공자가 실행하는 하나의 오픈 웨이트 모델입니다. 거부 스킵을 위해 조정되었으며, 이는 아블리테이션이 추구하는 목표와 동일합니다. Meta, Mistral, Qwen, DeepSeek 또는 기타 벤더의 공식 API가 아니며 요청을 다른 모델로 전달하는 라우터도 아닙니다. 하나의 모델 ID인 uncensored가 있으며 모든 요청은 해당 모델로 전송됩니다.

기술 자체에 대한 배경 지식을 먼저 원하시면 아블리테이션 모델 페이지에서 아이디어를 다루며, 롤플레이를 위한 아블리테이션 LLM 선택 기사에서 캐릭터 작업에 중요한 사항을 다룹니다.

로컬 다운로드 또는 호스팅 API: 변경 사항

어느 옵션이 항상 더 나은 것은 아닙니다. 이 표는 실제 차이점을 나열합니다.

질문	로컬 웨이트	호스팅 API
하드웨어	모델과 양자화 수준에 맞춰 GPU 메모리를 준비합니다.	사용자 측에는 없음
설정	다운로드, 변환, 런타임 구성	API 키를 생성하고 기본 URL을 설정합니다.
비용 구조	선급 하드웨어 및 전력	토큰당, 선불 크레딧에서
컨텍스트 길이	메모리에 의해 제한됨	100,000 토큰, 프롬프트 및 완성 포함
개인정보	모든 것이 머신에 남아 있습니다.	요청은 서버로 전송되며 프롬프트는 학습에 사용되지 않습니다.
오프라인 사용	작동함	연결 필요

프롬프트가 자신의 하드웨어를 절대 벗어나지 않아야 한다면 로컬에서 실행하고 설정 작업을 감수하세요. 오후에 아이디어를 테스트하거나 앱이 이미 OpenAI 스타일 엔드포인트와 통신한다면 호스팅이 더 빠릅니다. 많은 사람들이 호스팅으로 시작해 나중에 로컬로 전환하거나 그 반대로 진행합니다.

첫 번째 요청 수행

계정을 생성하고 API 키 페이지를 열어 키를 복사합니다. 그런 다음 임의의 OpenAI SDK를 베이스 URL로 가리킵니다. 엔드포인트는 POST /v1/chat/completions, POST /v1/responses 및 GET /v1/models를 지원합니다.

Python

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt, helpful writing partner."},
        {"role": "user", "content": "Draft a tense opening scene for a noir story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)

curl

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in one sentence."}]}'

전체 매개변수 목록은 문서 페이지에 있습니다. max_tokens은 선택 사항입니다. completion은 프롬프트 이후 남은 100,000개 토큰 창을 모두 사용할 수 있습니다.

스트리밍 및 도구 호출은 다른 곳과 동일하게 작동합니다

API는 OpenAI 형식을 따르므로 이미 사용하는 기능이 그대로 적용됩니다. stream: true를 설정하면 토큰 사용량이 끝에 포함된 서버 전송 이벤트를 수신합니다. 도구 호출은 tools 및 tool_choice를 허용하고, tool_calls를 스트리밍하며, role: "tool" 메시지 형식으로 결과를 기대합니다. JSON 모드는 response_format을 통해 사용할 수 있습니다.

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.abliterated.cc/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  stream: true,
  messages: [{ role: "user", content: "Write two lines of dialogue between a smuggler and a customs officer." }],
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

temperature, top_p, stop, seed 및 반복 패널티와 같은 샘플링 설정이 전달됩니다. 이를 기반으로 인터페이스를 구축하는 경우 LLM에서 채팅봇 빌드 안내서는 대화 기록을 유지하고 작은 앱에서 스트리밍을 처리하는 방법을 보여줍니다.

실제 비용

가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 구독은 없습니다. 크레딧을 충전하고 사용하며 크레딧은 만료되지 않으며 실패하거나 거부된 요청에는 요금이 청구되지 않습니다.

다음은 두 가지 비율을 기준으로 계산된 세 가지 예시입니다.

• 짧은 채팅 턴: 입력 토큰 2,000개 및 출력 토큰 500개. 입력은 2,000 / 1,000,000 x $0.15 = $0.0003입니다. 출력은 500 / 1,000,000 x $0.50 = $0.00025입니다. 총 $0.00055이므로 약 1,800개의 이러한 턴에 $1이 필요합니다.
• 긴 이야기 세션: 40,000토큰의 이력을 다시 보내고 1,000토큰의 출력을 생성합니다. 입력은 $0.006, 출력은 $0.0005, 총 $0.0065입니다.
• 1,000개 요청 배치: 각 요청당 입력 1,500개 및 출력 700개 토큰. 이는 1.5M 입력 토큰, $0.225 및 0.7M 출력 토큰, $0.35입니다. 총 $0.575입니다.

긴 이력은 더 비쌉니다. 호출마다 입력에 대해 지불하기 때문입니다. 이야기가 길어지면 모든 것을 다시 보내기 대신 이전 턴의 요약을 유지하십시오. 현재 요금과 보너스는 요금 페이지에 나열됩니다.

크레딧 추가 및 무료 체험

충전은 $20에서 $500까지의 전체 금액을 허용합니다. 더 큰 금액은 보너스를 얻습니다: $50부터 +5%, $100부터 +10%, $200부터 +15%. 암호화폐(TRC20의 USDT, Base의 USDC)로 결제할 수 있습니다.

지불 전에 테스트하려면 Google 또는 이메일과 비밀번호로 가입한 후 API 키 페이지에서 체험을 청구하세요. 이는 $0.50의 크레딧이며 7일 동안 유효하고, 사람당 하나이며 카드가 필요하지 않습니다. 위의 짧은 턴 요금으로 약 900개의 요청을 처리할 수 있습니다. 체험 키는 동시 요청 2개 및 분당 60개 요청으로 제한됩니다. 전체 키는 동시 요청 8개 및 분당 300개 요청을 허용합니다.

시작할 준비가 되셨나요? API 키 받기 및 위의 Python 스크립트 실행하기.

로컬 설정에서 전환할 때 사람들이 하는 실수

로컬 런타임은 호스팅 API가 명시적으로 만드는 일부 세부 정보를 숨깁니다. 사람들이 가장 자주 막히는 부분들입니다.

• 잘못된 모델 이름입니다. 로컬 도구는 일반적으로 파일 이름이나 태그를 기대합니다. 여기서는 모델 ID가 항상 uncensored입니다. 다른 값을 사용하면 기대한 대로 작동하지 않습니다.
• 베이스 URL에 /v1 누락. 베이스 URL은 /v1로 끝납니다. 클라이언트는 /chat/completions을 자체적으로 추가하므로 두 번 추가하지 마십시오.
• 하드코딩된 채팅 템플릿입니다. 로컬 러너는 때때로 모델에 대한 프롬프트 템플릿이 필요합니다. API를 사용하면 일반 messages를 전송하고 서버가 템플릿을 적용합니다.
• 전체 이력을 계속 다시 보내기 로컬 모델은 토큰당 비용이 발생하지 않으므로 사람들은 전체 대화 기록을 붙여넣습니다. API에서는 이러한 습관이 비용 예시에서 보여주듯 비용이 누적됩니다. 오래된 대화 턴을 잘라내거나 요약하세요.
• 429 응답 무시하기 좁은 루프에서 동일한 요청을 반복하지 말고 짧은 지연 후 재시도하세요.

이 다섯 가지를 수정하면 로컬 서버용으로 작성된 스크립트는 일반적으로 다른 변경 없이 호스팅된 엔드포인트에서 실행됩니다.

계획할 한도

호스팅은 무제한을 의미하지 않습니다. 요청 속도 초과 시 HTTP 429와 오류 코드 rate_limited이 반환됩니다. 동시 요청이 너무 많으면 429와 concurrency이 반환됩니다. 일시적인 과부하 동안 API는 Retry-After: 5 헤더와 함께 429도 보내므로 5초를 기다렸다가 다시 시도하십시오. 스트리밍된 요청은 스트림이 끝날 때까지 동시성 슬롯을 유지하므로 한 번에 많은 스트림을 여는 UI는 예상보다 빨리 동시성 제한에 도달할 수 있습니다.

별도의 호출 없이 남은 크레딧을 보려면 X-Balance-USD 응답 헤드를 확인하십시오. API는 텍스트 전용입니다: 이미지, 오디오, 비디오, 임베딩 또는 파인튜닝 없음. 하나의 규칙은 고정되어 있습니다: 미성년자와 관련된 성적 콘텐츠는 절대 허용되지 않습니다.

더 많은 가이드

• Abliterated 모델은 어떻게 만들어지나요? 쉬운 설명
• 무검열 LLM API: OpenAI 호환 & JSON 모드