Abliterated 모델: 비용, 컨텍스트 및 코드

Abliterated 모델이란 무엇인가요?

Abliterated 모델은 기존 오픈 웨이트 언어 모델을 가져와 특정 콘텐츠 유형에 대한 거절을 유발하는 신경 경로를 체계적으로 제거하거나 약화시켜 생성됩니다. 안전 정책 때문에 주제를 논의하기를 정중히 거절할 수 있는 표준 모델과 달리 abliterated 모델은 질문에 직접 답변합니다. 이 과정은 일반적으로 거절에 책임이 있는 '어텐션 헤드'를 식별하고 그 영향력을 거의 0으로 설정하거나, 포괄적인 답변을 장려하는 데이터셋으로 모델을 조정하는 것을 포함합니다.

결과는 기본 지능과 추론 능력을 유지하지만 '필터링' 레이어가 없는 모델입니다. 이는 성인 주제, 논쟁적인 의견 또는 니치 기술 주제를 거부 메시지 없이 다룰 수 있음을 의미합니다. '무검열'이 '비지능'을 의미하지는 않습니다. 모델은 여전히 지시를 따르고 일관성을 유지합니다. 그러나 일반적인 기업적인 다듬음이 없이 기본 학습 데이터에 존재하는 편향이나 오류를 반영할 수도 있습니다.

• 베이스 모델 무결성: 핵심 추론 및 언어 기술이 그대로 유지됩니다.
• 거절 제거: 콘텐츠 필터를 트리거하는 특정 메커니즘이 약화됩니다.
• 단일 가중치 파일: abliterated 상태를 포함한 전체 모델이 하나의 파일에 포함됩니다.

무검열 추론의 비용

무검열 모델을 로컬에서 실행하려면 상당한 하드웨어가 필요하며, 일반적으로 미드사이즈 모델의 경우 최소 24GB VRAM이 있는 GPU가 필요합니다. 신뢰성과 확장성이 필요한 개발자에게 모델을 직접 호스팅하면 운영 오버헤드가 발생합니다. 당사 API는 GPU 관리가 필요 없는 예측 가능한 종량제 가격 모델을 제공합니다.

입력 토큰 100만 개당 $0.25, 출력 토큰 100만 개당 $1.00을 청구합니다. 월 구독이나 숨겨진 요금이 없습니다. 암호화폐(USDT on TRC20 또는 USDC on Base)를 사용하여 선불 크레딧을 충전하면 크레딧은 만료되지 않습니다. 요청 오류는 무료이므로 실제 사용량에 대해서만 지불하면 됩니다. 이 모델은 고정된 월 비용에 대한 부담 없이 모델을 테스트하려는 스타트업이나 독립 개발자에게 이상적입니다.

사용 유형	100만 토큰당 비용
입력 토큰	$0.25
출력 토큰	$1.00

$10에서 $500 사이의 정수 금액으로 계정에 충전할 수 있습니다. $50 이상 추가하면 크레딧의 5% 보너스를 받으며, $100 이상 추가하면 10% 보너스를 받습니다. 이 구조는 인프라 비용이 애플리케이션 트래픽에 따라 선형적으로 확장되도록 보장합니다.

컨텍스트 창 장점

긴 문서, 코드베이스 또는 복잡한 대화를 다루는 개발자에게 가장 중요한 요소 중 하나는 컨텍스트 창입니다. 당사 API는 100,000 토큰 컨텍스트 창을 제공하여 모델이 단일 요청 내에서 대량의 정보를 처리하고 유지할 수 있게 합니다. 이는 많은 구형 또는 소형 모델에서 발견되는 표준 8,000 토큰 제한보다 훨씬 큽니다.

100k 컨텍스트 창은 몇 가지 고급 사용 사례를 가능하게 합니다. 전체 코드 저장소를 컨텍스트로 전달하여 모델이 파일 간 종속성을 이해할 수 있게 할 수 있습니다. 또한 모델이 이전 지시를 잊지 않도록 긴 일관된 대화를 유지할 수도 있습니다. 컨텍스트 창에는 입력 프롬프트와 출력 완료 텍스트가 모두 포함되므로 토큰 예산을 신중하게 계획해야 합니다.

• 코드 분석: 컨텍스트 인식 제안을 얻기 위해 여러 파일을 전달합니다.
• 긴 대화: 주제 추적을 잃지 않고 수십 번의 턴에 걸쳐 상태를 유지합니다.
• 문서 요약: 단일 호출로 큰 텍스트 블록을 처리합니다.

요청당 최대 출력은 32,000 토큰임을 기억하십시오. max_tokens 매개변수를 지정하지 않으면 모델은 2,048 토큰으로 기본값이 설정됩니다. 이 제한은 대규모 입력 처리 시에도 안정적인 성능을 보장합니다.

코딩 성능

무검열 모델은 표준 필터가 '안전하지 않음'으로 간주할 수 있는 요청을 거절할 가능성이 적기 때문에 코딩 작업에 특히 가치 있습니다. 예를 들어, 표준 모델은 보안 연구를 위해 SQL 인젝션 페이로드를 생성하는 것을 거절할 수 있는 반면, abliterated 모델은 이를 직접 제공합니다. 이는 분석, 디버깅 또는 창작 코딩을 위해 필터링되지 않은 원본 출력이 필요한 개발자에게 이상적입니다.

이 모델은 함수 호출을 지원하여 도구를 정의하고 모델이 구조화된 JSON 응답을 반환할 수 있게 합니다. 이는 외부 API나 데이터베이스와 상호작용할 수 있는 AI 에이전트를 구축하는 데 필수적입니다. 또한 애플리케이션에서 파싱을 단순화하기 위해 모델의 출력이 항상 유효한 JSON이 되도록 JSON 모드를 강제할 수 있습니다.

API를 통합할 때 공식 OpenAI SDK나 OpenAI 호환 클라이언트를 사용할 수 있습니다. base URL은 https://api.abliterated.cc/v1이며, /v1/chat/completions 엔드포인트로 요청을 보냅니다. 모델 ID는 단순히 uncensored입니다.

툴 사용 및 함수 호출

함수 호출은 실용적인 AI 애플리케이션을 구축하는 데 중요한 기능입니다. 당사 API는 이를 네이티브로 지원하여 도구 스키마를 정의하고 모델이 어떤 도구를 호출할지 및 어떤 인수로 호출할지 결정하게 할 수 있습니다. 모델은 코드에서 파싱하고 실행할 수 있는 구조화된 응답을 반환합니다.

tool_choice 매개변수를 지정하여 모델이 특정 도구를 호출하도록 강제하거나 자동으로 선택하도록 할 수 있습니다. 이 유연성은 데이터베이스 검색, 사용자 프로필 업데이트 또는 이메일 전송과 같은 여러 작업을 수행할 수 있는 에이전트를 생성하는 데 유용합니다.

• 구조화된 출력: 유효한 JSON을 보장하기 위해 response_format을 json_object로 설정합니다.
• 도구 정의: tools 배열에 이름, 설명, 매개변수를 포함하여 도구를 정의하세요.
• 실행: 모델의 응답을 파싱하고 코드에서 해당 함수를 실행합니다.

API는 temperature, top_p, stop, seed, presence_penalty 및 frequency_penalty과 같은 매개변수를 지원하여 모델 동작을 미세 조정합니다. 이를 통해 사용 사례에 따라 창의성과 정밀도의 균형을 맞출 수 있습니다.

스트리밍 효율성

스트리밍은 채팅 애플리케이션에서 우수한 사용자 경험을 제공하는 데 필수적입니다. 당사 API는 서버 전송 이벤트(SSE)를 지원하여 모델의 응답을 토큰 단위로 실시간으로 받을 수 있습니다. 이를 통해 사용자는 전체 응답이 생성되기를 기다리는 대신 응답이 점진적으로 나타나는 것을 보게 되므로 지각되는 지연 시간이 줄어듭니다.

스트리밍 시 API는 마지막 청크에 토큰 사용량 정보를 포함합니다. 이를 통해 토큰 소비를 실시간으로 추적하고 예산 한도에 도달하면 스트림을 중단할 수 있습니다. 스트리밍 인터페이스는 모든 표준 OpenAI SDK와 호환되므로 기존 애플리케이션에 쉽게 통합할 수 있습니다.

고려할 상충 관계 중 하나는 스트리밍이 비스트리밍 요청에 비해 약간 더 많은 토큰 수를 생성할 수 있다는 점입니다. 이는 모델이 불필요한 단어를 생성하거나 주저할 수 있기 때문입니다. 그러나 즉각적인 피드백의 이점은 이러한 작은 비용보다 훨씬 큽니다. 모델이 반복하거나 주제에서 벗어나기 시작하면 stop 매개변수를 사용하여 생성을 조기에 중단할 수도 있습니다.

데이터 프라이버시 및 학습

많은 개발자에게 데이터 프라이버시는 최우선 고려 사항입니다. 저희 API를 사용할 때 프롬프트는 학습에 사용되지 않습니다. 이는 모델에 전송된 데이터가 비공개로 유지되며 기본 모델 개선이나 제3자와 공유되지 않음을 의미합니다. 이는 고객 데이터를 학습에 사용하는 일부 주요 벤더와 비교했을 때 중요한 장점입니다.

가입하려면 이메일 주소만 있으면 됩니다. Google로 로그인하거나 이메일과 비밀번호를 사용할 수 있습니다. 전화번호가 필요하지 않으며, 체험판에는 신용카드가 필요하지 않습니다. 체험판에는 7일 동안 유효한 $0.50의 크레딧이 포함되어 있어 유료 플랜에 가입하기 전에 API를 테스트할 수 있습니다.

항상 적용되는 하나의 하드 콘텐츠 제한이 있습니다. 모델은 미성년자와의 성적 콘텐츠가 포함된 요청을 거부합니다. 그 외의 모든 합법적인 성인, 논쟁적 또는 니치 주제는 허용됩니다. 이는 예상치 못한 제한 없이 광범위한 애플리케이션에 모델을 사용할 수 있도록 보장합니다.

로컬 모델보다 API를 선택해야 하는 이유

로컬에서 모델을 실행하면 데이터와 인프라에 대한 완전한 제어권을 얻지만, 상당한 하드웨어와 기술적 전문 지식이 필요합니다. GPU 드라이버, 메모리 할당 및 모델 업데이트를 관리해야 합니다. 많은 개발자, 특히 프로토타입이나 소규모 애플리케이션을 구축하는 개발자에게 이러한 오버헤드는 가치가 없습니다.

저희 API는 모든 인프라를 처리하는 호스팅 솔루션을 제공합니다. 예측 가능한 가격으로 신뢰할 수 있고 확장 가능한 엔드포인트를 제공합니다. API는 분당 300개의 요청과 키당 최대 8개의 동시 요청을 지원하며, 이는 대부분의 소규모 및 중규모 애플리케이션에 충분합니다. 더 높은 제한이 필요하면 지원팀에 문의할 수 있습니다.

또 다른 장점은 통합의 용이성입니다. 기본 URL과 API 키만 변경하면 GPT-4에서 사용할 수 있는 동일한 코드를 사용할 수 있습니다. 이는 학습 곡선을 줄이고 필요할 때 모델 간 전환을 가능하게 합니다. API는 특정 벤더에 종속되지 않으므로 단일 생태계에 갇히지 않습니다.

Abliterated 시작하기

당사 API를 시작하는 것은 간단합니다. 먼저 이메일 또는 Google을 사용하여 계정에 가입하세요. API 키를 즉시 받게 되며 이를 사용하여 요청을 인증할 수 있습니다. 결제 정보를 입력하지 않고도 무료 체험 크레딧을 사용하여 API를 테스트할 수 있습니다.

첫 번째 요청을 하려면 POST 메서드를 /v1/chat/completions 엔드포인트에 사용하세요. model 매개변수를 uncensored로 설정하고 messages 배열에 프롬프트를 포함하세요. 출력물을 제어하기 위해 temperature 및 max_tokens과 같은 매개변수를 지정할 수도 있습니다.