Abliterated LLM 역할극용: API 설정 가이드

모델이 역할극에 적합한 이유

역할극은 언어 모델에 어려운 테스트입니다. 수백 번의 메시지에 걸쳐 목소리를 유지하고, 세 장면 전에 일어난 일을 기억하며, 이야기가 어두워질 때 캐릭터에 머물러야 하며, 스스로를 설명하기 위해 벗어나지 않아야 합니다. 표준 어시스턴트 모델은 마지막 지점에서 가장 자주 실패합니다. 좋은 단락을 작성한 후 면책 조항을 추가하거나 평범한 픽션인 플롯 전환을 거부합니다.

abliterated 또는 무검열 모델은 해당 거부 반응을 제거하도록 조정됩니다. 이는 도움이 되지만, 제공업체에 가입하기 전에 확인할 다섯 가지 특성 중 하나일 뿐입니다:

• 거부 행동. 설명 없이 악역의 대화나 도덕적으로 회색 지대의 장면을 따릅니까?
• 컨텍스트 길이. 캐릭터 카드, 세계관 노트 및 채팅 기록이 하나의 요청에 맞습니까?
• 일관성. 캐릭터가 긴 세션 내내 동일한 말버릇을 유지합니까?
• 샘플링 제어. temperature, top_p, 패널티 및 중지 시퀀스를 변경할 수 있습니까?
• 스트리밍. 텍스트가 토큰 단위로 표시되어 응답이 대화처럼 느껴집니까?

모든 스토리 스타일에 대해 단 하나의 최우선 모델을 선택하는 것은 불가능합니다. 취향이 중요하며, 두 작가는 동일한 모델을 다르게 평가할 수 있습니다. 실용적인 해결책은 후보 모델을 사용하여 자신의 장면을 실행하고 결과를 직접 평가하는 것입니다.

역할극을 위한 이 API의 기능

이 서비스는 독립적인 제공업체가 호스팅하고 합합합합합합법적인 성인 사용에 대한 콘텐츠 거부 없이 답변하도록 조정된 단일 오픈 웨이트 모델을 실행합니다. 모델 ID는 uncensored입니다. 공급업체 간 라우팅이 없으므로 월요일에 테스트한 목소리가 금요일에 받는 목소리와 동일합니다.

역할극 필요	제공 기능
긴 기억	프롬프트와 응답을 포함한 100,000개의 토큰 컨텍스트 창
실시간 타이핑 효과	stream: true를 사용한 SSE 스트리밍
스타일 제어	temperature, top_p, stop, seed 및 두 가지 패널티가 모두 전달됩니다
클라이언트 지원	OpenAI 호환성이 있으므로 SillyTavern 및 유사한 도구는 URL 변경만으로 작동합니다.
개인정보	프롬프트는 학습에 사용되지 않음

하나의 강력한 제한이 적용되며 이는 협상 대상이 아닙니다: 미성년자가 관련된 성 콘텐츠는 금지됩니다. 캐릭터와 시나리오를 그 선의 올바른 쪽에 두고 합합합합합합법적인 성인 사용 내에 유지하십시오. 모델 계열의 세부 사항은 abliterated 모델 페이지에서 확인할 수 있습니다.

SillyTavern을 5단계로 연결

SillyTavern은 모든 OpenAI 호환 엔드포인트와 통신할 수 있습니다. 메뉴 레이블은 버전 간에 약간씩 달라지지만 절차는 동일합니다.

1. 계정을 생성하고 API 키 페이지에서 키를 받으세요. 신규 사용자는 한 번의 클릭으로 7일 유효한 시험용 크레딧 $0.50을 받을 수 있으며, 카드가 필요하지 않습니다.
2. SillyTavern에서 플러그 아이콘(API Connections)을 열고 API 유형을 Chat Completion로 설정하세요.
3. Custom (OpenAI-compatible) 소스를 선택하세요.
4. 엔드포인트 URL로 https://api.abliterated.cc/v1를 입력하고 API 키 필드에 키를 붙여넣으세요.
5. 모델 ID로 uncensored를 입력한 후 Connect를 누르세요. 녹색 상태는 /v1/models에 대한 요청이 성공했음을 의미합니다.

연결이 실패하면 URL을 먼저 확인하십시오. 끝에 추가 경로나 추가 /chat/completions 없이 /v1로 끝나야 합니다. 클라이언트는 해당 부분을 자체적으로 추가합니다.

권장 시작 설정

0.8에서 1.0 사이의 temperature는 생동감 있는 문체를 제공합니다. top_p는 0.9 근처로 유지하십시오. 응답이 동일한 구문을 반복하기 시작하면 약 0.2의 작은 frequency penalty를 추가하십시오. 실제 컨텍스트 창에 가까운 컨텍스트 크기를 설정하되 응답을 위한 여유 공간을 남겨두십시오. 그런 다음 몇 번의 장면 후 느낌에 따라 조정하십시오.

Python으로 역할극 루프 구축

자체 프론트 엔드나 Discord 봇을 작성하는 경우 OpenAI SDK면 충분합니다. 이 스크립트는 전체 이력을 유지하고 응답을 스트리밍하며 모델이 당신의 줄을 쓰지 않도록 방지합니다.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliterated.cc/v1",
    api_key="YOUR_KEY",
)

system = (
    "You are Mara, a smuggler captain in a sea-faring fantasy setting. "
    "Write in third person, past tense, two short paragraphs per reply. "
    "Never write the actions or words of the player character."
)
history = [{"role": "system", "content": system}]

while True:
    user = input("> ")
    history.append({"role": "user", "content": user})

    stream = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.9,
        top_p=0.9,
        frequency_penalty=0.2,
        stop=["\nPlayer:"],
        stream=True,
    )
    reply = ""
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    print()
    history.append({"role": "assistant", "content": reply})

같은 호출은 Node, curl 또는 기타 OpenAI 클라이언트에서도 작동합니다. 기본 URL, 키 및 모델 ID만 변경됩니다. 문서의 빠른 시작에서 각 버전을 확인할 수 있습니다.

모델이 따를 수 있는 캐릭터 카드 작성

대부분의 역할극 품질 문제는 프롬프트 문제입니다. 모호한 카드는 모호한 캐릭터를 생성합니다. 좋은 카드는 300~600 토큰에 맞아야 하며 네 가지를 다룹니다: 캐릭터의 정체, 말투, 현재 원하는 것, 그리고 절대 하면 안 되는 것.

구체적인 설명이 시적인 설명보다 낫습니다. "Mara는 신비롭고 위험하다"와 "Mara는 질문으로 질문에 답하고, 낯선 사람에게 실제 이름을 절대 주지 않으며, 누군가가 뒤에 서 있으면 칼 근처에 한 손을 유지한다"를 비교하세요. 두 번째 줄은 모델이 모든 턴에서 재현할 수 있는 행동을 제공합니다.

• 대화체 샘플. 예시 대화 2~3줄을 추가하십시오. 모델은 형용사보다 예시에서 리듬과 어휘를 더 정확하게 모방합니다.
• 형식 규칙. 인물, 시제, 길이 및 액션에 별표를 사용할지 여부를 명시하십시오. 모델은 한 번 명확히 지시하지 않으면 형식에서 어긋납니다.
• 장면 상태. 현재 장소, 시간 및 열린 스레드를 프롬프트의 끝에 배치하십시오. 최근 정보가 가장 강한 영향을 미치는 위치입니다.
• 경계. 이야기가 성인만 포함한다면 카드에 명시하십시오. "모든 캐릭터는 성인입니다"와 같은 한 줄은 당신과 로그를 읽는 모든 사람에게 설정을 명확하게 유지합니다.

밋밋하거나 반복적이거나 지나치게 밀어붙이는 캐릭터 수정

첫 시간 이후에 나타나는 문제들과 일반적인 해결 방법들입니다.

캐릭터가 자신을 반복합니다

구문이 몇 번의 응답마다 다시 나타납니다. frequency_penalty을 0.3으로, presence_penalty을 0.1로 높이고, temperature를 0.1만큼 높이며, 요약 또는 예시 대화 자체에 해당 구문이 포함되어 있지 않은지 확인하십시오. 모델은 본 것을 복사합니다.

응답이 점점 길어집니다

긴 응답은 모델에게 긴 응답이 정상임을 가르칩니다. 기록에서 몇 가지를 잘라내고 길이 규칙을 다시 명시한 후 max_tokens을 수용할 수 있는 상한으로 설정하십시오. 이 필드는 선택 사항이므로 설정할 때만 상한으로 작용합니다.

모델이 캐릭터의 행동을 결정합니다

시스템 메시지에 명확한 규칙을 추가하고 캐릭터 이름 접두어에 정지 시퀀스를 설정하세요. 위 스크립트와 같은 방식입니다. 프론트 엔드를 사용하는 경우, 기록이 동일한 이름 태그로 포맷팅되는지 확인하세요.

스토리가 중단됩니다

캐릭터에게 목표와 시간 제한을 부여하세요. "그녀는 조수가 바뀌기 전에 지도를 찾아야 한다"는 문장은 진행을 만듭니다. 갈망할 것이 없는 캐릭터는 당신의 행동을 기다리며 장면이 침체됩니다.

긴 스토리의 일관성 유지

100,000개의 토큰 컨텍스트 창은 크지만, 수개월에 걸친 캠페인에는 부족할 수 있습니다. 이를 일찍부터 계획하십시오.

• 필수 요소 고정. 캐릭터 카드와 현재 장면 목표를 시스템 메시지의 맨 위에 유지하십시오. 여기서는 잘리지 않습니다.
• 이전 대화 요약. 메시지 30~40개마다 모델에게 채팅의 가장 오래된 부분을 짧은 요약으로 압축하라고 요청한 후, 해당 메시지를 요약문으로 교체하십시오.
• 세계관 목록 사용. 이름, 장소 및 약속을 매 턴마다 새로 고치는 짧은 블록에 저장하십시오. 모델은 마지막 프롬프트에서 언급된 사실보다 80개 메시지 이전의 사소한 세부 사항을 더 자주 잊어버립니다.
• 디버깅 중 seed 사용. 프롬프트를 조정할 때 고정된 seed은 비교를 더 공정하게 만듭니다.

흔한 실패 사례: 모델이 당신의 캐릭터 대신 말을 합니다. 시스템 프롬프트에서 직접적인 규칙으로 수정하고, 위와 같은 정지 시퀀스로 뒷받침하세요. 또 다른 사례: 모든 응답이 같은 방식으로 시작됩니다. 온도를 약간 높이고 빈도 패널티를 추가하세요.

세션 비용

가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며 선불 크레딧에서 차감됩니다. 역할극은 입력 집약적이므로 전체 기록이 매 턴마다 전송되어 입력 쪽이 우세합니다.

50턴 세션을 가정하십시오. 평균 프롬프트는 6,000개의 토큰(캐릭터 카드 및 이력)이며 각 응답은 약 250개의 토큰을 사용합니다.

• 입력: 50 x 6,000 = 300,000 토큰, 이는 0.3 x $0.15 = $0.045입니다.
• 출력: 50 x 250 = 12,500 토큰, 이는 0.0125 x $0.50 = $0.00625입니다.
• 합계: $0.05125, 약 5센트

$20 충전으로 해당 크기의 세션을 약 390회 처리할 수 있습니다. 충전 금액은 $20부터 $500까지 정액으로 제공되며, $50부터 +5%, $100부터 +10%, $200부터 +15%의 보너스가 제공됩니다. 크레딧은 만료되지 않으며 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 암호화폐(TRC20 기반 USDT, Base 기반 USDC)로 결제할 수 있습니다. 상세 내역은 가격 페이지에서 확인하십시오.

더 많은 가이드

• LLM API로 챗봇 만들기: Python 튜토리얼
• 무검열 LLM API: OpenAI 호환 & JSON 모드