Przewodnik szybkiego startu z API LLM bez cenzury

Wymagania wstępne: Zainstaluj SDK OpenAI

Zacznij od zainstalowania oficjalnego pakietu OpenAI SDK dla preferowanego języka. Biblioteka klienta obsługuje automatycznie uwierzytelnianie i serializację. Potrzebujesz tylko standardowej biblioteki; nie są wymagane dodatkowe zależności do podstawowej generacji tekstu.

Upewnij się, że Twoje środowisko obsługuje nowoczesne wersje Pythona lub JavaScript. SDK abstrahuje szczegóły HTTP, dzięki czemu możesz skupić się na inżynierii promptów.

Zainicjuj klienta z base_url

Wskaż klientowi nasz dedykowany punkt końcowy zamiast domyślnego adresu URL OpenAI. Ta pojedyncza zmiana kieruje wszystkie żądania do infrastruktury naszego modelu bez cenzury, zachowując standardowy format kompatybilny z OpenAI.

Użyjesz swojego unikalnego klucza API do uwierzytelnienia. Podstawowy URL zapewnia, że Twoja aplikacja komunikuje się bezpośrednio z naszymi serwerami bez przekazywania ruchu przez innego dostawcę.

• Bazowy URL: HTTPS://api.openrouteropenaicompatible.com/v1
• ID modelu: uncensored

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openrouteropenaicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Wyślij swoje pierwsze uzupełnienie czatu

Wykonaj standardowe POST żądanie do endpointu uzupełnień czatu. Przekaż swój prompt systemowy i wiadomość użytkownika w standardowej strukturze JSON. Model zwraca odpowiedzi tekstowe bez zwykłych filtrów treści dla legalnych tematów dla dorosłych lub kontrowersyjnych.

Copycurl https://api.openrouteropenaicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all installed npm packages in current directory"}]
  }'

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openrouteropenaicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Włącz odpowiedzi strumieniowe

Ustaw stream: true otrzymywania tokenów w miarę ich generowania. Zmniejsza to postrzeganą latencję dla długich wyjść. Każdy fragment zawiera częściowy tekst, a statystyki zużycia znajdują się w ostatnim zdarzeniu.

Serwer wysyła zdarzenia wysyłane serwerowo (SSE) do Twojego klienta. Obsłuż strumień, aby aktualizować interfejs użytkownika w czasie rzeczywistym, bez oczekiwania na pełną odpowiedź.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Skonfiguruj tryb JSON dla danych strukturalnych

Użyj response_format aby wymusić tryb JSON dla modelu. To zapewnia spójny, możliwy do parsowania wynik dla Twoich aplikacji. Model ściśle przestrzega schematu, który zdefiniujesz w swoim promptzie systemowym.

Włącz json_object gwarancja, że odpowiedź jest poprawnym JSON. Jest to krytyczne dla integracji programistycznej z usługami backendowymi.

Zaimplementuj wywoływanie funkcji

Zdefiniuj narzędzia w żądaniu, aby włączyć wywoływanie funkcji. Model może wywoływać funkcje na podstawie kontekstu Twojego promptu. Przekaz definicje narzędzi i pozwól modelowi zdecydować, którą funkcję wywołać.

Obsłuż wywołania narzędzi w logice swojej aplikacji. Wykonaj funkcję i podaj wynik z powrotem do rozmowy dla spójnego kontynuowania.

Obsługuj zużycie tokenów i limity

Monitoruj swoje zużycie, aby uniknąć przerw w usłudze. Okno kontekstowe obsługuje 100 000 tokenów łącznie dla promptu i uzupełnienia. Wyjście jest ograniczone do 16 000 tokenów na żądanie.

Limity szybkości wymuszają 300 żądań na minutę na klucz. Jeśli przekroczysz ten limit, otrzymasz błąd 429. Błędy uwierzytelnienia zwracają 401, a niewystarczające środki zwracają 402. Błędy i odmowy nie zużywają tokenów, więc płacisz tylko za pomyślne wygenerowanie treści.