Panduan Awal API LLM Tanpa Sensor

Prasyarat: Pasang SDK OpenAI

Mula dengan memasang SDK OpenAI rasmi untuk bahasa pilihan anda. Perpustakaan klien mengendalikan pengesahan dan pengaturcaraan secara automatik. Anda hanya memerlukan perpustakaan piawai; tiada kebergantungan tambahan diperlukan untuk penjanaan teks asas.

Pastu persekitaran anda menyokong versi Python atau JavaScript moden. SDK ini menyembunyikan butiran HTTP supaya anda boleh memberi tumpuan kepada kejuruteraan prompt.

Mulakan klien dengan base_url

Arahkan klien anda ke hujung khusus kami sebagai ganti URL OpenAI lalai. Perubahan tunggal ini memintas semua permintaan ke infrastruktur model tanpa sensor kami sambil mengekalkan format serasi OpenAI piawai.

Anda akan menggunakan kunci API unik anda untuk pengesahan. URL asas memastikan aplikasi anda bercakap terus dengan pelayan kami tanpa perantara melalui vendor lain.

• URL Asas: HTTPS://api.openrouteropenaicompatible.com/v1
• ID Model: uncensored

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openrouteropenaicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Hantar penyelesaian sem pertama anda

Buat standard POST permintaan ke hujung sambungan penyelesaian chat. Lulus prompt sistem dan mesej pengguna anda dalam struktur JSON standard. Model mengembalikan respons teks tanpa penapis kandungan biasa untuk topik dewasa yang sah atau kontroversi.

Copycurl https://api.openrouteropenaicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all installed npm packages in current directory"}]
  }'

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openrouteropenaicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Dayakan respons penstriman

Tetapkan stream: true untuk menerima token sebagaimana ia dijana. Ini mengurangkan latensi yang dirasakan bagi output panjang. Setiap pecahan mengandungi teks separuh dan statistik penggunaan dalam acara akhir.

Pelayan menghantar Acara Dihantar Pelayan (SSE) ke klien anda. Uruskan aliran tersebut untuk mengemas kini UI anda secara masa nyata tanpa menunggu respons penuh.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Konfigurasikan mod JSON untuk data terstruktur

Gunakan response_format untuk memaksa model ke mod JSON. Ini memastikan output yang konsisten dan boleh diuraikan untuk aplikasi anda. Model mematuhi skema yang anda takrifkan dalam arahan sistem anda dengan ketat.

Dayakan json_object untuk menjamin respons adalah JSON yang sah. Ini penting untuk integrasi berprogram dengan perkhidmatan backend anda.

Laksanakan pemanggilan fungsi

Takrifkan alat dalam permintaan anda untuk membolehkan panggilan fungsi. Model boleh memanggil fungsi berdasarkan konteks prompt anda. Hantar takrifan alat dan biarkan model memutuskan fungsi mana yang perlu dipanggil.

Kendalikan panggilan alat dalam logik aplikasi anda. Laksanakan fungsi dan suapkan hasil kembali ke perbualan untuk susulan yang koheren.

Kendalikan penggunaan dan had token

Pantau penggunaan anda untuk mengelakkan gangguan perkhidmatan. Tetingkap konteks menyokong 100,000 token untuk prompt dan penyelesaian secara gabungan. Output terhad kepada 16,000 token setiap permintaan.

Had kadar mengenakan 300 permintaan setiap minit setiap kunci. Jika anda melebihi ini, anda akan menerima ralat 429. Ralat pengesahan diri memulangkan 401, dan kredit tidak mencukupi memulangkan 402. Ralat dan penolakan tidak menggunakan token, jadi anda hanya membayar untuk penjanaan kandungan yang berjaya.