Epäsuodattamaton LLM API -pika-aloitusopas

Edellytykset: Asenna OpenAI-SDK

Aloita asentamalla virallinen OpenAI SDK haluamallesi kielelle. Asiakasohjelmakirjasto käsittelee todennuksen ja serialisoinnin automaattisesti. Tarvitset vain vakiokirjaston; perustekstigeneraatioon ei tarvita lisäriippuvuuksia.

Varmista, että ympäristösi tukee nykyaikaisia Python- tai JavaScript-versioita. SDK kätkee HTTP-yksityiskohdat, jotta voit keskittyä prompt-suunnitteluun.

Alusta asiakasohjelma base_url:llä

Osoita asiakkaasi omalle päätepisteelle oletus-OpenAI-osoitteen sijaan. Tämä yksittäinen muutos ohjaa kaikki pyynnöt sensuroimattoman mallin infrastruktuuriin säilyttäen samalla vakion OpenAI-yhteensopivan muodon.

Käytät ainutlaatuista API-avaintasi todennukseen. Perus-URL varmistaa, että sovelluksesi kommunikoi suoraan palvelimiemme kanssa ilman välityspalvelinta toiselle toimittajalle.

• Perus-URL: HTTPS://api.openrouteropenaicompatible.com/v1
• Mallin tunnus: uncensored

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openrouteropenaicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Lähetä ensimmäinen chat-valmius

Tee vakio POST pyyntö chat-päätelmien päätepisteeseen. Välitä järjestelmäkehotteesi ja käyttäjäviestisi standardissa JSON-rakenteessa. Malli palauttaa tekstivastaukset ilman tavallisia sisältosuodattimia laillisiin aikuisaiheisiin tai kiistanalaiseen sisältöön.

Copycurl https://api.openrouteropenaicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all installed npm packages in current directory"}]
  }'

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openrouteropenaicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ota suoratoistovastaukset käyttöön

Aseta stream: true vastaanottaaksesi tokenneja niiden luomisen aikana. Tämä vähentää havaittua viivettä pitkissä tulosteissa. Jokainen palsta sisältää osittaisen tekstin ja käyttötilastot viimeisessä tapahtumassa.

Palvelin lähettää Server-Sent Events -tapahtumia (SSE) asiakasohjelmaasi. Käsittele streamia päivittääksesi käyttöliittymäsi reaaliajassa odottamatta koko vastausta.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Määritä JSON-tila rakenteiselle datalle

Käyttö response_format pakottaa mallin JSON-tilaan. Tämä varmistaa johdonmukaisen, jäsentävän tuloksen sovelluksiasi varten. Malli noudattaa tiukasti kaavaa, jonka määrittelet järjestelmäviestissäsi.

Ota käyttöön json_object taataksesi, että vastaus on validia JSONia. Tämä on kriittistä ohjelmalliseen integraatioon taustapalveluiden kanssa.

Ota funktiokutsut käyttöön

Määritä työkalut pyyntöön mahdollistaaksesi funktiokutsut. Malli voi kutsua funktioita syötekontekstisi perusteella. Välitä työkelumääritykset ja anna mallin päättää, kumpi funktio kutsutaan.

Käsittele työkalukutsut sovelluslogiikassasi. Suorita funktio ja syötä tulos takaisin keskusteluun saadaksesi koherentin seuraavan vuoron.

Käsittele tokenien käyttöä ja rajoja

Seuraa käyttöä välttääksesi palvelukatkoksia. Kontekstiluukku tukee 100 000 tokenia promptin ja täydennyksen yhteensä. Tulostus on rajoitettu 16 000 tokeniin pyyntöä kohden.

Nopeusrajoitukset asettavat 300 pyyntöä minuutissa per avain. Jos ylität tämän, saat virheen 429. Autentikointivirheet palauttavat 401, ja riittämätön kredit palauttaa 402. Virheet ja hylkäykset eivät kuluta tokenneja, joten maksat vain onnistuneesta sisällön luonnista.