Οδηγός Γρήγορης Έναρξης API Αναισθησία LLM

Προαπαιτούμενα: Εγκαταστήστε το SDK OpenAI

Ξεκινήστε εγκαθιστώντας το επίσημο SDK της OpenAI για τη γλώσσα που προτιμάτε. Η βιβλιοθήκη πελάτη διαχειρίζεται αυτόματα την πιστοποίηση και τη σειριοποίηση. Χρειάζεστε μόνο την τυπική βιβλιοθήκη· δεν απαιτούνται επιπλέον εξαρτήσεις για βασική παραγωγή κειμένου.

Βεβαιωθείτε ότι το περιβάλλον σας υποστηρίζει σύγχρονες εκδόσεις Python ή JavaScript. Το SDK απομακρύνει τις λεπτομέρειες HTTP ώστε να εστιάσετε στην μηχανική των prompts.

Ενεργοποιήστε τον πελάτη με base_url

Κατευθύνετε τον πελάτη σας σε αποκλειστικό endpoint αντί για το τυπικό URL του OpenAI. Αυτή η αλλαγή κατευθύνει όλα τα αιτήματα στην υποδομή του μοντέλου μας χωρίς λογοκρισία διατηρώντας ταυτόχρονα το τυπικό συμβατό με OpenAI format.

Θα χρησιμοποιήσετε το μοναδικό κλειδί API σας για την πιστοποίηση. Το base URL διασφαλίζει ότι η εφαρμογή σας επικοινωνεί απευθείας με τους διακομιστές μας, χωρίς μεσολάβηση άλλου παρόχου.

• Base URL: HTTPS://api.openrouteropenaicompatible.com/v1
• ID Μοντέλου: uncensored

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openrouteropenaicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Στείλτε την πρώτη ολοκλήρωση συνομιλίας

Κάντε ένα τυπικό POST αίτηση στο endpoint ολοκλήρωσης συνομιλίας. Δώστε την πρόταση συστήματος και το μήνυμα χρήστη στη τυπική δομή JSON. Το μοντέλο επιστρέφει αποκρίσεις κειμένου χωρίς τα συνηθισμένα φίλτρα περιεχομένου για νόμιμα θέματα ενηλίκων ή αμφιλεγόμενα θέματα.

Copycurl https://api.openrouteropenaicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all installed npm packages in current directory"}]
  }'

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openrouteropenaicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ενεργοποιήστε τις απαντήσεις ροής

Ορίστε stream: true για να λαμβάνετε tokens καθώς παράγονται. Αυτό μειώνει την αντιλαμβανόμενη καθυστέρηση για μεγάλες εξόδους. Κάθε τμήμα περιέχει μερικό κείμενο και στατιστικά χρήσης στο τελικό event.

Ο διακομιστής στέλνει Server-Sent Events (SSE) στον πελάτη σας. Διαχειριστείτε τη ροή (stream) για να ενημερώνετε το UI σας σε πραγματικό χρόνο χωρίς να περιμένετε την πλήρη απάντηση.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ρύθμιση JSON mode για δομημένα δεδομένα

Χρήση response_format για να αναγκαστεί το μοντέλο σε λειτουργία JSON. Αυτό διασφαλίζει συνεκτική, αναγνώσιμη έξοδο για τις εφαρμογές σας. Το μοντέλο συμμορφώνεται αυστηρά με το schema που ορίζετε στο system prompt σας.

Ενεργοποίηση json_object για να εγγυηθείτε ότι η απάντηση είναι έγκυρο JSON. Αυτό είναι κρίσιμο για την προγραμματιστική ενσωμάτωση με τις υπηρεσίες backend σας.

Υλοποιήστε κλήση συναρτήσεων

Ορίστε εργαλεία στο αίτημά σας για να ενεργοποιήσετε κλήση συναρτήσεων. Το μοντέλο μπορεί να καλέσει συναρτήσεις βάσει του πλαισίου της εισαγωγής σας. Δώστε τους ορισμούς των εργαλείων και αφήστε το μοντέλο να αποφασίσει ποια συνάρτηση να καλέσει.

Διαχειριστείτε τις κλήσεις εργαλείων στη λογική της εφαρμογής σας. Εκτελέστε τη συνάρτηση και τροφοδοτήστε το αποτέλεσμα πίσω στη συνομιλία για μια συνεχή επόμενη κίνηση.

Διαχειριστείτε τη χρήση tokens και τα όρια

Παρακολουθήστε τη χρήση σας για να αποφύγετε διακοπές υπηρεσίας. Το παράθυρο συμφραζομένων υποστηρίζει 100,000 tokens για prompt και completion συνολικά. Η έξοδος περιορίζεται σε 16,000 tokens ανά αίτημα.

Τα όρια ρυθμού επιβάλλουν 300 αιτήσεις ανά λεπτό ανά κλειδί. Αν το ξεπεράσετε, θα λάβετε ένα σφάλμα 429. Τα σφάλματα ελέγχου ταυτότητας επιστρέφουν 401, και το ανεπαρκές υπόλοιπο επιστρέφει 402. Τα σφάλματα και οι απορρίψεις δεν καταναλώνουν tokens, οπότε πληρώνετε μόνο για την επιτυχή παραγωγή περιεχομένου.