Hướng dẫn nhanh API LLM không kiểm duyệt

Điều kiện tiên quyết: Cài đặt SDK OpenAI

Bắt đầu bằng cách cài đặt SDK chính thức của OpenAI cho ngôn ngữ bạn muốn. Thư viện máy khách xử lý xác thực và tuần tự hóa tự động. Bạn chỉ cần thư viện tiêu chuẩn; không cần thêm các phần phụ trợ nào cho việc tạo văn bản cơ bản.

Đảm bảo môi trường của bạn hỗ trợ các phiên bản Python hoặc JavaScript hiện đại. SDK ẩn đi các chi tiết HTTP để bạn có thể tập trung vào kỹ thuật prompt.

Khởi tạo client với base_url

Điểm client của bạn đến điểm cuối chuyên dụng thay vì URL OpenAI mặc định. Thay đổi đơn giản này định tuyến tất cả các yêu cầu đến cơ sở hạ tầng mô hình không kiểm duyệt của chúng tôi trong khi vẫn giữ định dạng tương thích tiêu chuẩn với OpenAI.

Bạn sẽ sử dụng khóa API độc nhất của mình để xác thực. URL cơ bản đảm bảo ứng dụng của bạn giao tiếp trực tiếp với máy chủ của chúng tôi mà không chuyển tiếp thông qua nhà cung cấp khác.

• Base URL: HTTPS://api.openrouteropenaicompatible.com/v1
• ID Mô hình: uncensored

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openrouteropenaicompatible.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Gửi lần hoàn tất hội thoại đầu tiên của bạn

Thực hiện lệnh POST yêu cầu đến điểm cuối hoàn thành trò chuyện. Chuyển lời nhắc hệ thống và tin nhắn của người dùng của bạn theo cấu trúc JSON tiêu chuẩn. Mô hình trả về các phản hồi văn bản mà không có các bộ lọc nội dung thông thường cho các chủ đề người lớn hợp pháp hoặc gây tranh cãi.

Copycurl https://api.openrouteropenaicompatible.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all installed npm packages in current directory"}]
  }'

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openrouteropenaicompatible.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Bật phản hồi streaming

Đặt stream: true để nhận các token khi chúng được tạo. Điều này giảm độ trễ cảm nhận đối với các đầu ra dài. Mỗi chunk chứa văn bản một phần và thống kê sử dụng trong sự kiện cuối cùng.

Máy chủ gửi các Sự kiện được gửi qua máy chủ (SSE) đến máy khách của bạn. Hãy xử lý luồng dữ liệu để cập nhật giao diện người dùng theo thời gian thực mà không cần chờ đợi phản hồi đầy đủ.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Cấu hình chế độ JSON cho dữ liệu có cấu trúc

Sử dụng response_format để bắt buộc mô hình vào chế độ JSON. Điều này đảm bảo đầu ra nhất quán, có thể phân tích cú pháp cho các ứng dụng của bạn. Mô hình tuân thủ nghiêm ngặt lược đồ bạn xác định trong lời nhắc hệ thống của mình.

Bật json_object để đảm bảo phản hồi là JSON hợp lệ. Điều này rất quan trọng cho việc tích hợp theo chương trình với các dịch vụ backend của bạn.

Triển khai gọi hàm

Định nghĩa các công cụ trong yêu cầu của bạn để kích hoạt gọi hàm. Mô hình có thể gọi các hàm dựa trên ngữ cảnh lời nhắc của bạn. Truyền các định nghĩa công cụ và để mô hình quyết định hàm nào sẽ gọi.

Xử lý các lệnh gọi công cụ trong logic ứng dụng của bạn. Thực thi hàm và đưa kết quả lại vào cuộc hội thoại để có phần tiếp theo mạch lạc.

Xử lý việc sử dụng token và giới hạn

Theo dõi mức sử dụng để tránh gián đoạn dịch vụ. Cửa sổ ngữ cảnh hỗ trợ 100,000 token cho prompt và kết hợp hoàn thành. Đầu ra bị giới hạn ở 16,000 token mỗi yêu cầu.

Giới hạn tốc độ áp dụng 300 yêu cầu mỗi phút mỗi khóa. Nếu bạn vượt quá giới hạn này, bạn sẽ nhận được lỗi 429. Lỗi xác thực trả về 401 và số dư không đủ trả về 402. Các lỗi và từ chối không tiêu thụ token, vì vậy bạn chỉ phải trả tiền cho việc tạo nội dung thành công.