Cách sử dụng LLM không kiểm duyệt với khóa API Claude

Tại sao nên thay đổi điểm cuối khóa API Claude?

Việc thay đổi endpoint loại bỏ các hạn chế về nội dung giới hạn sự sáng tạo hoặc sắc thái kỹ thuật. Các model Claude thường từ chối thảo luận về các chủ đề người lớn, các sự kiện lịch sử gây tranh cãi hoặc các chi tiết y tế cụ thể ngay cả khi những chủ đề đó hợp pháp. Bằng cách chuyển hướng các lệnh gọi API của bạn đến một nhà cung cấp uncensored, bạn vẫn giữ toàn quyền truy cập vào khả năng suy luận của model mà không có lớp bảo mật lọc đầu vào của bạn. Cách tiếp cận này rất lý tưởng cho các nhà phát triển cần đầu ra thô để xử lý dữ liệu, viết sáng tạo hoặc các ứng dụng nhập vai.

Việc chuyển đổi chỉ yêu cầu thay đổi URL cơ sở và khóa API. Khóa API Claude hiện tại của bạn có thể không hoạt động trực tiếp nếu nhà cung cấp uncensored sử dụng định dạng khóa khác, nhưng mẫu tích hợp vẫn giống hệt nhau. Bạn có quyền truy cập vào một mô hình ưu tiên tạo câu trả lời hơn kiểm duyệt nội dung, đảm bảo rằng ứng dụng của bạn nhận được toàn bộ phạm vi cơ sở kiến thức của mô hình.

Hiểu giao diện tương thích OpenAI

Giao diện sử dụng các điểm cuối tương thích OpenAI tiêu chuẩn để đảm bảo hỗ trợ SDK rộng rãi. API của chúng tôi phục vụ các yêu cầu ở https://api.mistralaikey.com/v1 sử dụng cùng cấu trúc với các nhà cung cấp lớn. Điều này có nghĩa là bạn có thể sử dụng các thư viện như OpenAI Python SDK, LangChain hoặc LlamaIndex mà không cần viết lại logic cốt lõi. Điểm cuối hỗ trợ POST /v1/chat/completions cho tạo văn bản và GET /v1/models để liệt kê các mô hình có sẵn.

Bằng cách tuân thủ các tiêu chuẩn này, chúng tôi đảm bảo mã của bạn vẫn có thể di chuyển. Bạn có thể chuyển đổi giữa các mô hình hoặc nhà cung cấp khác nhau bằng cách thay đổi một biến cấu hình duy nhất. Sự linh hoạt này rất quan trọng để kiểm tra các mô hình không kiểm duyệt khác nhau hoặc mở rộng ứng dụng của bạn mà không cần sửa đổi sâu.

Cấu hình SDK của bạn cho các phản hồi không kiểm duyệt

Cấu hình SDK của bạn bao gồm cập nhật URL cơ sở và khóa API trong các biến môi trường của bạn. Đối với SDK Python của OpenAI, bạn đặt base_url đến điểm cuối của chúng tôi và api_key đến khóa không kiểm duyệt của bạn. Thay đổi đơn giản này chuyển hướng tất cả các yêu cầu hoàn thành trò chuyện đến máy chủ của chúng tôi. ID mô hình được đặt thành uncensored, kích hoạt mô hình trọng lượng mở được tinh chỉnh cho các phản hồi không giới hạn.

Đây là cách bạn khởi tạo client trong Python:

Cấu hình này đảm bảo rằng mọi yêu cầu được định tuyến chính xác. Bạn có thể xác minh kết nối bằng cách gửi một prompt kiểm tra đơn giản. Nếu bạn nhận được phản hồi mà không có bộ lọc nội dung, cấu hình của bạn đã thành công. Phương pháp này hoạt động cho bất kỳ client tương thích OpenAI nào, giúp dễ dàng tích hợp vào các dự án hiện có như SillyTavern hoặc Aider.

Xử lý các cài đặt temperature và top_p

Việc điều chỉnh nhiệt độ và top_p cho phép bạn kiểm soát tính sáng tạo và tính ngẫu nhiên của đầu ra. Nhiệt độ cao hơn tăng cường sự đa dạng của các phản hồi, hữu ích cho việc viết sáng tạo hoặc brainstorming. Nhiệt độ thấp hơn tạo ra các câu trả lời mang tính xác định và tập trung hơn, lý tưởng cho việc lập trình hoặc các truy vấn thực tế. Mô hình không kiểm duyệt hỗ trợ tất cả các tham số tiêu chuẩn, bao gồm top_p, stop, seed, và các hình phạt.

API của chúng tôi cho phép cửa sổ ngữ cảnh 100,000 mã thông báo, mang lại cho bạn nhiều không gian cho các cuộc hội thoại dài hoặc phân tích tài liệu. Đầu ra tối đa mỗi yêu cầu là 16,000 mã thông báo, đủ cho hầu hết các trường hợp sử dụng. Nếu bạn không chỉ định max_tokens, mặc định là 2.048 token. Tính linh hoạt này đảm bảo rằng bạn có thể tinh chỉnh hành vi của mô hình để phù hợp với nhu cầu cụ thể của ứng dụng mà không làm mất đi bản chất không kiểm duyệt của các phản hồi.

Giám sát sử dụng token ở chế độ không kiểm duyệt

Việc giám sát sử dụng token rất đơn giản với mô hình định giá minh bạch của chúng tôi. Bạn trả $0.15 cho mỗi 1 triệu token đầu vào và $0.50 cho mỗi 1 triệu token đầu ra. Giá này dựa trên mức sử dụng thực tế, không có phí ẩn hoặc chi phí đăng ký. Lỗi và từ chối đều miễn phí, vì vậy bạn chỉ trả tiền cho các phản hồi thành công. Cấu trúc này tiết kiệm chi phí cho các ứng dụng khối lượng lớn nơi việc lọc nội dung có thể kích hoạt các khoản phí không cần thiết.

Bạn có thể theo dõi mức sử dụng qua bảng điều khiển hoặc bằng cách kiểm tra các tiêu đề phản hồi. Mỗi phản hồi đều bao gồm số lượng token, cho phép bạn tính toán chi phí chính xác. Tín dụng trả trước được tính phí dựa trên việc sử dụng token thực tế và không bao giờ hết hạn. Điều này có nghĩa là bạn có thể nạp tiền bằng crypto và sử dụng tín dụng theo thời gian mà không cần lo lắng về việc gia hạn hàng tháng. Đối với các dự án nhỏ, tín dụng dùng thử trị giá $0.50 có sẵn cho tài khoản mới, có hiệu lực trong 7 ngày.

Gọi hàm với các mô hình không kiểm duyệt

Gọi hàm cho phép mô hình tạo dữ liệu có cấu trúc cho các ứng dụng của bạn. API của chúng tôi hỗ trợ định nghĩa công cụ, cho phép mô hình xuất JSON khớp với lược đồ của bạn. Tính năng này rất quan trọng để xây dựng các tác nhân tương tác với các hệ thống hoặc cơ sở dữ liệu bên ngoài. Mô hình không kiểm duyệt xử lý gọi hàm tốt như các mô hình tiêu chuẩn, đảm bảo logic của bạn vẫn được giữ nguyên.

Khi sử dụng gọi hàm (function calling), hãy chỉ định các công cụ trong thân yêu cầu. Mô hình sẽ trả về phản hồi với các lệnh gọi công cụ phù hợp nếu cần. Tính năng này có sẵn cùng với chế độ streaming và JSON, cung cấp một bộ công cụ toàn diện cho nhà phát triển. Bạn có thể tích hợp tính năng này vào quy trình làm việc để tự động hóa tác vụ, trích xuất dữ liệu hoặc điều khiển thiết bị phần cứng dựa trên đầu vào bằng ngôn ngữ tự nhiên.

Các điểm yếu phổ biến khi tích hợp

Những cái bẫy phổ biến bao gồm URL cơ sở không chính xác và thiếu khóa API. Hãy đảm bảo URL cơ sở của bạn kết thúc bằng /v1 để phù hợp với cấu trúc điểm cuối. Ngoài ra, hãy xác minh rằng khóa API của bạn được định dạng chính xác và đang hoạt động. Một vấn đề phổ biến khác là giả định rằng mô hình không kiểm duyệt hỗ trợ tất cả các tính năng của các mô hình cao cấp, chẳng hạn như tạo ảnh hoặc embedding. API của chúng tôi tập trung vào tạo văn bản, vì vậy hãy kiểm tra tài liệu để biết tính khả dụng cụ thể của từng tính năng.

Giới hạn tốc độ được đặt ở mức 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời mỗi khóa. Nếu vượt quá các giới hạn này, bạn có thể nhận được lỗi 429. Để tránh điều này, hãy triển khai cơ chế backoff theo cấp số nhân trong mã khách của bạn. Ngoài ra, hãy nhớ rằng tín dụng dùng thử sẽ hết hạn sau 7 ngày, vì vậy hãy lên kế hoạch kiểm tra của bạn cho phù hợp. Các giới hạn này đảm bảo sử dụng công bằng trong khi vẫn duy trì hiệu suất cao cho tất cả người dùng.

Chuyển lại sang các mô hình tiêu chuẩn

Chuyển lại sang các mô hình tiêu chuẩn đơn giản chỉ bằng cách thay đổi URL cơ sở và id mô hình. Nếu bạn cần so sánh đầu ra hoặc sử dụng một mô hình có các tính năng cụ thể, bạn có thể hoàn nguyên cấu hình của mình. Tính linh hoạt này cho phép bạn sử dụng mô hình không kiểm duyệt cho các nhiệm vụ sáng tạo và mô hình tiêu chuẩn cho các tính năng sẵn sàng sản xuất. Giao diện tương thích OpenAI giúp việc chuyển đổi này diễn ra liền mạch, không yêu cầu thay đổi mã ngoài các biến cấu hình.

Bạn cũng có thể chạy cả hai mô hình song song để kiểm tra A/B. Cách tiếp cận này giúp bạn đánh giá chất lượng của các phản hồi không kiểm duyệt so với các phản hồi tiêu chuẩn. Bằng cách duy trì kiến trúc mô-đun, bạn có thể dễ dàng chuyển đổi giữa các nhà cung cấp hoặc mô hình khác nhau. Chiến lược này đảm bảo rằng ứng dụng của bạn luôn mạnh mẽ và thích ứng với các yêu cầu hoặc cập nhật mô hình thay đổi.