Integroi Suodattamaton LLM API

Todennus ja base URL -asetukset

Aloita korvaamalla vakio OpenAI-base URL omalla päätepisteelläsi ja toimittamalla ainutlaatuinen API-avaimesi. Saat tämän avaimen välittömästi rekisteröitymisen jälkeen Googlen tai sähköpostin kautta, ja se pysyy ainoana tunnuksena kaikkiin pyyntöihin. API-ohjelmistomme hyväksyy vakioheaderit, joten voit siirtää olemassa olevan koodikantaasi ilman autentikointilogiikan uudelleenkirjoittamista.

Käytä Authorization header arvo Bearer mekanismin avaimen välittämiseen. Tämä menetelmä toimii minkä tahansa kirjaston kanssa, joka tukee OpenAI-yhteensopivia päätepisteitä, varmistaen yhteystestauksen ennen käyttöön sitoutumista.

• Base URL: https://api.mistralaikey.com/v1
• Otsake: Authorization: Bearer YOUR_API_KEY

Lähettämällä ensimmäinen chat-completion

Lähetä POST-pyyntö osoitteeseen /v1/chat/completions syötteelläsi ja mallin tunnuksesta uncensored. Tämä päätepiste käsittelee tekstisyötteen ja palauttaa luodun tekstimuotoisen vastauksen, noudattaen tiukasti OpenAI-standardeja. Sinun ei tarvitse konfiguroida upotuksia tai kuvagenerointiparametreja, sillä tämä API keskittyy yksinomaan keskustelutäydennyksiin.

Varmista, että aseta model kenttä uncensored päästäksesi käsiksi uncensored suureen kielimalliin. Järjestelmä käsittelee syötteesi ja palauttaa completionin, mikä mahdollistaa avaimen toimivuuden ja mallin oikean vastauksen varmistamisen kysymyksiisi.

Copycurl https://api.mistralaikey.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Summit the code for the login function"}]
  }'

Suoratoiston ja työkalujen käyttöönotto

Ota virtauskäyttöön asettamalla stream parametri arvoon true, joka palauttaa token-päivitykset Server-Sent Events (SSE) -muodossa. Tämä lähestymistapa vähentää havaittua viivettä ja mahdollistaa osittaisten tulosten näyttämisen niiden generoinnin aikana. Voit myös integroida työkalukutsun määrittelemällä työkaluja pyyntöösi, mikä mahdollistaa mallin suorittaa tiettyjä toimintoja tai hakea dataa dynaamisesti.

Streamaus tarjoaa reaaliaikaista palautetta, mikä on ratkaisevaa interaktiivisille sovelluksille. Virran viimeinen paketti sisältää merkkien käyttötilastot, mikä auttaa seuraamaan kustannuksia tarkasti. Työkalumääritelmät noudattavat OpenAI:n standardimuotoa, mikä tekee integraatiosta sujuvaa kehittäjille, jotka tuntevat funktiokutsun.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

JSON-tilavastausten käsittely

Pakota rakenteellinen tuloste asettamalla response_format vastaan {"type": "json_object"}. Tämä varmistaa, että malli palauttaa kelvollista JSONia, mikä yksinkertaistaa jäsentämistä sovelluskoodissasi. Voit yhdistää tämän työkalumäärittelyjen tai tiukkojen prompt-käskyjen kanssa säilyttääksesi tietojen eheyden.

JSON-tila on olennaista ohjelmille, jotka tarvitsevat strukturoituja tietoja luotettavasti. Pakottamalla tämän muodon vältät jäsentamisvirheet ja varmistat johdonmukaiset vastaukset. Tämä ominaisuus toimii muiden parametrien, kuten temperature ja top_p, jolloin voit tasapainottaa luovuutta rakenteen kanssa.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralaikey.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Token-rajojen ja käytön ymmärtäminen

Malli tukee 100 000 tokenin kontekstiikkunaa, joka käsittää sekä syötteen että tuloksen. Tämä antelias raja mahdollistaa suurten asiakirjojen käsittelyn tai pitkien keskusteluhistorioiden ylläpitämisen ilman katkeilua. Enimmäistuotos pyyntöä kohti on kuitenkin rajoitettu 16 000 tokeniin, tai 2 048 tokeniin, jos et määritä max_tokens.

Seuraa käyttöä vastauksissa palautettujen tokenimäärien kautta. Jokainen pyyntö kuluttaa syöte- ja tulostokeneja, jotka laskutetaan 0,15 $ miljoonaa syötetokenia kohden ja 0,50 $ miljoonaa tulostokenia kohden. Virheet ja hylkäykset eivät aiheuta kuluja, varmistaen, että maksat vain onnistuneista suorituksista.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralaikey.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Rajoitukset, virheet ja luotettavuus

Sinulla on rajoitus 300 pyyntöön minuutissa ja 8 samanaikaiseen pyyntöön per API-avain. Jos ylität nämä rajat, saat virheen "429 Too Many Requests". Todennusvirheet palauttavat koodin 401 Unauthorized, kun taas riittämätön saldo aiheuttaa virheen 402 Payment Required.

Nämä rajat varmistavat vakaan suorituskyvyn kaikille käyttäjille. Jos kohtaat 401-virheen, tarkista API-avaimesi ja varmista, ettei sitä ole vaihdettu. 402-virhe tarkoittaa, että esimaksuluottosi on loppu, ja sinun täytyy täydentää sitä kryptolla. Pyyntöruumiit on rajoitettu 8 MB:aan, joten suurten kuormien tulisi olla puristettuja tai jaettuja asianmukaisesti.