Grands modèles de langage

​

Capacités des modèles

• Génération de texte Peut générer du contenu textuel cohérent sur le plan logique à partir du contexte, et ajuster le style de sortie selon les besoins.
• Compréhension du langage Peut comprendre précisément le sens du texte saisi et prendre en charge des conversations en tenant compte du contexte.
• Traduction de texte Dispose de capacités de génération et de compréhension multilingues, permettant la traduction de texte entre différentes langues.
• Questions-réponses basées sur les connaissances Possède une vaste base de connaissances et peut répondre à des questions dans divers domaines tels que la culture, les sciences et l’histoire.
• Compréhension et génération de code Peut comprendre et générer du code (par exemple Python, Java, C++, etc.), détecter des erreurs de code et fournir des suggestions de code.
• Classification et résumé de texte Peut comprendre des phrases complexes, classer et extraire des informations, et extraire les points clés d’un texte pour produire automatiquement un résumé.

​

Choix du modèle

​

Appel d’API

• ChatCompletion, prenant en charge le mode streaming et le mode standard.
• Completion, prenant en charge le mode streaming et le mode standard.

​

Exemples de code

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.highwayapi.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # ou False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Vous êtes un assistant professionnel spécialisé dans la documentation IA.",
        },
        {
            "role": "user",
            "content": "Dans quels scénarios les modèles fournis par JieKou AI peuvent-ils être utilisés ?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.highwayapi.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "messages": [
        {
            "role": "system",
            "content": "Vous êtes un assistant professionnel spécialisé dans la documentation IA."
        },
       {
            "role": "user",
            "content": "Dans quels scénarios les modèles fournis par JieKou AI peuvent-ils être utilisés ?"
        }
    ],
    "max_tokens": 512
}'

​

Paramètres clés

​

Paramètres de base

​

Rôles des messages

S’applique uniquement à ChatCompletion.

• content : contenu du message.
• role : rôle de l’auteur du message.
  • system : définit le rôle de l’IA et indique au modèle le rôle ou le comportement à adopter.
  • user : texte fourni au modèle par l’utilisateur.
  • assistant : réponse générée par le modèle. L’utilisateur peut également préremplir des exemples pour indiquer au modèle comment répondre à la requête actuelle.
• name : facultatif, permet de distinguer les auteurs de messages ayant le même rôle.

​

Prompt

S’applique uniquement à Completion.

​

Contrôle de la génération

temperature et top_p peuvent tous deux contrôler la diversité du texte généré. Il est recommandé de ne définir qu’une seule de ces valeurs. Plus la valeur définie est élevée, plus le texte généré est diversifié. Plus la valeur est faible, plus le texte généré est déterministe.

• temperature : température d’échantillonnage, ajuste le caractère aléatoire du texte généré.
• top_p : échantillonnage par noyau, contrôle la probabilité cumulée des mots candidats.
• top_k : limite le nombre de mots candidats.

• presence_penalty : pénalité de présence, contrôle le degré de répétition du contenu lorsque le modèle génère du texte. Si un Token est déjà apparu dans le texte, il sera pénalisé, ce qui pousse le modèle à introduire davantage de nouveaux Token.
• frequency_penalty : pénalité de probabilité, contrôle la fréquence d’apparition de certains mots dans le texte généré. Elle pénalise un Token à chaque apparition dans le texte, réduisant ainsi la probabilité qu’il soit généré à l’avenir et empêchant le modèle de réutiliser les mêmes Token.
• repetition_penalty : valeur de pénalité de répétition, utilisée pour limiter ou encourager les répétitions.

​

Limites de sortie

• max_tokens : nombre maximal de Token retournés pour une requête unique. Si le nombre de Token générés par le modèle dépasse la valeur de max_tokens, le contenu retourné sera tronqué.
• stream : contrôle si la sortie est diffusée en streaming. Pour certains modèles qui produisent un volume important de contenu, il est recommandé d’activer la sortie en streaming afin d’éviter les sorties trop longues pouvant entraîner un délai d’expiration.
  • true : sortie en streaming, c’est-à-dire génération et sortie simultanées ; le modèle renvoie un fragment à chaque fois qu’il génère une partie du contenu.
  • false : le modèle renvoie le résultat en une seule fois après avoir généré tout le contenu.
• stop : caractère de terminaison. Lorsque le texte généré par le modèle contient la chaîne définie par stop, le modèle arrête la sortie.