Große Sprachmodelle

​

Modellfähigkeiten

• Textgenerierung Sie können auf Grundlage des Kontexts logisch zusammenhängende Textinhalte generieren und den Ausgabestil bei Bedarf anpassen.
• Sprachverständnis Sie können die Bedeutung eingegebener Texte präzise verstehen und kontextbezogene Dialoge unterstützen.
• Textübersetzung Sie verfügen über die Fähigkeit zur sprachübergreifenden Generierung und zum sprachübergreifenden Verständnis und können Textübersetzungen zwischen verschiedenen Sprachen umsetzen.
• Wissensbasierte Fragen und Antworten Sie verfügen über umfangreiche Wissensbestände und können Fragen aus Bereichen wie Kultur, Wissenschaft, Geschichte und vielen weiteren beantworten.
• Codeverständnis und Codegenerierung Sie können Code verstehen und generieren (z. B. Python, Java, C++ usw.), Codefehler erkennen und Codevorschläge bereitstellen.
• Textklassifizierung und Zusammenfassung Sie können komplexe Sätze verstehen, Informationen klassifizieren und extrahieren sowie die wichtigsten Punkte eines Textes für automatische Zusammenfassungen extrahieren.

​

Modellauswahl

​

API-Aufruf

• ChatCompletion, unterstützt den Streaming-Modus und den regulären Modus.
• Completion, unterstützt den Streaming-Modus und den regulären Modus.

​

Codebeispiele

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.highwayapi.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # oder False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Sie sind ein professioneller KI-Dokumentationsassistent.",
        },
        {
            "role": "user",
            "content": "Für welche Szenarien können die von JieKou AI bereitgestellten Modelle verwendet werden?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.highwayapi.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "messages": [
        {
            "role": "system",
            "content": "Sie sind ein professioneller KI-Dokumentationsassistent."
        },
       {
            "role": "user",
            "content": "Für welche Szenarien können die von JieKou AI bereitgestellten Modelle verwendet werden?"
        }
    ],
    "max_tokens": 512
}'

​

Wichtige Parameter

​

Basisparameter

​

Nachrichtenrollen

Gilt nur für ChatCompletion.

• content: Nachrichteninhalt.
• role: Die Rolle des Nachrichtenautors.
  • system: Legt die KI-Rolle fest und teilt dem Modell mit, welche Rolle oder welches Verhalten es annehmen soll.
  • user: Der vom Benutzer an das Modell eingegebene Text.
  • assistant: Die vom Modell generierte Antwort. Benutzer können auch vorab Beispiele ausfüllen, um dem Modell mitzuteilen, wie es auf die aktuelle Anfrage reagieren soll.
• name: Optional, dient zur Unterscheidung von Nachrichtenautoren mit derselben Rolle.

​

Prompt

Gilt nur für Completion.

​

Generierung steuern

Sowohl temperature als auch top_p können die Vielfalt des generierten Textes steuern. Es wird empfohlen, nur einen der beiden Werte festzulegen. Je größer der festgelegte Wert ist, desto vielfältiger ist der generierte Text. Je kleiner der Wert ist, desto deterministischer ist der generierte Text.

• temperature: Sampling-Temperatur, passt die Zufälligkeit des generierten Textes an.
• top_p: Nucleus Sampling, steuert die kumulative Wahrscheinlichkeit der Kandidatenwörter.
• top_k: Begrenzt die Anzahl der Kandidatenwörter.

• presence_penalty: Präsenzstrafe, steuert den Wiederholungsgrad von Inhalten bei der Textgenerierung durch das Modell. Wenn ein Token bereits im Text vorkommt, wird es bestraft, wodurch das Modell eher neue Token einführt.
• frequency_penalty: Häufigkeitsstrafe, steuert die Auftretenshäufigkeit bestimmter Wörter im generierten Text. Token werden jedes Mal bestraft, wenn sie im Text vorkommen, wodurch die Wahrscheinlichkeit sinkt, dass diese Token künftig generiert werden, und verhindert wird, dass das Modell dieselben Token wiederholt verwendet.
• repetition_penalty: Wiederholungsstrafe, dient zum Unterdrücken oder Fördern von Wiederholungen.

​

Ausgabebeschränkungen

• max_tokens: Die maximale Anzahl an Token, die bei einer einzelnen Anfrage zurückgegeben wird. Wenn die Anzahl der vom Modell generierten Token den Wert von max_tokens überschreitet, wird der abgeschnittene Inhalt zurückgegeben.
• stream: Steuert, ob die Ausgabe als Stream erfolgt. Für Modelle mit umfangreicheren Ausgaben wird empfohlen, Streaming-Ausgabe zu verwenden, um zu verhindern, dass zu lange Ausgaben zu einem Timeout führen.
  • true: Streaming-Ausgabe, d. h. Ausgabe während der Generierung. Das Modell gibt jedes Mal ein Fragment zurück, wenn es einen Teil des Inhalts generiert.
  • false: Das Modell gibt das Ergebnis einmalig zurück, nachdem alle Inhalte generiert wurden.
• stop: Stoppzeichen. Wenn der vom Modell generierte Text die in stop festgelegte Zeichenkette enthält, beendet das Modell die Ausgabe.