Grandes modelos de lenguaje

​

Capacidades del modelo

• Generación de texto Puede generar contenido textual lógico y coherente en función del contexto, y ajustar el estilo de salida según sea necesario.
• Comprensión del lenguaje Puede comprender con precisión el significado del texto de entrada y admite conversaciones teniendo en cuenta el contexto.
• Traducción de texto Cuenta con capacidades de generación y comprensión multilingüe, lo que permite traducir textos entre diferentes idiomas.
• Preguntas y respuestas basadas en conocimiento Dispone de una amplia base de conocimientos y puede responder preguntas en diversos ámbitos, como cultura, ciencia e historia.
• Comprensión y generación de código Puede comprender y generar código (como Python, Java, C++, etc.), así como identificar errores de código y ofrecer sugerencias.
• Clasificación y resumen de texto Puede comprender oraciones complejas, clasificar y extraer información, y extraer los puntos clave de un texto para generar resúmenes automáticamente.

​

Selección de modelos

​

Llamadas a la API

• ChatCompletion, compatible con modo streaming y modo convencional.
• Completion, compatible con modo streaming y modo convencional.

​

Ejemplos de código

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.highwayapi.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # o False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Usted es un asistente profesional de documentación de IA.",
        },
        {
            "role": "user",
            "content": "¿En qué escenarios se pueden utilizar los modelos que ofrece JieKou AI?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.highwayapi.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "messages": [
        {
            "role": "system",
            "content": "Usted es un asistente profesional de documentación de IA."
        },
       {
            "role": "user",
            "content": "¿En qué escenarios se pueden utilizar los modelos que ofrece JieKou AI?"
        }
    ],
    "max_tokens": 512
}'

​

Parámetros clave

​

Parámetros básicos

​

Roles de mensaje

Solo aplicable a ChatCompletion.

• content: contenido del mensaje.
• role: rol del autor del mensaje.
  • system: establece el rol de la IA e indica al modelo qué rol o comportamiento debe adoptar.
  • user: texto que el usuario introduce para el modelo.
  • assistant: respuesta generada por el modelo. El usuario también puede rellenar ejemplos de antemano para indicar al modelo cómo debe responder a la solicitud actual.
• name: opcional, se utiliza para distinguir autores de mensajes con el mismo rol.

​

Prompt

Solo aplicable a Completion.

​

Control de la generación

Tanto temperature como top_p pueden controlar la diversidad del texto generado. Se recomienda establecer solo uno de estos valores. Cuanto mayor sea el valor establecido, más diverso será el texto generado. Cuanto menor sea el valor, más determinista será el texto generado.

• temperature: temperatura de muestreo; ajusta la aleatoriedad del texto generado.
• top_p: muestreo de núcleo; controla la probabilidad acumulada de las palabras candidatas.
• top_k: limita el número de palabras candidatas.

• presence_penalty: penalización de presencia; controla el grado de repetición del contenido cuando el modelo genera texto. Si un Token ya ha aparecido en el texto, será penalizado, lo que hace que el modelo introduzca más Tokens nuevos.
• frequency_penalty: penalización de probabilidad; controla la frecuencia de aparición de ciertas palabras en el texto generado. Hace que un Token sea penalizado cada vez que aparece en el texto, reduciendo así la probabilidad de que esos Tokens se generen en el futuro e impidiendo que el modelo repita los mismos Tokens.
• repetition_penalty: valor de penalización por repetición, utilizado para inhibir o fomentar la repetición.

​

Límites de salida

• max_tokens: número máximo de Tokens devueltos en una sola solicitud. Si el número de Tokens generados por el modelo supera el valor de max_tokens, se devolverá el contenido truncado.
• stream: controla si la salida se genera en modo streaming. Para algunos modelos que producen mucho contenido, se recomienda configurarlo como salida en streaming para evitar que una salida demasiado larga provoque un tiempo de espera agotado.
  • true: salida en streaming, es decir, se genera y se devuelve al mismo tiempo; cada vez que el modelo genera una parte del contenido, devuelve un fragmento.
  • false: el modelo devuelve el resultado de una sola vez después de generar todo el contenido.
• stop: caracteres de terminación. Cuando el texto generado por el modelo contiene la cadena configurada en stop, el modelo deja de producir salida.