Saídas estruturadas (Structured Outputs)

Cenários de uso

O recurso Structured Outputs permite que o modelo gere respostas em conformidade com o JSON Schema fornecido por você, tornando os resultados gerados mais controláveis e fáceis de analisar. Esse recurso facilita a análise e o processamento por lógicas posteriores, além de ajudar a integrar os resultados a sistemas de negócios, sendo adequado para diversos cenários de automação e processamento de dados.

Modelos compatíveis

Os seguintes modelos oferecem suporte a saídas estruturadas:

Como usar

Adicione as seguintes informações à solicitação:

Definir parâmetro: especifique o JSON Schema definido por você por meio do parâmetro response_format.
Orientação no prompt: oriente o modelo no prompt para gerar saídas estruturadas.

Exemplo de uso

A seguir, fornecemos um exemplo completo de código Python que demonstra como usar o recurso Structured Outputs para gerar uma resposta JSON em conformidade com o JSON Schema fornecido por você.

1. Inicializar o cliente

Você precisa inicializar o cliente usando sua chave de API da JieKou AI.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.highwayapi.ai/openai",
    api_key="<Your API Key>",
)

model = "qwen/qwen-2.5-72b-instruct"

2. Definir o JSON Schema

Você precisa definir o JSON Schema. O exemplo a seguir cria um JSON Schema para extrair informações de despesas a partir da entrada do usuário.

# Define o prompt de sistema para rastreamento de despesas.
system_prompt = """You are an expense tracking assistant.
Extract expense information from the user's input and format it according to the provided schema."""

# Define o JSON Schema para a resposta estruturada.
response_format = {
    "type": "json_schema",
    "json_schema": {
        "name": "expense_tracking_schema",
        "schema": {
            "type": "object",
            "properties": {
                "expenses": {
                    "type": "array",
                    "items": {
                        "type": "object",
                        "properties": {
                            "description": {
                                "type": "string",
                                "description": "Description of the expense"
                            },
                            "amount": {
                                "type": "number",
                                "description": "Amount spent in dollars"
                            },
                            "date": {
                                "type": "string",
                                "description": "When the expense occurred"
                            },
                            "category": {
                                "type": "string",
                                "description": "Category of expense (e.g., food, office, travel)"
                            }
                        },
                        "required": [
                            "description",
                            "amount"
                        ]
                    }
                },
                "total": {
                    "type": "number",
                    "description": "Total amount of all expenses"
                }
            },
            "required": [
                "expenses",
                "total"
            ],
        },
    },
}

3. Fazer uma solicitação à API

Crie a solicitação à API. Esta solicitação inclui o parâmetro response_format, que especifica o JSON schema definido na etapa anterior.

chat_completion = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_prompt,
        },
        {
            "role": "user",
            "content": """I spent $120 on dinner at an Italian restaurant last Friday with my colleagues.
Also bought office supplies for $45 on Monday.""",
        },
    ],
    max_tokens=1024,
    temperature=0.8,
    stream=False,
    response_format=response_format,
)

response_content = chat_completion.choices[0].message.content

# Analisa e formata o JSON
try:
    json_response = json.loads(response_content)
    prettified_json = json.dumps(json_response, indent=2)
    print(prettified_json)
except json.JSONDecodeError:
    print("Could not parse response as JSON. Raw response:")
    print(response_content)

Saída:

{
  "expenses": [
    {
      "date": "2023-03-17",
      "description": "Dinner at Italian restaurant",
      "amount": 120,
      "category": "Food & Dining"
    },
    {
      "date": "2023-03-13",
      "description": "Office supplies",
      "amount": 45,
      "category": "Office Supplies"
    }
  ],
  "total": 165
}

Código completo

from openai import OpenAI
import json

client = OpenAI(
    base_url="https://api.highwayapi.ai/openai",
    api_key="<Your API Key>",
)

model = "qwen/qwen-2.5-72b-instruct"

# Exemplo de saída estruturada usando JSON Schema
# Este exemplo cria um schema para extrair informações de despesas

# Define o prompt de sistema para rastreamento de despesas
system_prompt = """You are an expense tracking assistant.
Extract expense information from the user's input and format it according to the provided schema."""

# Define o JSON schema para a resposta estruturada
response_format = {
    "type": "json_schema",
    "json_schema": {
        "name": "expense_tracking_schema",
        "schema": {
            "type": "object",
            "properties": {
                "expenses": {
                    "type": "array",
                    "items": {
                        "type": "object",
                        "properties": {
                            "description": {
                                "type": "string",
                                "description": "Description of the expense"
                            },
                            "amount": {
                                "type": "number",
                                "description": "Amount spent in dollars"
                            },
                            "date": {
                                "type": "string",
                                "description": "When the expense occurred"
                            },
                            "category": {
                                "type": "string",
                                "description": "Category of expense (e.g., food, office, travel)"
                            }
                        },
                        "required": [
                            "description",
                            "amount"
                        ]
                    }
                },
                "total": {
                    "type": "number",
                    "description": "Total amount of all expenses"
                }
            },
            "required": [
                "expenses",
                "total"
            ],
        },
    },
}

chat_completion = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_prompt,
        },
        {
            "role": "user",
            "content": """I spent $120 on dinner at an Italian restaurant last Friday with my colleagues.
Also bought office supplies for $45 on Monday.""",
        },
    ],
    max_tokens=1024,
    temperature=0.8,
    stream=False,
    response_format=response_format,
)

response_content = chat_completion.choices[0].message.content

# Analisa e formata o JSON
try:
    json_response = json.loads(response_content)
    prettified_json = json.dumps(json_response, indent=2)
    print(prettified_json)
except json.JSONDecodeError:
    print("Could not parse response as JSON. Raw response:")
    print(response_content)

Introdução

API de LLM

Provedores de modelos

Recursos do modelo

Configuração de ferramentas de terceiros

Saídas estruturadas (Structured Outputs)

Cenários de uso

Modelos compatíveis

Como usar

Exemplo de uso

1. Inicializar o cliente

2. Definir o JSON Schema

3. Fazer uma solicitação à API

Código completo

​Cenários de uso

​Modelos compatíveis

​Como usar

​Exemplo de uso

​1. Inicializar o cliente

​2. Definir o JSON Schema

​3. Fazer uma solicitação à API

​Código completo

Cenários de uso

Modelos compatíveis

Como usar

Exemplo de uso

1. Inicializar o cliente

2. Definir o JSON Schema

3. Fazer uma solicitação à API

Código completo