Saídas estruturadas (Structured Outputs)

Cenários de uso

O recurso Structured Outputs permite que o modelo gere respostas em conformidade com o JSON Schema fornecido por você, tornando os resultados gerados mais controláveis e fáceis de analisar. Esse recurso facilita a análise e o processamento por lógicas posteriores, além de ajudar a integrar os resultados a sistemas de negócios, sendo adequado para diversos cenários de automação e processamento de dados.

Modelos compatíveis

Os seguintes modelos oferecem suporte a saídas estruturadas:

Como usar

Adicione as seguintes informações à solicitação:

Definir parâmetro: especifique o JSON Schema definido por você por meio do parâmetro response_format.
Orientação no prompt: oriente o modelo no prompt para gerar saídas estruturadas.

Exemplo de uso

A seguir, fornecemos um exemplo completo de código Python que demonstra como usar o recurso Structured Outputs para gerar uma resposta JSON em conformidade com o JSON Schema fornecido por você.

1. Inicializar o cliente

Você precisa inicializar o cliente usando sua chave de API da JieKou AI.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.highwayapi.ai/openai",
    api_key="<Your API Key>",
)

model = "qwen/qwen-2.5-72b-instruct"

2. Definir o JSON Schema

Você precisa definir o JSON Schema. O exemplo a seguir cria um JSON Schema para extrair informações de despesas a partir da entrada do usuário.

# Define o prompt de sistema para rastreamento de despesas.
system_prompt = """You are an expense tracking assistant.
Extract expense information from the user's input and format it according to the provided schema."""

# Define o JSON Schema para a resposta estruturada.
response_format = {
    "type": "json_schema",
    "json_schema": {
        "name": "expense_tracking_schema",
        "schema": {
            "type": "object",
            "properties": {
                "expenses": {
                    "type": "array",
                    "items": {
                        "type": "object",
                        "properties": {
                            "description": {
                                "type": "string",
                                "description": "Description of the expense"
                            },
                            "amount": {
                                "type": "number",
                                "description": "Amount spent in dollars"
                            },
                            "date": {
                                "type": "string",
                                "description": "When the expense occurred"
                            },
                            "category": {
                                "type": "string",
                                "description": "Category of expense (e.g., food, office, travel)"
                            }
                        },
                        "required": [
                            "description",
                            "amount"
                        ]
                    }
                },
                "total": {
                    "type": "number",
                    "description": "Total amount of all expenses"
                }
            },
            "required": [
                "expenses",
                "total"
            ],
        },
    },
}

3. Fazer uma solicitação à API

Crie a solicitação à API. Esta solicitação inclui o parâmetro response_format, que especifica o JSON schema definido na etapa anterior.

chat_completion = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_prompt,
        },
        {
            "role": "user",
            "content": """I spent $120 on dinner at an Italian restaurant last Friday with my colleagues.
Also bought office supplies for $45 on Monday.""",
        },
    ],
    max_tokens=1024,
    temperature=0.8,
    stream=False,
    response_format=response_format,
)

response_content = chat_completion.choices[0].message.content

# Analisa e formata o JSON
try:
    json_response = json.loads(response_content)
    prettified_json = json.dumps(json_response, indent=2)
    print(prettified_json)
except json.JSONDecodeError:
    print("Could not parse response as JSON. Raw response:")
    print(response_content)

Saída:

{
  "expenses": [
    {
      "date": "2023-03-17",
      "description": "Dinner at Italian restaurant",
      "amount": 120,
      "category": "Food & Dining"
    },
    {
      "date": "2023-03-13",
      "description": "Office supplies",
      "amount": 45,
      "category": "Office Supplies"
    }
  ],
  "total": 165
}

Código completo

from openai import OpenAI
import json

client = OpenAI(
    base_url="https://api.highwayapi.ai/openai",
    api_key="<Your API Key>",
)

model = "qwen/qwen-2.5-72b-instruct"

# Exemplo de saída estruturada usando JSON Schema
# Este exemplo cria um schema para extrair informações de despesas

# Define o prompt de sistema para rastreamento de despesas
system_prompt = """You are an expense tracking assistant.
Extract expense information from the user's input and format it according to the provided schema."""

# Define o JSON schema para a resposta estruturada
response_format = {
    "type": "json_schema",
    "json_schema": {
        "name": "expense_tracking_schema",
        "schema": {
            "type": "object",
            "properties": {
                "expenses": {
                    "type": "array",
                    "items": {
                        "type": "object",
                        "properties": {
                            "description": {
                                "type": "string",
                                "description": "Description of the expense"
                            },
                            "amount": {
                                "type": "number",
                                "description": "Amount spent in dollars"
                            },
                            "date": {
                                "type": "string",
                                "description": "When the expense occurred"
                            },
                            "category": {
                                "type": "string",
                                "description": "Category of expense (e.g., food, office, travel)"
                            }
                        },
                        "required": [
                            "description",
                            "amount"
                        ]
                    }
                },
                "total": {
                    "type": "number",
                    "description": "Total amount of all expenses"
                }
            },
            "required": [
                "expenses",
                "total"
            ],
        },
    },
}

chat_completion = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_prompt,
        },
        {
            "role": "user",
            "content": """I spent $120 on dinner at an Italian restaurant last Friday with my colleagues.
Also bought office supplies for $45 on Monday.""",
        },
    ],
    max_tokens=1024,
    temperature=0.8,
    stream=False,
    response_format=response_format,
)

response_content = chat_completion.choices[0].message.content

# Analisa e formata o JSON
try:
    json_response = json.loads(response_content)
    prettified_json = json.dumps(json_response, indent=2)
    print(prettified_json)
except json.JSONDecodeError:
    print("Could not parse response as JSON. Raw response:")
    print(response_content)

​Cenários de uso

​Modelos compatíveis

​Como usar

​Exemplo de uso

​1. Inicializar o cliente

​2. Definir o JSON Schema

​3. Fazer uma solicitação à API

​Código completo