Создание запроса диалога
Большие языковые модели
Создание запроса диалога
POST
Создание запроса диалога
Генерирует ответ модели на основе указанного prompt и параметров
Заголовки запроса
string
обязательно
Перечисляемое значение:
application/jsonstring
обязательно
Формат Bearer-аутентификации: Bearer {{API 秘钥}}.
Тело запроса
string
обязательно
Название соответствующей модели. Доступные названия моделей см. в библиотеке моделей: JieKou AI.
string
обязательно
Подсказка для генерации диалога (подсказка может быть строкой, массивом строк, массивом tokens или массивом массивов tokens).
integer
Максимальное количество tokens, которое может быть сгенерировано при создании диалога.
Количество tokens в prompt плюс max_tokens не должно превышать длину контекста модели.
Количество tokens в prompt плюс max_tokens не должно превышать длину контекста модели.
boolean | null
Использовать ли потоковую передачу. По умолчанию false; если включено, tokens будут отправляться как data-only server-sent events (SSE), а поток завершится сообщением data: [DONE].
object
Параметры потокового ответа. Задаются только когда stream установлено в true.
integer | null
Сколько диалогов генерировать для каждой подсказки. Значение по умолчанию — 1.
Примечание: поскольку этот параметр генерирует несколько диалогов, он может быстро расходовать ваш лимит оплаты tokens. Используйте его с осторожностью и убедитесь, что для max_tokens и stop установлены разумные значения.
Требуемый диапазон: 1 < x < 128
Примечание: поскольку этот параметр генерирует несколько диалогов, он может быстро расходовать ваш лимит оплаты tokens. Используйте его с осторожностью и убедитесь, что для max_tokens и stop установлены разумные значения.
Требуемый диапазон: 1 < x < 128
integer | null
Если указано, наша система приложит максимум усилий для детерминированной выборки, чтобы повторные запросы с тем же seed и параметрами возвращали одинаковые результаты.
number | null
Значение по умолчанию — 0. Положительные значения штрафуют новые tokens в зависимости от частоты их появления в текущем тексте, тем самым снижая вероятность того, что модель будет повторять одно и то же содержимое.
Если цель — лишь немного уменьшить повторяющиеся сэмплы, разумные значения находятся примерно в диапазоне от 0.1 до 1. Если цель — сильно подавить повторения, коэффициент можно увеличить до 2, но это может заметно снизить качество сэмплов. Отрицательные значения можно использовать для увеличения вероятности повторения.
См. также presence_penalty, который штрафует tokens, появившиеся хотя бы один раз, с фиксированной скоростью
Требуемый диапазон: -2 < x < 2
Если цель — лишь немного уменьшить повторяющиеся сэмплы, разумные значения находятся примерно в диапазоне от 0.1 до 1. Если цель — сильно подавить повторения, коэффициент можно увеличить до 2, но это может заметно снизить качество сэмплов. Отрицательные значения можно использовать для увеличения вероятности повторения.
См. также presence_penalty, который штрафует tokens, появившиеся хотя бы один раз, с фиксированной скоростью
Требуемый диапазон: -2 < x < 2
number | null
Значение по умолчанию — 0. Положительные значения штрафуют новые tokens в зависимости от того, появляются ли они в текущем тексте, тем самым повышая вероятность того, что модель будет говорить на новые темы.
Если цель — немного уменьшить повторяющиеся сэмплы, разумные значения находятся примерно в диапазоне от 0.1 до 1. Если цель — сильно подавить повторения, коэффициент можно увеличить до 2, но это может значительно снизить качество сэмплов. Отрицательные значения можно использовать для увеличения вероятности повторения.
См. также frequency_penalty, который штрафует tokens с возрастающей скоростью в зависимости от частоты их появления
Требуемый диапазон: -2 < x < 2
Если цель — немного уменьшить повторяющиеся сэмплы, разумные значения находятся примерно в диапазоне от 0.1 до 1. Если цель — сильно подавить повторения, коэффициент можно увеличить до 2, но это может значительно снизить качество сэмплов. Отрицательные значения можно использовать для увеличения вероятности повторения.
См. также frequency_penalty, который штрафует tokens с возрастающей скоростью в зависимости от частоты их появления
Требуемый диапазон: -2 < x < 2
number | null
Применяет штраф к повторяющимся tokens, чтобы подавлять или поощрять повторения. Значение 1.0 означает отсутствие штрафа и допускает свободные повторения. Значения больше 1.0 штрафуют повторения, снижая вероятность повторяющихся tokens. Значения между 0.0 и 1.0 поощряют повторения, увеличивая вероятность повторяющихся tokens. Для хорошего баланса обычно рекомендуется использовать 1.2. Обратите внимание, что в моделях только с декодером штраф применяется как к генерируемому выводу, так и к подсказке.
Требуемый диапазон: 0 < x < 2
Требуемый диапазон: 0 < x < 2
string | null
До 4 последовательностей, после которых API остановит генерацию дополнительных tokens. Возвращаемый текст содержит стоп-последовательность.
number | null
Степень случайности в диалоге; значение по умолчанию — 1, диапазон от 0 до 2. Более высокие значения (например, 0.8) делают вывод более случайным, а более низкие значения (например, 0.2) делают вывод более сфокусированным и детерминированным.
Обычно мы рекомендуем настраивать либо этот параметр, либо top_p, но не оба одновременно.
Требуемый диапазон: 0 < x < 2
Обычно мы рекомендуем настраивать либо этот параметр, либо top_p, но не оба одновременно.
Требуемый диапазон: 0 < x < 2
number | null
Альтернативный temperature метод, называемый nucleus sampling: модель рассматривает результаты tokens с вероятностной массой top_p. Таким образом, 0.1 означает, что рассматриваются только tokens, составляющие верхние 10% вероятностной массы. Обычно мы рекомендуем настраивать либо этот параметр, либо temperature, но не оба одновременно.
Требуемый диапазон: 0 < x ≤ 1
Требуемый диапазон: 0 < x ≤ 1
integer | null
Top-k sampling — еще один метод сэмплирования, при котором отбираются k наиболее вероятных следующих tokens, а вероятностная масса перераспределяется только между этими k tokens. Значение k управляет количеством кандидатов для следующего tokens на каждом шаге генерации текста.
Требуемый диапазон: 1 < x < 128
Требуемый диапазон: 1 < x < 128
number | null
Число с плавающей точкой, обозначающее минимальную вероятность, при которой tokens рассматриваются, относительно вероятности наиболее вероятного tokens.
Требуемый диапазон: 0 ≤ x ≤ 1
Требуемый диапазон: 0 ≤ x ≤ 1
map[string, integer]
По умолчанию null. Изменяет вероятность появления указанных tokens в диалоге. Принимает JSON-объект, сопоставляющий tokens с ассоциированным значением смещения от -100 до 100.
integer | null
Возвращает логарифмические вероятности logprobs наиболее вероятных выходных token, а также вероятность выбранного token. Например, если logprobs задано равным 5, API вернет список логарифмических вероятностей 5 наиболее вероятных token на каждом шаге генерации.
Максимальное значение logprobs — 5.
Максимальное значение logprobs — 5.
integer
По умолчанию 1. Генерирует best_of диалогов и обрабатывает их на стороне сервера, возвращая «лучший» (то есть тот, у которого наибольшая логарифмическая вероятность для каждого tokens). Результат нельзя передавать потоково.
При использовании вместе с n параметр best_of управляет количеством диалогов-кандидатов, а n задает, сколько диалогов вернуть. best_of должен быть больше n.
Примечание: поскольку этот параметр генерирует несколько диалогов, он может быстро расходовать ваш лимит оплаты tokens. Используйте его с осторожностью и убедитесь, что для max_tokens и stop установлены разумные значения.
При использовании вместе с n параметр best_of управляет количеством диалогов-кандидатов, а n задает, сколько диалогов вернуть. best_of должен быть больше n.
Примечание: поскольку этот параметр генерирует несколько диалогов, он может быстро расходовать ваш лимит оплаты tokens. Используйте его с осторожностью и убедитесь, что для max_tokens и stop установлены разумные значения.
Информация об ответе
object[]
обязательно
Список сгенерированных вариантов диалога.
integer
обязательно
Unix-временная метка создания ответа (в секундах).
string
обязательно
Уникальный идентификатор ответа.
string
обязательно
Модель, использованная для диалога.
string
обязательно
Тип объекта, всегда text_completion.
object
обязательно
Статистика использования.
Для потоковых ответов поле usage включается в последний возвращаемый блок ответа.
Для потоковых ответов поле usage включается в последний возвращаемый блок ответа.