Модели TypeSafe (jev-1.13, jev-latest)
Jev — флагманская модель TypeSafe и первая модель System One. Все модели, представленные на этой странице, обслуживаются единым эндпоинтом POST /v1/systemone. Поле запроса model определяет, какая модель обрабатывает вызов; полную структуру запроса см. в справочнике по API.
Текущие модели
| Jev 1.13 | jev-1.13.0 |
|---|---|
| Стоимость (за млрд токенов / за млн токенов) | $42 / $0.042 |
| Ограничения по частоте (Rate limits) | 250 000 токенов в секунду / 1 200 запросов в минуту |
| Длина контекста | 64k токенов на запрос; 32k токенов на state плюс самый длинный вопрос |
| Входные данные | Только текст. Строка, JSON-объект или массив текстовых значений. Входные изображения, аудио и видео не поддерживаются. |
- Стоимость: тарифицируется по входным токенам. Выходные токены бесплатны. Btok — миллиард токенов, Mtok — миллион токенов.
- Лимиты частоты запросов: измеряются в токенах в секунду и запросах в минуту. Запрос, превышающий любой из лимитов, возвращает
429 Too Many Requests. Наши клиентские SDK по умолчанию выполняют повторные попытки с экспоненциальной задержкой и учитывают заголовокretry-after, если он передан в ответе. Если вы вызываете HTTP API напрямую, см. раздел Обработка лимитов частоты запросов. - Длина контекста: Jev обрабатывает
stateодин раз и оценивает все вопросы относительно него параллельно. Лимит в 64k токенов покрываетstateплюс все вопросы суммарно; лимит в 32k относится кstateплюс один самый длинный вопрос. См. раздел Спекулятивный веерный опрос по объединению множества вопросов в один запрос, а также Неравномерность производительности Jev 1.13 для понимания того, как меняется точность при увеличении размера состояния. - Входные данные: Jev оценивает текст на естественном языке. Предварительно преобразуйте нетекстовые данные (изображения, аудио, видео, бинарные данные) в текст или структурированные поля перед отправкой в
state. Поддерживаемые форматы описаны в разделе Состояние (State).
Псевдонимы (Aliases)
Псевдоним (алиас) — это имя модели, указывающее на версионированный ID модели. Передавайте его в поле model, как и любое другое имя.
| Псевдоним | Указывает на | Значение |
|---|---|---|
jev-latest |
jev-1.13.0 |
Наиболее актуальный стабильный официальный релиз. Значение по умолчанию в наших клиентских SDK и имя, используемое в примерах этой документации. |
jev-preview |
jev-1.13.0 |
Самый свежий релиз, независимо от того, является ли он официальным. Опережает jev-latest, когда доступна предварительная сборка (preview). |
Псевдоним переключается при выходе нового релиза, поэтому возвращаемые ответы могут измениться без каких-либо изменений с вашей стороны. Поле model в ответе содержит версионированный идентификатор, выполнивший обработку, что позволяет логировать, какая модель сформировала каждый результат. Если вы откалибровали пороги уверенности под конкретную версию, зафиксируйте ID этой версии вместо псевдонима и переходите на новую версию по собственному графику.
Кастомизация Jev
Jev не дообучается (fine-tuning) и не адаптируется через LoRA на данных клиентов. Модель обучена методом RLCD для возврата калиброванных решений, и одни и те же веса обслуживают все аккаунты. Вы адаптируете ответы под свою предметную область через сам запрос, а не через веса для отдельного аккаунта:
- Помещайте ваши проприетарные данные, записи и справочные материалы в поле
state. См. раздел Состояние (State). - Задавайте правила предметной области и граничные случаи в
instructionsиcriteriaкаждого вопроса. См. разделы Как разрабатывать с TypeSafe и Продвинутый уровень: структура. - Декомпозируйте широкие суждения на атомарные вопросы и объединяйте результаты в коде. См. раздел Композитный скоринг и руководство по AutoResearch по обучению классической downstream-модели на вероятностях Jev.
Языковая поддержка
Jev принимает текст на естественном языке. Английский язык является основным языком обучения, и на нем в настоящее время достигается наивысшая точность. Другие языки, включая письменности CJK, поддерживаются, но с переменным качеством; обязательно протестируйте модель на собственных данных перед использованием Jev для неанглоязычных задач и обращайте особое внимание на уверенность (Confidence) при маршрутизации.
Обработка данных
Jev не обучается на запросах или ответах клиентов. См. раздел Правовая информация (Legal) для ознакомления с Соглашением об обработке данных (DPA), Политикой конфиденциальности и подробностями о нулевом хранении данных (Zero Data Retention, ZDR) для корпоративных клиентов.
Получение списка моделей
Запрос GET /v1/models возвращает имена, которые ваш аккаунт может передавать в поле model, вместе с описанием и датой релиза для каждого из них. В настоящее время эндпоинт возвращает псевдонимы. Версионированные идентификаторы, такие как jev-1.13.0, принимаются полем model независимо от того, присутствуют ли они в списке.
from typesafe_sdk import TypeSafeClient
with TypeSafeClient() as client:
for model in client.models.list().models:
print(model.name, model.release_date, model.description)
import { TypeSafeClient } from "@typesafe-ai/sdk";
const client = new TypeSafeClient();
const models = await client.models.list();
for (const model of models) {
console.log(model.name, model.release_date, model.description);
}
<ResponseField name="description" type="string" required>
Назначение модели.
</ResponseField>
<ResponseField name="release_date" type="string" required>
Дата выпуска модели или псевдонима.
</ResponseField>
Подробные сигнатуры методов см. в справочниках SDK для Python и JavaScript.