ИИ-модели
На платформе подключены модели разных разработчиков. Одни сильнее и дороже, другие быстрее и дешевле; одни распознают изображения и умеют рассуждать, другие нет. Каталог один для всего кабинета: одну и ту же модель можно выбрать в ИИ-чате и в блоке AI-агент.
Где находится
Раздел «ИИ-модели» — в меню проекта. В нём три страницы, меню справа:
- «Модели» — каталог;
- «Статистика» — графики расхода токенов;
- «Логи» — список обращений к моделям со стоимостью.
«Статистика» и «Логи» описаны на странице Баланс для ИИ. Сотрудник видит их, только если это разрешает его роль.
Каталог
В списке «Модели» — все доступные модели. Над списком — фильтр «Провайдер» и поле «Поиск» по названию.
В строке модели показаны:
- значок разработчика и название;
- что модель умеет — значки «Генерация текста», «Встроенное размышление», «Эмбеддинг»;
- цена за входящие токены и цена за исходящие токены — за миллион токенов, в валюте вашего кабинета;
- «Контекст» — сколько токенов модель удерживает в одном запросе.
Клик по строке открывает страницу модели.
Страница модели
На странице «О модели» — описание и характеристики:
- «Модальности» — что модель принимает и что возвращает: текст, изображения, документы, аудио, видео.
- «Цена за входящие/исходящие токены» — за миллион токенов.
- «Вход из кэша» и «Запись в кэш» — отдельные цены для повторяющейся части запроса, если у модели они есть. Что это значит — на странице Баланс для ИИ.
- «Контекст» и «Дата релиза».
- Метки умений: «Генерация текста», «Встроенное размышление», «Вызов инструментов», «Написание кода», «Структурированный вывод», «Мультиязычная».
На странице «Статистика» — расход токенов и число запросов именно по этой модели в вашем проекте.
Чем модели отличаются
| Характеристика | На что влияет |
|---|---|
| Цена за токены | Сколько стоит каждый ответ. Вход — ваш вопрос вместе с историей диалога, выход — ответ модели |
| Контекст | Сколько текста модель видит за один раз: длинный диалог, большой документ, объёмный сценарий бота требуют большого контекста |
| Распознавание изображений | Можно ли прикреплять картинки. Модели без него картинку не примут |
| Встроенное размышление | Может ли модель «подумать» перед ответом. Уровень задаётся в чате пунктом «Рассуждение» |
Таблица цен всех моделей — на странице Цены дополнительных услуг.
Как выбрать
- Обычные вопросы, тексты, переводы, ответы клиентам по инструкции — недорогая быстрая модель. Разницу в качестве на таких задачах заметить трудно, а в цене — легко.
- Сложный анализ, длинные документы, многошаговые задачи — сильная модель с большим контекстом; при необходимости включите «Рассуждение».
- Картинки и снимки экрана — модель, которая принимает изображения.
- Сборка чат-бота — подходят не все модели. Неподходящие отмечены в списке моделей, пока в чате включена сборка, а на неподходящей модели чат сам предложит замену. Подробнее — на странице Сборка бота в ИИ-чате.
- AI-агент в боте — отвечает много раз в день, поэтому цена модели здесь важнее всего. Начните с недорогой модели и проверьте ответы через «Проверить бота».
Совет
Один и тот же вопрос можно задать разным моделям: смените модель и нажмите «Перегенерировать» под ответом. Расход каждой попытки виден в «Логах».
Избранное и модель по умолчанию
Модели, которыми вы пользуетесь чаще, добавьте в избранное — звёздочкой в списке «Все модели» в чате. Избранные модели стоят в начале меню выбора модели.
Новый диалог в ИИ-чате открывается на первой модели из избранного. Избранное у каждого пользователя своё; при первом входе в него уже добавлено несколько моделей.
Открытый ранее диалог продолжается на той модели, которая дала в нём последний ответ.
Российские модели
Среди разработчиков есть российские. С ними связаны две особенности:
- Сборка чат-бота на российских моделях недоступна — пока в чате включена сборка, в списке моделей у них отметка «Сборка чат-бота на российских моделях недоступна».
- Когда диалог идёт на российской модели, служебные запросы чата — например, название диалога — тоже выполняет российская модель.
Если модель исчезла из списка
Модели со временем обновляются, и устаревшие убирают из каталога. Диалоги, которые шли на такой модели, остаются: при открытии чат сообщит «Модель «…» больше недоступна — чат продолжится на …» и продолжит на модели по умолчанию.