fox/src/ai/ai-chat-llm.md

Чат с LLM

Чат с LLM - это интерфейс для общения с LLM-моделями. Подходит для знакомства и тестирования моделей.

Исходя из возможностей сервиса Чат с LLM пользовательский путь от авторизации к диалогу выглядит следующим образом:

1. Переход в чат с LLM.
2. Выбор LLM.
3. Выбор базы знаний.
4. Настройка системного промпта.
5. Диалог с LLM.

Доступные модели

Чат с LLM поддерживает модели:.

Модель	Контекст	Параметры	Reasoning	Инструменты	Картинки
Deepseek-chat	131k	671B	✅	✅	❌
Gemma 3	128k	27B	❌	❌	✅
Qwen 3	131k	32B	✅	✅	❌

::: details Описание моделей

• DeepSeek Chat

DeepSeek V3 — это мощная гибридная модель с 671 млрд. параметров, специально оптимизированная для кодогенерации и работы поисковых агентов. Модель поддерживает контекст до 128 тыс. токенов и позволяет гибко управлять режимом рассуждений через параметр "reasoning_enabled". Она демонстрирует производительность уровня DeepSeek-R1, но работает быстрее, идеально подходя для программирования, исследований и агентных workflow.

• Gemma 3

Основная особенность этой модели в том, что она поддерживает картинки. Вы можете использовать ее как OCR: модель распознает рукописный текст на русском языке. Кроме этого, модель распознает и классифицирует объекты на фотографиях; может распознавать и переводить надписи.

• Qwen 3 32B

Основная модель, с которой рекомендуется начинать эксперименты. Поддерживает нативный вызов инструментов.

Режимы работы:

• с рассуждениями (включен по умолчанию).
• без рассуждений (нужно передать в запросе /no_think).

:::

Авторизация в чате с LLM

Доступ к чату с LLM-моделями предоставляется по уникальной ссылке, которая формируется после создания тенанта.

1. В левом меню откройте раздел Тенанты.
2. Нажмите на имя тенанта.
3. Из поля Url приложения скопируйте ссылку на чат с LLM.
4. Вставьте ссылку в браузер. Откроется чат с LLM.

Интерфейс чата с LLM включает:

• Чат

В этом разделе ведется диалог с моделью По умолчанию используется модель Gemma 3. Для смены модели выберите подходящий вариант из выпадающего меню. Рекомендации по выбору модели доступны в разделе Доступные модели.

• Базы знаний Для генерации отвеfтов не на базе своего раннего обучения, а на основе актуальных данных, необходимо выбрать нужную базу знаний из выпадающего меню. Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Базы знаний.

• Системные промпты Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. Подробно про промпты можно почитать тут: Промпты.

Выбрать LLM

Следующим шагом надо выбрать одну из доступных моделей.

По умолчанию установлена модель Gemma 3, но мы рекомендуем начинать эксперименты с модели Qwen 3 32B, которая имеет больший контекст, поддерживает нативный вызов инструментов, а также может работать как в режиме с рассуждениями (включен по умолчанию) или без них - в таком случае нужно передать в запросе "/no_think". С списанием, какие модели доступны, а также, какие преимущества есть у каждой из моделей, можно ознакомиться в разделе Доступные модели.

После выбора модели можно начинать диалог с чатом. Для этого необходимо просто писать свой запрос в окно диалога и дожидаться ответа.

Использовать базу знаний

В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.

И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации.

Как видим, модель получила данные из базы знаний и сослалась на них.

Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.

Редактировать системный промпт

Системное сообщение (Prompt) определяет логику ответов модели. Есть возможность настраивать шаблон запроса.

Добавить промпт

1. Перейдите в раздел AI платформа.
2. В левом меню откройте раздел База знаний.
3. Нажмите кнопку Создать системный промпт.
4. Заполните параметры промпта:
   • Название: введите название систменого промпта.
   • Содержание: введите содержание промпта.
5. Нажмите Создать.

Редактирование системного промпта

Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.

Сменить тенант

В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:

1. Перейдите в AI платформу чат с LLM-моделями.
2. В левом меню откройте раздел Тенанты.
3. Выберите из списка подходящий тенант.

::: details Завиисмость от тенантов В другом тенанте может отличаться:

• Список доступных моделей;
• Список Баз знаний;
• Список системных промптов.

Все вышеперечисленные сущности привязываются к тенанту.

:::

Начать диалог с LLM

Очистить контекст диалога

При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: Ограничения LLM.