fox/src/ai/ai-chat-llm.md

# Чат с LLM

**Чат с LLM** - это интерфейс для общения с LLM-моделями. Подходит для знакомства и тестирования моделей.

Исходя из возможностей сервиса Чат с LLM пользовательский путь от авторизации к диалогу выглядит следующим образом:

1. Переход в чат с LLM.
2. Выбор LLM.
3. Выбор базы знаний.
4. Настройка системного промпта.
5. Диалог с LLM.

## Доступные модели

Чат с LLM поддерживает модели:.

| Модель | Контекст | Параметры | Reasoning | Инструменты | Картинки |
|:-------|:-------|:-------|:-------|:-------|:-------|
| Deepseek-chat	| 131k | 671B	| ✅ | ✅ | ❌ |
| Gemma 3 | 128k	| 27B	| ❌	| ❌	| ✅ |
| Qwen 3 |  131k | 32B | ✅	|✅ |	❌|

::: details Описание моделей

- **DeepSeek Chat**

DeepSeek V3 — это мощная гибридная модель с 671 млрд. параметров, специально оптимизированная для кодогенерации и работы поисковых агентов. Модель поддерживает контекст до 128 тыс. токенов и позволяет гибко управлять режимом рассуждений через параметр "reasoning_enabled". Она демонстрирует производительность уровня DeepSeek-R1, но работает быстрее, идеально подходя для программирования, исследований и агентных workflow.

- **Gemma 3**

Основная особенность этой модели в том, что она поддерживает картинки. Вы можете использовать ее как OCR: модель распознает рукописный текст на русском языке. Кроме этого, модель распознает и классифицирует объекты на фотографиях; может распознавать и переводить надписи.

- **Qwen 3 32B**

Основная модель, с которой рекомендуется начинать эксперименты. Поддерживает нативный вызов инструментов.

Режимы работы:

- с рассуждениями (включен по умолчанию).
- без рассуждений (нужно передать в запросе /no_think).

:::

## Авторизация в чате с LLM

Доступ к чату с LLM-моделями предоставляется по уникальной ссылке, которая формируется после [создания тенанта](ai-setting.md#создать-тенант).

1. В левом меню откройте раздел **Тенанты**.
2. Нажмите на имя тенанта.
3. Из поля **Url приложения** скопируйте ссылку на чат с LLM.
4. Вставьте ссылку в браузер. Откроется чат с LLM.

![alt text](./image/Chat_AI_Main_1024.png)

::: details Интерфейс чата с LLM

- **Чат**

Раздел включает функции:

- диалог с моделью в режиме вопрос-ответ;
- выбор LLM;
- выбор базы знаний.

- **Базы знаний**

Раздел предназначен для подготовки базы знаний, на основе которой модель будет генерировать ответы.

- **Системные промпты**

Раздел предназначен для создания системных промптов. Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.

:::

## Начать диалог с моделью

1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
2. В левом меню выберите раздел **Чаты**.
3. Выберите из списка модель. Если в списке отсутствует нужная [модель](#доступные-модели), то [добавьте модель](ai-setting.md#добавить-модель) в тенант.

    ::: tip Информация

    Эксперименты рекомендуется с модели **Qwen 3 32B**, которая имеет больший контекст и поддерживает нативный вызов инструментов.

    Модель **Qwen 3 32B** может работать:
    - с рассуждениями - этот режим включен по умолчанию;
    - без рассуждений - в этом случае нужно передать в запросе `/no_think`.

    :::
4. Введите запрос к модели. Дождитесь ответа.

## Использовать базу знаний

Если необходимо, чтобы модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то необходимо указать базу знаний, с которой чат должен расширить свой контекст.

Для этого необходимо выбрать базу знаний и продолжить диалог.

![alt text](./image/Chat_AI_Choice_RAG_SalesHelper_1024.png)

Если база знаний отсутствует в списке, то [создайте](#создать-базу-знаний) базу знаний и добавьте документы.

### Создать базу знаний

1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
2. В левом меню выберите раздел **Базы знаний**.
3. Нажмите кнопку **Создать базу знаний**.
4. Заполните параметры базы знаний:
   - **Имя**: введите имя базы знаний, имя будет отображаться при выборе базы знаний в чате.
   - **Описание**: введите описание базы знаний.
5. Нажмите кнопку **Создать**.

База знаний будет создана, но в ней пока нет информации для генерации ответов модели. Добавьте 

### Добавить документ в базу знаний



## Редактировать системный промпт

**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.

#### Добавить промпт

1. Перейдите в раздел AI платформа.
2. В левом меню откройте раздел **База знаний**.
3. Нажмите кнопку **Создать системный промпт**.
4. Заполните параметры промпта:
    - **Название**: введите название систменого промпта.
    - **Содержание**: введите содержание промпта.  
5. Нажмите **Создать**.

#### Редактирование системного промпта

Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.

![alt text](./image/Chat_AI_Edit_System_prompt_1024.png)

![alt text](./image/Chat_AI_Create_System_prompt_1024.png)

![alt text](./image/Chat_AI_Choice_System_prompt_1024.png)

## Сменить тенант

В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:

1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
2. В левом меню откройте раздел **Тенанты**.
3. Выберите из списка подходящий тенант.

![alt text](./image/Chat_Ai_Tenant_1024.png)
![alt text](./image/Chat_Ai_Tenant_list_1024.png)

::: details Завиисмость от тенантов
В другом тенанте может отличаться:

- Список доступных моделей;
- Список Баз знаний;
- Список системных промптов.

Все вышеперечисленные сущности привязываются к тенанту.

:::

## Начать диалог с LLM

## Очистить контекст диалога

При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: [Ограничения LLM](../ai/ai-chat-llm.md#ограничения-llm).