Описание функции чата с моделями
This commit is contained in:
Elena Rechkina
+71
-123
@@ -1,38 +1,72 @@
|
||||
# Чат с LLM
|
||||
|
||||
Раздел описывает работу с LLM-моделями. Описание включает обзор элементов управления, процесс выбора моделей и используемую терминологию для эффективного взаимодействия с AI платформой.
|
||||
**Чат с LLM** - это интерфейс для общения с LLM-моделями. Подходит для знакомства и тестирования моделей.
|
||||
|
||||
Исходя из возможностей сервиса Чат с LLM пользовательский путь от авторизации к диалогу выглядит следующим образом:
|
||||
|
||||
## Обзор сервиса Чат с LLM
|
||||
1. Переход в чат с LLM.
|
||||
2. Выбор LLM.
|
||||
3. Выбор базы знаний.
|
||||
4. Настройка системного промпта.
|
||||
5. Диалог с LLM.
|
||||
|
||||
**Чат с LLM** — это интуитивно понятный интерфейс для общения с LLM (Large Language Model). Подходит для знакомства с моделями, а также для встраивания на любой сайт в виде виджета. Чат дает возможность выбирать различные LLM модели, базы знаний и настраивать системные промпты под свои задачи.
|
||||
## Доступные модели
|
||||
|
||||
**Интерфейс чата:**
|
||||
Чат с LLM поддерживает модели:.
|
||||
|
||||
| Модель | Контекст | Параметры | Reasoning | Инструменты | Картинки |
|
||||
|:-------|:-------|:-------|:-------|:-------|:-------|
|
||||
| Deepseek-chat | 131k | 671B | ✅ | ✅ | ❌ |
|
||||
| Gemma 3 | 128k | 27B | ❌ | ❌ | ✅ |
|
||||
| Qwen 3 | 131k | 32B | ✅ |✅ | ❌|
|
||||
|
||||
::: details Описание моделей
|
||||
|
||||
- **DeepSeek Chat**
|
||||
|
||||
DeepSeek V3 — это мощная гибридная модель с 671 млрд. параметров, специально оптимизированная для кодогенерации и работы поисковых агентов. Модель поддерживает контекст до 128 тыс. токенов и позволяет гибко управлять режимом рассуждений через параметр "reasoning_enabled". Она демонстрирует производительность уровня DeepSeek-R1, но работает быстрее, идеально подходя для программирования, исследований и агентных workflow.
|
||||
|
||||
- **Gemma 3**
|
||||
|
||||
Основная особенность этой модели в том, что она поддерживает картинки. Вы можете использовать ее как OCR: модель распознает рукописный текст на русском языке. Кроме этого, модель распознает и классифицирует объекты на фотографиях; может распознавать и переводить надписи.
|
||||
|
||||
- **Qwen 3 32B**
|
||||
|
||||
Основная модель, с которой рекомендуется начинать эксперименты. Поддерживает нативный вызов инструментов.
|
||||
|
||||
Режимы работы:
|
||||
|
||||
- с рассуждениями (включен по умолчанию).
|
||||
- без рассуждений (нужно передать в запросе /no_think).
|
||||
|
||||
:::
|
||||
|
||||
## Авторизация в чате с LLM
|
||||
|
||||
Доступ к чату с LLM-моделями предоставляется по уникальной ссылке, которая формируется после [создания тенанта](ai-setting.md#создать-тенант).
|
||||
|
||||
1. В левом меню откройте раздел **Тенанты**.
|
||||
2. Нажмите на имя тенанта.
|
||||
3. Из поля **Url приложения** скопируйте ссылку на чат с LLM.
|
||||
4. Вставьте ссылку в браузер. Откроется чат с LLM.
|
||||
|
||||
|
||||
|
||||
В интерфейсе доступен следующий функционал:
|
||||
Интерфейс чата с LLM включает:
|
||||
|
||||
1. **Выбор модели:**
|
||||
- **Чат**
|
||||
|
||||
В этом разделе ведется диалог с моделью
|
||||
По умолчанию используется модель Gemma 3. Для смены модели выберите подходящий вариант из выпадающего меню. Рекомендации по выбору модели доступны в разделе [Доступные модели](../ai/ai-chat-llm.md#дотупные-модели).
|
||||
|
||||
2. **Выбор базы знаний:**
|
||||
- **Базы знаний**
|
||||
Для генерации отвеfтов не на базе своего раннего обучения, а на основе актуальных данных, необходимо выбрать нужную базу знаний из выпадающего меню. Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе [Базы знаний](../ai/ai-overview-platform.md#ликбез).
|
||||
|
||||
3. **Выбор системного промпта:**
|
||||
- **Системные промпты**
|
||||
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. Подробно про промпты можно почитать тут: [Промпты](../ai/ai-overview-platform.md#ликбез).
|
||||
|
||||
4. **Очистка контекста диалога:**
|
||||
При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: [Ограничения LLM](../ai/ai-chat-llm.md#ограничения-llm).
|
||||
|
||||
5. **Диалог пользователя с чатом**
|
||||
Диалог с чатом пользователь ведёт как в обычном чате в режиме вопрос-ответ.
|
||||
|
||||
Исходя из возможностей сервиса **Чат с LLM** пользовательский путь от авторизации к диалогу выглядит следующим образом:
|
||||
|
||||
|
||||
|
||||
## Выбор LLM
|
||||
## Выбрать LLM
|
||||
|
||||
Следующим шагом надо выбрать одну из доступных моделей.
|
||||
|
||||
@@ -41,99 +75,11 @@
|
||||
По умолчанию установлена модель Gemma 3, но мы рекомендуем начинать эксперименты с модели Qwen 3 32B, которая имеет больший контекст, поддерживает нативный вызов инструментов, а также может работать как в режиме с рассуждениями (включен по умолчанию) или без них - в таком случае нужно передать в запросе "/no_think".
|
||||
С списанием, какие модели доступны, а также, какие преимущества есть у каждой из моделей, можно ознакомиться в разделе [Доступные модели](../ai/ai-chat-llm.md#доступные-модели).
|
||||
|
||||
## Доступные модели
|
||||
|
||||
В этом разделе мы ведём актуальный список моделей, которые доступны на платформе.
|
||||
|
||||
| Модель | Контекст | Параметры | Reasoning | Инструменты | Картинки |
|
||||
|:-------|:-------|:-------|:-------|:-------|:-------|
|
||||
| Deepseek-chat | 131k | 671B | ✅ | ✅ | ❌ |
|
||||
| Gemma 3 | 128k | 27B | ❌ | ❌ | ✅ |
|
||||
| Qwen 3 | 131k | 32B | ✅ |✅ | ❌|
|
||||
|
||||
::: details Описание доступных моделей
|
||||
|
||||
* **DeepSeek Chat**
|
||||
|
||||
Обновление DeepSeek V3 — это мощная гибридная модель с 671 млрд параметров, специально оптимизированная для кодогенерации и работы поисковых агентов. Модель поддерживает контекст до 128 тыс. токенов и позволяет гибко управлять режимом рассушений через параметр "reasoning_enabled". Она демонстрирует производительность уровня DeepSeek-R1, но работает быстрее, идеально подходя для программирования, исследований и агентных workflow.
|
||||
|
||||
* **Gemma 3**
|
||||
|
||||
Основная особенность этой модели в том, что она поддерживает картинки. Вы можете использовать её как OCR: модель неожиданно хорошо распознаёт даже рукописный текст на русском. Кроме этого, модель распознаёт и классифицирует объекты на фотографиях; может распознавать и переводить надписи.
|
||||
|
||||
* **Qwen 3 32B**
|
||||
|
||||
Основная модель, с которой мы рекомендуем начинать эксперименты. Поддерживает нативный вызов инструментов.
|
||||
Может работать как в режиме:
|
||||
- с рассуждениями (включен по умолчанию)
|
||||
- без рассуждений (нужно передать в запросе /no_think).
|
||||
|
||||
:::
|
||||
|
||||
После выбора модели можно начинать диалог с чатом. Для этого необходимо просто писать свой запрос в окно диалога и дожидаться ответа.
|
||||
|
||||
## Ликбез
|
||||
|
||||
### Что такое LLM
|
||||
Представьте, что у вас есть программа, которая прочитала миллионы книг, статей и страниц из интернета, а потом научилась предсказывать, какие слова могут идти друг за другом в любом тексте. Примерно так устроена большая языковая модель, или LLM (Large Language Model).
|
||||
|
||||
**LLM** — это просто большая куча матриц и векторной алгебры, которая обучается на огромном количестве текстов. В процессе обучения модель не просто запоминает информацию, а учится находить связи между словами, понимать закономерности языка и генерировать осмысленные ответы на самые разные вопросы. Когда вы задаёте LLM вопрос, она «вспоминает» подходящие по смыслу фразы и пытается предугадать, какие слова должны идти дальше, чтобы ответ звучал логично и понятно.
|
||||
|
||||
### Как LLM формирует ответы
|
||||
Когда вы отправляете запрос, LLM делает следующее:
|
||||
|
||||
- **Читает ваш текст** и превращает его в последовательности чисел (векторов).
|
||||
- **Находит связи** между вашим запросом и миллиардами других примеров, которые она изучила раньше. В весах модели, которые хранятся в виде таких же векторов, эти знания представлены в виде статистических связей, а не в виде исходного текста.
|
||||
- **Предсказывает наиболее вероятные слова** или фразы, которые подходят для продолжения вашего текста.
|
||||
- **Формирует ответ** по слову за раз, следуя наиболее логичной последовательности, исходя из своего опыта и изученных примеров.
|
||||
|
||||
Важно отметить, что все ответы LLM вероятностные, т. е. на один и тот же вопрос модель всегда будет отвечать немного по-разному. Именно поэтому ответы LLM могут выглядеть очень разумными и логичными, но при этом модель может допускать ошибки — она не всегда «понимает» информацию так, как это сделал бы человек.
|
||||
|
||||
### Ограничения LLM
|
||||
Языковые модели обладают рядом принципиальных ограничений, которые важно учитывать при работе с ними:
|
||||
|
||||
- **Ограниченный контекст** — модель одновременно обрабатывает только определенный объем текста (обычно несколько тысяч слов). При превышении этого лимита ранние части диалога "забываются", что приводит к потере контекста в продолжительных беседах.
|
||||
|
||||
- **Отсутствие долговременной памяти** — модель не запоминает предыдущие разговоры. Каждый новый запрос обрабатывается изолированно, а поддержание диалога требует постоянной пересылки всей истории.
|
||||
|
||||
- **Временное ограничение знаний** — обучение модели завершено на определенную дату (например, октябрь 2023 года). События и информация после этой даты модели неизвестны без дополнительных источников.
|
||||
|
||||
- **Вероятностная природа** — модель не обладает сознанием или реальным пониманием мира. Она генерирует ответы на основе статистических закономерностей, выученных из обучающих данных.
|
||||
|
||||
- **Склонность к галлюцинациям** — модель может генерировать правдоподобную, но фактически неверную информацию, особенно в узкоспециализированных темах или при недостатке релевантных данных.
|
||||
|
||||
- **Неспособность к точным вычислениям** — модель не выполняет математические операции, а предсказывает наиболее вероятный ответ. Для точных расчетов рекомендуется использовать связку "генерация кода → выполнение в интерпретаторе → анализ результата".
|
||||
|
||||
LLM эффективны для обработки текста и решения стандартных задач, но для сложных кейсов требуют дополнительной инфраструктуры — баз знаний, интеграций с внешними системами и инструментов выполнения кода.
|
||||
|
||||
### Схема работы LLM с базой знаний
|
||||
|
||||
|
||||
|
||||
|
||||
#### Сменить тенант
|
||||
|
||||
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:
|
||||
|
||||
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
|
||||
2. В левом меню откройте раздел **Тенанты**.
|
||||
3. Выберите из списка подходящий тенант.
|
||||
|
||||
|
||||
|
||||
|
||||
::: details Завиисмость от тенантов
|
||||
В другом тенанте может отличаться:
|
||||
|
||||
- Список доступных моделей;
|
||||
- Список Баз знаний;
|
||||
- Список системных промптов.
|
||||
|
||||
Все вышеперечисленные сущности привязываются к тенанту.
|
||||
|
||||
:::
|
||||
|
||||
#### Использовать базу знаний (RAG)
|
||||
## Использовать базу знаний
|
||||
|
||||
В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.
|
||||
|
||||
@@ -147,7 +93,7 @@ LLM эффективны для обработки текста и решени
|
||||
|
||||
Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
|
||||
|
||||
## Промпты
|
||||
## Редактировать системный промпт
|
||||
|
||||
**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
|
||||
|
||||
@@ -172,28 +118,30 @@ LLM эффективны для обработки текста и решени
|
||||
|
||||
|
||||
|
||||
## Ликбез
|
||||
## Сменить тенант
|
||||
|
||||
#### Промпты
|
||||
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.
|
||||
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:
|
||||
|
||||
#### Cистемные промпты
|
||||
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.
|
||||
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
|
||||
2. В левом меню откройте раздел **Тенанты**.
|
||||
3. Выберите из списка подходящий тенант.
|
||||
|
||||
*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*
|
||||
|
||||
|
||||
|
||||
#### Контекст
|
||||
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
|
||||
::: details Завиисмость от тенантов
|
||||
В другом тенанте может отличаться:
|
||||
|
||||
#### Токены
|
||||
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.
|
||||
- Список доступных моделей;
|
||||
- Список Баз знаний;
|
||||
- Список системных промптов.
|
||||
|
||||
Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.
|
||||
Все вышеперечисленные сущности привязываются к тенанту.
|
||||
|
||||
#### Базы знаний (RAG)
|
||||
:::
|
||||
|
||||
**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
|
||||
## Начать диалог с LLM
|
||||
|
||||
Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.
|
||||
## Очистить контекст диалога
|
||||
|
||||
*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*
|
||||
При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: [Ограничения LLM](../ai/ai-chat-llm.md#ограничения-llm).
|
||||
Reference in New Issue
Block a user