Доработка разделов управление сервисом, обзор сервиса

This commit is contained in:
Elena Rechkina
2025-11-24 16:35:21 +06:00
parent 9332950817
commit ceb4c272c8
4 changed files with 125 additions and 140 deletions
+88
View File
@@ -109,3 +109,91 @@ LLM эффективны для обработки текста и решени
### Схема работы LLM с базой знаний
![alt text](./image/Sh_LLM_RAG_1024.png)
#### Сменить тенант
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
2. В левом меню откройте раздел **Тенанты**.
3. Выберите из списка подходящий тенант.
![alt text](./image/Chat_Ai_Tenant_1024.png)
![alt text](./image/Chat_Ai_Tenant_list_1024.png)
::: details Завиисмость от тенантов
В другом тенанте может отличаться:
- Список доступных моделей;
- Список Баз знаний;
- Список системных промптов.
Все вышеперечисленные сущности привязываются к тенанту.
:::
#### Использовать базу знаний (RAG)
В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.
![alt text](./image/Chat_AI_Choice_RAG_SalesHelper_1024.png)
И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации.
![alt text](./image/Chat_AI_Answer_RAG_SOHO_1024.png)
Как видим, модель получила данные из базы знаний и сослалась на них.
Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
## Промпты
**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
#### Добавить промпт
1. Перейдите в раздел AI платформа.
2. В левом меню откройте раздел **База знаний**.
3. Нажмите кнопку **Создать системный промпт**.
4. Заполните параметры промпта:
- **Название**: введите название систменого промпта.
- **Содержание**: введите содержание промпта.
5. Нажмите **Создать**.
#### Редактирование системного промпта
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.
![alt text](./image/Chat_AI_Edit_System_prompt_1024.png)
![alt text](./image/Chat_AI_Create_System_prompt_1024.png)
![alt text](./image/Chat_AI_Choice_System_prompt_1024.png)
## Ликбез
#### Промпты
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.
#### Cистемные промпты
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.
*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*
#### Контекст
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
#### Токены
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.
Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.
#### Базы знаний (RAG)
**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.
*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*