Доработка разделов управление сервисом, обзор сервиса
This commit is contained in:
@@ -109,3 +109,91 @@ LLM эффективны для обработки текста и решени
|
||||
### Схема работы LLM с базой знаний
|
||||
|
||||

|
||||
|
||||
|
||||
#### Сменить тенант
|
||||
|
||||
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:
|
||||
|
||||
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
|
||||
2. В левом меню откройте раздел **Тенанты**.
|
||||
3. Выберите из списка подходящий тенант.
|
||||
|
||||

|
||||

|
||||
|
||||
::: details Завиисмость от тенантов
|
||||
В другом тенанте может отличаться:
|
||||
|
||||
- Список доступных моделей;
|
||||
- Список Баз знаний;
|
||||
- Список системных промптов.
|
||||
|
||||
Все вышеперечисленные сущности привязываются к тенанту.
|
||||
|
||||
:::
|
||||
|
||||
#### Использовать базу знаний (RAG)
|
||||
|
||||
В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.
|
||||
|
||||

|
||||
|
||||
И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации.
|
||||
|
||||

|
||||
|
||||
Как видим, модель получила данные из базы знаний и сослалась на них.
|
||||
|
||||
Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
|
||||
|
||||
## Промпты
|
||||
|
||||
**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
|
||||
|
||||
#### Добавить промпт
|
||||
|
||||
1. Перейдите в раздел AI платформа.
|
||||
2. В левом меню откройте раздел **База знаний**.
|
||||
3. Нажмите кнопку **Создать системный промпт**.
|
||||
4. Заполните параметры промпта:
|
||||
- **Название**: введите название систменого промпта.
|
||||
- **Содержание**: введите содержание промпта.
|
||||
5. Нажмите **Создать**.
|
||||
|
||||
#### Редактирование системного промпта
|
||||
|
||||
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
|
||||
Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.
|
||||
|
||||

|
||||
|
||||

|
||||
|
||||

|
||||
|
||||
## Ликбез
|
||||
|
||||
#### Промпты
|
||||
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.
|
||||
|
||||
#### Cистемные промпты
|
||||
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.
|
||||
|
||||
*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*
|
||||
|
||||
#### Контекст
|
||||
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
|
||||
|
||||
#### Токены
|
||||
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.
|
||||
|
||||
Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.
|
||||
|
||||
#### Базы знаний (RAG)
|
||||
|
||||
**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
|
||||
|
||||
Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.
|
||||
|
||||
*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*
|
||||
Reference in New Issue
Block a user