Доработка разделов управление сервисом, обзор сервиса
This commit is contained in:
Elena Rechkina
@@ -109,3 +109,91 @@ LLM эффективны для обработки текста и решени
|
||||
### Схема работы LLM с базой знаний
|
||||
|
||||
|
||||
|
||||
|
||||
#### Сменить тенант
|
||||
|
||||
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:
|
||||
|
||||
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
|
||||
2. В левом меню откройте раздел **Тенанты**.
|
||||
3. Выберите из списка подходящий тенант.
|
||||
|
||||
|
||||
|
||||
|
||||
::: details Завиисмость от тенантов
|
||||
В другом тенанте может отличаться:
|
||||
|
||||
- Список доступных моделей;
|
||||
- Список Баз знаний;
|
||||
- Список системных промптов.
|
||||
|
||||
Все вышеперечисленные сущности привязываются к тенанту.
|
||||
|
||||
:::
|
||||
|
||||
#### Использовать базу знаний (RAG)
|
||||
|
||||
В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.
|
||||
|
||||
|
||||
|
||||
И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации.
|
||||
|
||||
|
||||
|
||||
Как видим, модель получила данные из базы знаний и сослалась на них.
|
||||
|
||||
Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
|
||||
|
||||
## Промпты
|
||||
|
||||
**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
|
||||
|
||||
#### Добавить промпт
|
||||
|
||||
1. Перейдите в раздел AI платформа.
|
||||
2. В левом меню откройте раздел **База знаний**.
|
||||
3. Нажмите кнопку **Создать системный промпт**.
|
||||
4. Заполните параметры промпта:
|
||||
- **Название**: введите название систменого промпта.
|
||||
- **Содержание**: введите содержание промпта.
|
||||
5. Нажмите **Создать**.
|
||||
|
||||
#### Редактирование системного промпта
|
||||
|
||||
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
|
||||
Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## Ликбез
|
||||
|
||||
#### Промпты
|
||||
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.
|
||||
|
||||
#### Cистемные промпты
|
||||
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.
|
||||
|
||||
*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*
|
||||
|
||||
#### Контекст
|
||||
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
|
||||
|
||||
#### Токены
|
||||
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.
|
||||
|
||||
Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.
|
||||
|
||||
#### Базы знаний (RAG)
|
||||
|
||||
**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
|
||||
|
||||
Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.
|
||||
|
||||
*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*
|
||||
@@ -1,54 +1,9 @@
|
||||
# Обзор сервиса Beeline AI платфома
|
||||
# Обзор сервиса
|
||||
|
||||
Сервис **AI платфома** предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий.
|
||||
|
||||
**Beeline AI платформа** предоставляет доступ к AI-моделям через удобные графические интерфейсы, а также предоставляет набор API для интеграции LLM-моделей в корпоративные продукты Beline.
|
||||
|
||||
## Возможности сервиса
|
||||
|
||||
- Интерфейс для взаимодействия с моделями в формате чат-бота.
|
||||
- Загрузка базы знаний.
|
||||
- Поддержка работы с различными LLM.
|
||||
- Интеграция модели через OpenAI и API.
|
||||
|
||||
## Ролевая модель
|
||||
|
||||
В сервисе реализованы две роли:
|
||||
|
||||
**AI платформа: Администратор**:
|
||||
- создание, удаление тенанта;
|
||||
- добавление, удаление модели;
|
||||
- создание, удаление базы знаний;
|
||||
- все функции роли **AI платформа: Пользователь**.
|
||||
|
||||
**AI платформа: Пользователь**:
|
||||
- доступ к UI AI платформа;
|
||||
- создание запросов в выбранной LLM и получение ответов;
|
||||
- управление базой знаний: добавление, просмотр и удаление документов;
|
||||
- подключение к AI платформа с помощью API интерфейса.
|
||||
|
||||
## Ликбез
|
||||
|
||||
#### Промпты
|
||||
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.
|
||||
|
||||
#### Cистемные промпты
|
||||
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.
|
||||
|
||||
*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*
|
||||
|
||||
#### Контекст
|
||||
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
|
||||
|
||||
#### Токены
|
||||
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.
|
||||
|
||||
Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.
|
||||
|
||||
#### Базы знаний (RAG)
|
||||
|
||||
**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
|
||||
|
||||
Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.
|
||||
|
||||
*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*
|
||||
|
||||
+36
-94
@@ -1,12 +1,10 @@
|
||||
# Настройка и управление AI платформы
|
||||
# Управление сервисом
|
||||
|
||||
Раздел описывает ключевые компоненты платформы и процедуры их настройки. Рассмотрены основные сущности системы и приведены пошаговые инструкции по созданию и управлению компонентами платформы.
|
||||
В разделе рассмотрены компоненты сервиса **AI платформа** и приведены пошаговые инструкции по их созданию и управлению компонентами.
|
||||
|
||||
## Тенанты
|
||||
## Создать тенант
|
||||
|
||||
**Тенант** представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается через консоль управления Vega.
|
||||
|
||||
#### Создать тенант
|
||||
**Тенант** представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается в личном кабинете Beeline Cloud.
|
||||
|
||||
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
|
||||
2. В верхнем меню нажмите на раздел **Сервисы**.
|
||||
@@ -16,108 +14,52 @@
|
||||
6. Введите имя тенанта.
|
||||
7. Нажмите **Создать тенант**.
|
||||
|
||||
#### Сменить тенант
|
||||
## Добавить модель
|
||||
|
||||
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:
|
||||
**Модель (Large Language Model, LLM)** это комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. Модель подключается к тенанту для обработки запросов.
|
||||
|
||||
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
|
||||
2. В левом меню откройте раздел **Тенанты**.
|
||||
3. Выберите из списка подходящий тенант.
|
||||
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
|
||||
2. В верхнем меню нажмите на раздел **Сервисы**.
|
||||
3. Выберите **Сервис AI платформа**.
|
||||
4. В левом меню откройте раздел **Модели**.
|
||||
5. Нажмите кнопку **Добавить модель**.
|
||||
6. Заполните параметры модели:
|
||||
- **Тенант**: выберите тенант, в котором будет использоваться модель.
|
||||
- **Модель**: выберите из списка подходящую LLM-модель.
|
||||
- **Токены**: введите лимит использования токенов в час.
|
||||
7. Нажмите кнопку **Добавить модель**.
|
||||
|
||||
|
||||
|
||||
## Добавить базу знаний
|
||||
|
||||
::: details Завиисмость от тенантов
|
||||
В другом тенанте может отличаться:
|
||||
**База знаний** представляет собой специализированный контейнер данных, который дополняет ответы модели на основе содержимого базы. База знаний позволяет модели использовать внешние данные (файлы, документы) для генерации ответов.
|
||||
|
||||
- Список доступных моделей;
|
||||
- Список Баз знаний;
|
||||
- Список системных промптов.
|
||||
|
||||
Все вышеперечисленные сущности привязываются к тенанту.
|
||||
|
||||
:::
|
||||
|
||||
## Модель
|
||||
|
||||
**Модель (Large Language Model, LLM)** это комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. LLM подключается к тенанту для обработки запросов. Поддерживает интеграцию в формате OpenAI.
|
||||
|
||||
#### Добавить модель
|
||||
|
||||
Платформа поддерживает добавление моделей несколькими способами:
|
||||
Сервис поддерживает добавление базы знаний несколькими способами:
|
||||
|
||||
- **При создании тенанта** — на этапе начальной настройки;
|
||||
- **Через интерфейс чата** — выберите **Модели** в левом меню и нажмите **Добавить модель**.
|
||||
- **Через интерфейс чата с LLM** — выберите **Базы знаний** в левом меню чата с LLM и нажмите **Создать базу знаний**.
|
||||
|
||||
1. Перейдите в раздел **AI платформа**.
|
||||
2. Нажмите кнопку **Добавить модель**.
|
||||
3. Заполните параметры модели:
|
||||
- **Тенант**: выберите ранее созданный тенант.
|
||||
- **Модель**: выберите подходящую LLM-модель из каталога доступных.
|
||||
- **Токены**: введите лимит использоваения **токенов в час**.
|
||||
4. Нажмите кнопку **Добавить модель**.
|
||||
|
||||
## Базы знаний
|
||||
|
||||
**База знаний** представляет собой специализированный контейнер данных, который дополняет ответы LLM на основе содержимого базы. База знаний позволяет модели использовать внешние данные для генерации ответов.
|
||||
|
||||
#### Добавить базу знаний
|
||||
|
||||
1. Перейдите в раздел AI платформа.
|
||||
2. В левом меню откройте раздел **База знаний**.
|
||||
3. Нажмите кнопку **Создать базу знаний**.
|
||||
4. Заполните параметры базу знаний:
|
||||
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
|
||||
2. В верхнем меню нажмите на раздел **Сервисы**.
|
||||
3. Выберите **Сервис AI платформа**.
|
||||
4. В левом меню откройте раздел **База знаний**.
|
||||
5. Нажмите кнопку **Создать базу знаний**.
|
||||
6. Заполните параметры базу знаний:
|
||||
- **Тенант**: выберите из списка тенант.
|
||||
- **Имя**: введите имя базы знаний.
|
||||
- **Описание**: введите описание базы знаний.
|
||||
5. Нажмите **Создать базу знаний**.
|
||||
7. Нажмите **Создать базу знаний**.
|
||||
|
||||
#### Использовать базу знаний (RAG)
|
||||
Наполнение базы знаний документами, на основании которых будет генерироваться ответ модели, выполняется в чате с LLM.
|
||||
|
||||
В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.
|
||||
## Удалить тенант, модель, базу знаний
|
||||
|
||||
|
||||
|
||||
И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации.
|
||||
|
||||
|
||||
|
||||
Как видим, модель получила данные из базы знаний и сослалась на них.
|
||||
|
||||
Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
|
||||
|
||||
## Промпты
|
||||
|
||||
**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
|
||||
|
||||
#### Добавить промпт
|
||||
|
||||
1. Перейдите в раздел AI платформа.
|
||||
2. В левом меню откройте раздел **База знаний**.
|
||||
3. Нажмите кнопку **Создать системный промпт**.
|
||||
4. Заполните параметры промпта:
|
||||
- **Название**: введите название систменого промпта.
|
||||
- **Содержание**: введите содержание промпта.
|
||||
5. Нажмите **Создать**.
|
||||
|
||||
#### Редактирование системного промпта
|
||||
|
||||
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
|
||||
Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## Удаление тенанта, модели, базы знаний
|
||||
|
||||
1. Перейдите в консоль управления.
|
||||
2. Откройте раздел c нужным ресурсом сервиса:
|
||||
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
|
||||
2. В верхнем меню нажмите на раздел **Сервисы**.
|
||||
3. Выберите **Сервис AI платформа**.
|
||||
4. Откройте раздел c нужным компонентом сервиса:
|
||||
- **Тенанты**,
|
||||
- **Модели**,
|
||||
- **Базы знаний**.
|
||||
3. В таблице найдите строку с нужным ресурсом.
|
||||
4. Нажмите … и выберите **Удалить**.
|
||||
5. В открывшемся окне подтвердите операцию, нажав **Удалить**.
|
||||
5. В таблице найдите строку с нужным компонентом сервиса.
|
||||
6. Нажмите … и выберите **Удалить**.
|
||||
7. В открывшемся окне подтвердите операцию, нажав **Удалить**.
|
||||
|
||||
Reference in New Issue
Block a user