alex/fox
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Доработка разделов управление сервисом, обзор сервиса

Browse Source
This commit is contained in:
Elena Rechkina
2025-11-24 16:35:21 +06:00
parent 9332950817
commit ceb4c272c8
4 changed files with 125 additions and 140 deletions
Download Patch File Download Diff File Expand all files Collapse all files
src/ai/ai-chat-llm.md
+88
View File
@@ -109,3 +109,91 @@ LLM эффективны для обработки текста и решени
### Схема работы LLM с базой знаний ### Схема работы LLM с базой знаний
![alt text](./image/Sh_LLM_RAG_1024.png) ![alt text](./image/Sh_LLM_RAG_1024.png)
#### Сменить тенант
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
2. В левом меню откройте раздел **Тенанты**.
3. Выберите из списка подходящий тенант.
![alt text](./image/Chat_Ai_Tenant_1024.png)
![alt text](./image/Chat_Ai_Tenant_list_1024.png)
::: details Завиисмость от тенантов
В другом тенанте может отличаться:
- Список доступных моделей;
- Список Баз знаний;
- Список системных промптов.
Все вышеперечисленные сущности привязываются к тенанту.
:::
#### Использовать базу знаний (RAG)
В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.
![alt text](./image/Chat_AI_Choice_RAG_SalesHelper_1024.png)
И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации.
![alt text](./image/Chat_AI_Answer_RAG_SOHO_1024.png)
Как видим, модель получила данные из базы знаний и сослалась на них.
Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
## Промпты
**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
#### Добавить промпт
1. Перейдите в раздел AI платформа.
2. В левом меню откройте раздел **База знаний**.
3. Нажмите кнопку **Создать системный промпт**.
4. Заполните параметры промпта:
- **Название**: введите название систменого промпта.
- **Содержание**: введите содержание промпта.
5. Нажмите **Создать**.
#### Редактирование системного промпта
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.
![alt text](./image/Chat_AI_Edit_System_prompt_1024.png)
![alt text](./image/Chat_AI_Create_System_prompt_1024.png)
![alt text](./image/Chat_AI_Choice_System_prompt_1024.png)
## Ликбез
#### Промпты
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.
#### Cистемные промпты
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.
*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*
#### Контекст
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
#### Токены
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.
Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.
#### Базы знаний (RAG)
**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.
*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*
src/ai/ai-glossary.md
View File
src/ai/ai-overview-platform.md
+1 -46
View File
@@ -1,54 +1,9 @@
# Обзор сервиса Beeline AI платфома # Обзор сервиса
Сервис **AI платфома** предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий. Сервис **AI платфома** предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий.
**Beeline AI платформа** предоставляет доступ к AI-моделям через удобные графические интерфейсы, а также предоставляет набор API для интеграции LLM-моделей в корпоративные продукты Beline.
## Возможности сервиса ## Возможности сервиса
- Интерфейс для взаимодействия с моделями в формате чат-бота. - Интерфейс для взаимодействия с моделями в формате чат-бота.
- Загрузка базы знаний. - Загрузка базы знаний.
- Поддержка работы с различными LLM. - Поддержка работы с различными LLM.
- Интеграция модели через OpenAI и API.
## Ролевая модель
В сервисе реализованы две роли:
**AI платформа: Администратор**:
- создание, удаление тенанта;
- добавление, удаление модели;
- создание, удаление базы знаний;
- все функции роли **AI платформа: Пользователь**.
**AI платформа: Пользователь**:
- доступ к UI AI платформа;
- создание запросов в выбранной LLM и получение ответов;
- управление базой знаний: добавление, просмотр и удаление документов;
- подключение к AI платформа с помощью API интерфейса.
## Ликбез
#### Промпты
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.
#### Cистемные промпты
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.
*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*
#### Контекст
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
#### Токены
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.
Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.
#### Базы знаний (RAG)
**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.
*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*
src/ai/ai-setting.md
+36 -94
View File
@@ -1,12 +1,10 @@
# Настройка и управление AI платформы # Управление сервисом
Раздел описывает ключевые компоненты платформы и процедуры их настройки. Рассмотрены основные сущности системы и приведены пошаговые инструкции по созданию и управлению компонентами платформы. В разделе рассмотрены компоненты сервиса **AI платформа** и приведены пошаговые инструкции по их созданию и управлению компонентами.
## Тенанты ## Создать тенант
**Тенант** представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается через консоль управления Vega. **Тенант** представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается в личном кабинете Beeline Cloud.
#### Создать тенант
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/). 1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
2. В верхнем меню нажмите на раздел **Сервисы**. 2. В верхнем меню нажмите на раздел **Сервисы**.
@@ -16,108 +14,52 @@
6. Введите имя тенанта. 6. Введите имя тенанта.
7. Нажмите **Создать тенант**. 7. Нажмите **Создать тенант**.
#### Сменить тенант ## Добавить модель
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо: **Модель (Large Language Model, LLM)** это комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. Модель подключается к тенанту для обработки запросов.
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md). 1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
2. В левом меню откройте раздел **Тенанты**. 2. В верхнем меню нажмите на раздел **Сервисы**.
3. Выберите из списка подходящий тенант. 3. Выберите **Сервис AI платформа**.
4. В левом меню откройте раздел **Модели**.
5. Нажмите кнопку **Добавить модель**.
6. Заполните параметры модели:
- **Тенант**: выберите тенант, в котором будет использоваться модель.
- **Модель**: выберите из списка подходящую LLM-модель.
- **Токены**: введите лимит использования токенов в час.
7. Нажмите кнопку **Добавить модель**.
![alt text](./image/Chat_Ai_Tenant_1024.png) ## Добавить базу знаний
![alt text](./image/Chat_Ai_Tenant_list_1024.png)
::: details Завиисмость от тенантов **База знаний** представляет собой специализированный контейнер данных, который дополняет ответы модели на основе содержимого базы. База знаний позволяет модели использовать внешние данные (файлы, документы) для генерации ответов.
В другом тенанте может отличаться:
- Список доступных моделей; Сервис поддерживает добавление базы знаний несколькими способами:
- Список Баз знаний;
- Список системных промптов.
Все вышеперечисленные сущности привязываются к тенанту.
:::
## Модель
**Модель (Large Language Model, LLM)** это комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. LLM подключается к тенанту для обработки запросов. Поддерживает интеграцию в формате OpenAI.
#### Добавить модель
Платформа поддерживает добавление моделей несколькими способами:
- **При создании тенанта** — на этапе начальной настройки; - **При создании тенанта** — на этапе начальной настройки;
- **Через интерфейс чата** — выберите **Модели** в левом меню и нажмите **Добавить модель**. - **Через интерфейс чата с LLM** — выберите **Базы знаний** в левом меню чата с LLM и нажмите **Создать базу знаний**.
1. Перейдите в раздел **AI платформа**. 1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
2. Нажмите кнопку **Добавить модель**. 2. В верхнем меню нажмите на раздел **Сервисы**.
3. Заполните параметры модели: 3. Выберите **Сервис AI платформа**.
- **Тенант**: выберите ранее созданный тенант. 4. В левом меню откройте раздел **База знаний**.
- **Модель**: выберите подходящую LLM-модель из каталога доступных. 5. Нажмите кнопку **Создать базу знаний**.
- **Токены**: введите лимит использоваения **токенов в час**. 6. Заполните параметры базу знаний:
4. Нажмите кнопку **Добавить модель**.
## Базы знаний
**База знаний** представляет собой специализированный контейнер данных, который дополняет ответы LLM на основе содержимого базы. База знаний позволяет модели использовать внешние данные для генерации ответов.
#### Добавить базу знаний
1. Перейдите в раздел AI платформа.
2. В левом меню откройте раздел **База знаний**.
3. Нажмите кнопку **Создать базу знаний**.
4. Заполните параметры базу знаний:
- **Тенант**: выберите из списка тенант. - **Тенант**: выберите из списка тенант.
- **Имя**: введите имя базы знаний. - **Имя**: введите имя базы знаний.
- **Описание**: введите описание базы знаний. - **Описание**: введите описание базы знаний.
5. Нажмите **Создать базу знаний**. 7. Нажмите **Создать базу знаний**.
#### Использовать базу знаний (RAG) Наполнение базы знаний документами, на основании которых будет генерироваться ответ модели, выполняется в чате с LLM.
В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог. ## Удалить тенант, модель, базу знаний
![alt text](./image/Chat_AI_Choice_RAG_SalesHelper_1024.png) 1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
2. В верхнем меню нажмите на раздел **Сервисы**.
И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации. 3. Выберите **Сервис AI платформа**.
4. Откройте раздел c нужным компонентом сервиса:
![alt text](./image/Chat_AI_Answer_RAG_SOHO_1024.png)
Как видим, модель получила данные из базы знаний и сослалась на них.
Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
## Промпты
**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
#### Добавить промпт
1. Перейдите в раздел AI платформа.
2. В левом меню откройте раздел **База знаний**.
3. Нажмите кнопку **Создать системный промпт**.
4. Заполните параметры промпта:
- **Название**: введите название систменого промпта.
- **Содержание**: введите содержание промпта.
5. Нажмите **Создать**.
#### Редактирование системного промпта
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.
![alt text](./image/Chat_AI_Edit_System_prompt_1024.png)
![alt text](./image/Chat_AI_Create_System_prompt_1024.png)
![alt text](./image/Chat_AI_Choice_System_prompt_1024.png)
## Удаление тенанта, модели, базы знаний
1. Перейдите в консоль управления.
2. Откройте раздел c нужным ресурсом сервиса:
- **Тенанты**, - **Тенанты**,
- **Модели**, - **Модели**,
- **Базы знаний**. - **Базы знаний**.
3. В таблице найдите строку с нужным ресурсом. 5. В таблице найдите строку с нужным компонентом сервиса.
4. Нажмите … и выберите **Удалить**. 6. Нажмите … и выберите **Удалить**.
5. В открывшемся окне подтвердите операцию, нажав **Удалить**. 7. В открывшемся окне подтвердите операцию, нажав **Удалить**.