diff --git a/src/ai/ai-chat-llm.md b/src/ai/ai-chat-llm.md index 35fefcf..a9ec810 100644 --- a/src/ai/ai-chat-llm.md +++ b/src/ai/ai-chat-llm.md @@ -109,3 +109,91 @@ LLM эффективны для обработки текста и решени ### Схема работы LLM с базой знаний ![alt text](./image/Sh_LLM_RAG_1024.png) + + +#### Сменить тенант + +В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо: + +1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md). +2. В левом меню откройте раздел **Тенанты**. +3. Выберите из списка подходящий тенант. + +![alt text](./image/Chat_Ai_Tenant_1024.png) +![alt text](./image/Chat_Ai_Tenant_list_1024.png) + +::: details Завиисмость от тенантов +В другом тенанте может отличаться: + +- Список доступных моделей; +- Список Баз знаний; +- Список системных промптов. + +Все вышеперечисленные сущности привязываются к тенанту. + +::: + +#### Использовать базу знаний (RAG) + +В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог. + +![alt text](./image/Chat_AI_Choice_RAG_SalesHelper_1024.png) + +И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации. + +![alt text](./image/Chat_AI_Answer_RAG_SOHO_1024.png) + +Как видим, модель получила данные из базы знаний и сослалась на них. + +Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез. + +## Промпты + +**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса. + +#### Добавить промпт + +1. Перейдите в раздел AI платформа. +2. В левом меню откройте раздел **База знаний**. +3. Нажмите кнопку **Создать системный промпт**. +4. Заполните параметры промпта: + - **Название**: введите название систменого промпта. + - **Содержание**: введите содержание промпта. +5. Нажмите **Создать**. + +#### Редактирование системного промпта + +Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. +Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии. + +![alt text](./image/Chat_AI_Edit_System_prompt_1024.png) + +![alt text](./image/Chat_AI_Create_System_prompt_1024.png) + +![alt text](./image/Chat_AI_Choice_System_prompt_1024.png) + +## Ликбез + +#### Промпты +LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов. + +#### Cистемные промпты +Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ. + +*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.* + +#### Контекст +Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней. + +#### Токены +Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах. + +Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен. + +#### Базы знаний (RAG) + +**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных. + +Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели. + +*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.* \ No newline at end of file diff --git a/src/ai/ai-glossary.md b/src/ai/ai-glossary.md new file mode 100644 index 0000000..e69de29 diff --git a/src/ai/ai-overview-platform.md b/src/ai/ai-overview-platform.md index 2fe7f66..e62467a 100644 --- a/src/ai/ai-overview-platform.md +++ b/src/ai/ai-overview-platform.md @@ -1,54 +1,9 @@ -# Обзор сервиса Beeline AI платфома +# Обзор сервиса Сервис **AI платфома** предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий. -**Beeline AI платформа** предоставляет доступ к AI-моделям через удобные графические интерфейсы, а также предоставляет набор API для интеграции LLM-моделей в корпоративные продукты Beline. - ## Возможности сервиса - Интерфейс для взаимодействия с моделями в формате чат-бота. - Загрузка базы знаний. - Поддержка работы с различными LLM. -- Интеграция модели через OpenAI и API. - -## Ролевая модель - -В сервисе реализованы две роли: - -**AI платформа: Администратор**: - - создание, удаление тенанта; - - добавление, удаление модели; - - создание, удаление базы знаний; - - все функции роли **AI платформа: Пользователь**. - -**AI платформа: Пользователь**: - - доступ к UI AI платформа; - - создание запросов в выбранной LLM и получение ответов; - - управление базой знаний: добавление, просмотр и удаление документов; - - подключение к AI платформа с помощью API интерфейса. - -## Ликбез - -#### Промпты -LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов. - -#### Cистемные промпты -Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ. - -*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.* - -#### Контекст -Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней. - -#### Токены -Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах. - -Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен. - -#### Базы знаний (RAG) - -**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных. - -Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели. - -*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.* diff --git a/src/ai/ai-setting.md b/src/ai/ai-setting.md index ab0251a..aec58da 100644 --- a/src/ai/ai-setting.md +++ b/src/ai/ai-setting.md @@ -1,12 +1,10 @@ -# Настройка и управление AI платформы +# Управление сервисом -Раздел описывает ключевые компоненты платформы и процедуры их настройки. Рассмотрены основные сущности системы и приведены пошаговые инструкции по созданию и управлению компонентами платформы. +В разделе рассмотрены компоненты сервиса **AI платформа** и приведены пошаговые инструкции по их созданию и управлению компонентами. -## Тенанты +## Создать тенант -**Тенант** представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается через консоль управления Vega. - -#### Создать тенант +**Тенант** представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается в личном кабинете Beeline Cloud. 1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/). 2. В верхнем меню нажмите на раздел **Сервисы**. @@ -16,108 +14,52 @@ 6. Введите имя тенанта. 7. Нажмите **Создать тенант**. -#### Сменить тенант +## Добавить модель -В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо: +**Модель (Large Language Model, LLM)** это комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. Модель подключается к тенанту для обработки запросов. -1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md). -2. В левом меню откройте раздел **Тенанты**. -3. Выберите из списка подходящий тенант. +1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/). +2. В верхнем меню нажмите на раздел **Сервисы**. +3. Выберите **Сервис AI платформа**. +4. В левом меню откройте раздел **Модели**. +5. Нажмите кнопку **Добавить модель**. +6. Заполните параметры модели: + - **Тенант**: выберите тенант, в котором будет использоваться модель. + - **Модель**: выберите из списка подходящую LLM-модель. + - **Токены**: введите лимит использования токенов в час. +7. Нажмите кнопку **Добавить модель**. -![alt text](./image/Chat_Ai_Tenant_1024.png) -![alt text](./image/Chat_Ai_Tenant_list_1024.png) +## Добавить базу знаний -::: details Завиисмость от тенантов -В другом тенанте может отличаться: +**База знаний** представляет собой специализированный контейнер данных, который дополняет ответы модели на основе содержимого базы. База знаний позволяет модели использовать внешние данные (файлы, документы) для генерации ответов. -- Список доступных моделей; -- Список Баз знаний; -- Список системных промптов. - -Все вышеперечисленные сущности привязываются к тенанту. - -::: - -## Модель - -**Модель (Large Language Model, LLM)** это комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. LLM подключается к тенанту для обработки запросов. Поддерживает интеграцию в формате OpenAI. - -#### Добавить модель - -Платформа поддерживает добавление моделей несколькими способами: +Сервис поддерживает добавление базы знаний несколькими способами: - **При создании тенанта** — на этапе начальной настройки; -- **Через интерфейс чата** — выберите **Модели** в левом меню и нажмите **Добавить модель**. +- **Через интерфейс чата с LLM** — выберите **Базы знаний** в левом меню чата с LLM и нажмите **Создать базу знаний**. -1. Перейдите в раздел **AI платформа**. -2. Нажмите кнопку **Добавить модель**. -3. Заполните параметры модели: - - **Тенант**: выберите ранее созданный тенант. - - **Модель**: выберите подходящую LLM-модель из каталога доступных. - - **Токены**: введите лимит использоваения **токенов в час**. -4. Нажмите кнопку **Добавить модель**. - -## Базы знаний - -**База знаний** представляет собой специализированный контейнер данных, который дополняет ответы LLM на основе содержимого базы. База знаний позволяет модели использовать внешние данные для генерации ответов. - -#### Добавить базу знаний - -1. Перейдите в раздел AI платформа. -2. В левом меню откройте раздел **База знаний**. -3. Нажмите кнопку **Создать базу знаний**. -4. Заполните параметры базу знаний: +1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/). +2. В верхнем меню нажмите на раздел **Сервисы**. +3. Выберите **Сервис AI платформа**. +4. В левом меню откройте раздел **База знаний**. +5. Нажмите кнопку **Создать базу знаний**. +6. Заполните параметры базу знаний: - **Тенант**: выберите из списка тенант. - **Имя**: введите имя базы знаний. - **Описание**: введите описание базы знаний. -5. Нажмите **Создать базу знаний**. +7. Нажмите **Создать базу знаний**. -#### Использовать базу знаний (RAG) +Наполнение базы знаний документами, на основании которых будет генерироваться ответ модели, выполняется в чате с LLM. -В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог. +## Удалить тенант, модель, базу знаний -![alt text](./image/Chat_AI_Choice_RAG_SalesHelper_1024.png) - -И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации. - -![alt text](./image/Chat_AI_Answer_RAG_SOHO_1024.png) - -Как видим, модель получила данные из базы знаний и сослалась на них. - -Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез. - -## Промпты - -**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса. - -#### Добавить промпт - -1. Перейдите в раздел AI платформа. -2. В левом меню откройте раздел **База знаний**. -3. Нажмите кнопку **Создать системный промпт**. -4. Заполните параметры промпта: - - **Название**: введите название систменого промпта. - - **Содержание**: введите содержание промпта. -5. Нажмите **Создать**. - -#### Редактирование системного промпта - -Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. -Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии. - -![alt text](./image/Chat_AI_Edit_System_prompt_1024.png) - -![alt text](./image/Chat_AI_Create_System_prompt_1024.png) - -![alt text](./image/Chat_AI_Choice_System_prompt_1024.png) - -## Удаление тенанта, модели, базы знаний - -1. Перейдите в консоль управления. -2. Откройте раздел c нужным ресурсом сервиса: +1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/). +2. В верхнем меню нажмите на раздел **Сервисы**. +3. Выберите **Сервис AI платформа**. +4. Откройте раздел c нужным компонентом сервиса: - **Тенанты**, - **Модели**, - **Базы знаний**. -3. В таблице найдите строку с нужным ресурсом. -4. Нажмите … и выберите **Удалить**. -5. В открывшемся окне подтвердите операцию, нажав **Удалить**. +5. В таблице найдите строку с нужным компонентом сервиса. +6. Нажмите … и выберите **Удалить**. +7. В открывшемся окне подтвердите операцию, нажав **Удалить**.