Описание чата и настройки

2025-11-06 16:51:16 +03:00
parent 0da343e3a0
commit 2aa68fc251
19 changed files with 331 additions and 25 deletions
@@ -0,0 +1,141 @@
+# Чат с LLM
+## Обзор сервиса Чат с LLM
+
+**Чат с LLM -** это интуитивно понятный интерфейс для общения с LLM (Large Language Model). Подходит для знакомства с моделями, а также для встраивания на любой сайт в виде виджета. Чат дает возможность выбирать различные LLM модели,  базы знаний и настраивать системные промпты под свои задачи.
+
+**LLM** — это просто большая куча матриц и векторной алгебры, которая обучается на огромном количестве текстов. В процессе обучения модель не просто запоминает информацию, а учится находить связи между словами, понимать закономерности языка и генерировать осмысленные ответы на самые разные вопросы. Когда вы задаёте LLM вопрос, она «вспоминает» подходящие по смыслу фразы и пытается предугадать, какие слова должны идти дальше, чтобы ответ звучал логично и понятно.
+
+## Быстрый старт
+
+Для авторизации и начала работы необходимо выполнить следующие шаги:
+
+1. **Подключение**: Перейдите по адресу `ai.beeline.ru`
+2. **VPN/VDL**: Обязательно подключитесь через корпоративный VPN или VDL
+3. **Авторизация**: Нажмите «Начать работу» или «Перейти в чат»
+4. **MobileID**: Пройдите стандартную авторизацию через MobileID
+5. **Начало работы**: После авторизации вы попадете в интерфейс чата
+
+
+**Интерфейс чата:**
+
+![alt text](Chat_AI_Main_1024.png)
+
+В интерфейсе доступен следующий функционал:
+
+1. **Выбор модели:**
+По умолчанию используется модель Gemma 3. Для смены модели выберите подходящий вариант из выпадающего меню. Рекомендации по выбору модели доступны в разделе [Доступные модели](#ai-getting-started-).
+
+2. **Выбор базы знаний:**
+Для генерации ответов не на базе своего раннего обучения, а на основе актуальных данных, необходимо выбрать нужную базу знаний из выпадающего меню. Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе [RAG](#Likbez-RAG).
+
+3. **Выбор системного промпта:**
+Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
+Подробно про промпты можно почитать тут: [Промпты](#Likbez-Prompt)
+
+4. **Очистка контекста диалога:**
+При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: [Ограничения LLM](#Likbez-RestrLLM)
+
+5. **Диалог пользователя с чатом**
+Диалог с чатом пользователь ведёт как в обычном чате в режиме вопрос-ответ.
+
+Исходя из возможностей сервиса **Чат с LLM** пользовательский путь от авторизации к диалогу выглядит следующим образом:
+
+![alt text](UX_Path_1024.png)
+
+## Выбор LLM
+
+Первым шагом надо выбрать одну из доступных моделей.
+
+![alt text](Chat_AI_Choice_LLM_1024.png)
+
+По умолчанию установлена модель Gemma 3, но мы рекомендуем начинать эксперименты с модели Qwen 3 32B, которая имеет больший контекст, поддерживает нативный вызов инструментов, а также может работать как в режиме с рассуждениями (включен по умолчанию) или без них - в таком случае нужно передать в запросе "/no_think".
+С списанием, какие модели доступны, а также, какие преимущества есть у каждой из моделей, можно ознакомиться в разделе [Доступные модели](#Available-LLMs).
+
+После выбора модели можно начинать диалог с чатом. Для этого необходимо просто писать свой запрос в окно диалога и дожидаться ответа.
+
+## Доступные модели
+
+В этом разделе мы ведём актуальный список моделей, которые доступны на платформе.
+
+| Модель | Контекст | Параметры | Reasoning | Инструменты | Картинки |
+|:-------|:-------|:-------|:-------|:-------|:-------|
+| Deepseek-chat	| 131k | 671B	| ✅ | ✅ | ❌ |
+| Gemma 3 | 128k	| 27B	| ❌	| ❌	| ✅ |
+| Qwen 3 |  131k | 32B | ✅	|✅ |	❌|
+
+* **DeepSeek Chat**
+
+Обновление DeepSeek V3 — это мощная гибридная модель с 671 млрд параметров, специально оптимизированная для кодогенерации и работы поисковых агентов. Модель поддерживает контекст до 128 тыс. токенов и позволяет гибко управлять режимом рассушений через параметр "reasoning_enabled". Она демонстрирует производительность уровня DeepSeek-R1, но работает быстрее, идеально подходя для программирования, исследований и агентных workflow.
+
+* **Gemma 3**
+
+Основная особенность этой модели в том, что она поддерживает картинки. Вы можете использовать её как OCR: модель неожиданно хорошо распознаёт даже рукописный текст на русском. Кроме этого, модель распознаёт и классифицирует объекты на фотографиях; может распознавать и переводить надписи.
+
+* **Qwen 3 32B**
+
+Основная модель, с которой мы рекомендуем начинать эксперименты. Поддерживает нативный вызов инструментов.
+Может работать как в режиме:
+  1. с рассуждениями (включен по умолчанию)
+  2. без рассуждений (нужно передать в запросе /no_think).
+
+
+
+
+
+
+
+
+
+
+# Ликбез
+
+## Что такое LLM
+
+Представьте, что у вас есть программа, которая прочитала миллионы книг, статей и страниц из интернета, а потом научилась предсказывать, какие слова могут идти друг за другом в любом тексте. Примерно так устроена большая языковая модель, или LLM (Large Language Model).
+
+LLM — это просто большая куча матриц и векторной алгебры, которая обучается на огромном количестве текстов. В процессе обучения модель не просто запоминает информацию, а учится находить связи между словами, понимать закономерности языка и генерировать осмысленные ответы на самые разные вопросы. Когда вы задаёте LLM вопрос, она «вспоминает» подходящие по смыслу фразы и пытается предугадать, какие слова должны идти дальше, чтобы ответ звучал логично и понятно.
+
+### Как LLM формирует ответы
+Когда вы отправляете запрос, LLM делает следующее:
+
+- **Читает ваш текст** и превращает его в последовательности чисел (векторов).
+- **Находит связи** между вашим запросом и миллиардами других примеров, которые она изучила раньше. В весах модели, которые хранятся в виде таких же векторов, эти знания представлены в виде статистических связей, а не в виде исходного текста.
+- **Предсказывает наиболее вероятные слова** или фразы, которые подходят для продолжения вашего текста.
+- **Формирует ответ** по слову за раз, следуя наиболее логичной последовательности, исходя из своего опыта и изученных примеров.
+
+Важно отметить, что все ответы LLM вероятностные, т. е. на один и тот же вопрос модель всегда будет отвечать немного по-разному. Именно поэтому ответы LLM могут выглядеть очень разумными и логичными, но при этом модель может допускать ошибки — она не всегда «понимает» информацию так, как это сделал бы человек.
+
+### Ограничения LLM 
+Несмотря на впечатляющие возможности, у LLM есть важные ограничения:
+
+- Ограниченный контекст:
+
+Модель может учитывать только ограниченный объём текста одновременно (например, несколько страниц). Всё, что выходит за рамки этого объёма, модель уже не «помнит». Именно поэтому очень длинные запросы могут привести к потере важных деталей или неточностям.
+
+- Отсутствие долгосрочной памяти:
+
+LLM не запоминает предыдущие разговоры и даже предыдущие реплики. Каждая реплика LLM формируется только на основе одного запроса, поданного ей на вход. «Диалоги», которые мы ведём с LLM — это, на самом деле, эмуляция. Для того, чтобы получить следующую реплику от LLM, наш UI собирает вместе всю накопленную историю диалога и подаёт её на вход LLM. Именно поэтому контекст LLM расходуется по мере ведения диалога: с каждой новой репликой объём накопленной истории растёт, и в нём остаётся всё меньше места для новых реплик.
+
+- Knowledge cutoff (ограничение знаний по времени):
+
+LLM обучается на данных, собранных до определённой даты (например, октябрь 2023 года). Всё, что произошло после этой даты, модель не знает и не может учитывать. Поэтому она не может отвечать на вопросы о текущих событиях и последних новостях без дополнительных источников.
+
+- Отсутствие истинного понимания:
+
+Хотя ответы LLM могут звучать уверенно и убедительно, модель не обладает сознанием, жизненным опытом или настоящим пониманием мира. Она только имитирует понимание, основываясь на статистике и шаблонах, выученных из огромного массива текста.
+
+- Галлюцинации:
+
+Иногда LLM может генерировать правдоподобно звучащую, но неверную информацию. Это происходит потому, что модель конструирует ответ на основе вероятностей, а не проверяет факты в реальном времени. В обучающей выборке могло быть мало данных о какой-то узкой области знаний, и LLM пытается «придумать» наиболее вероятный ответ. Например, если мы будем спрашивать модель без дополнительных баз знаний про билайн, она сможет выдать только очень базовую публичную информацию, но ничего не скажет о внутренних регламентах или о том, кто сейчас генеральный директор.
+
+- Модели не умеют считать:
+
+LLM просто предсказывают следующий токен на основании всех предыдущих, и это значит, что модель не может выполнять математические операции в их традиционном понимании. Если вы попросите модель сложить 2 + 2, она, скорее всего, выдаст вам правильный ответ, но не потому что она произвела арифметическое действие, а потому что видела ответ в обучающих данных. Более того, «рассуждающие» модели могут сгенерировать правдоподобное арифметическое объяснение для полученного результата, но исследования показывают, что результирующее число модель получает с помощью неточных веростностных операций, а «правильное» объяснение генерирует только потому что именно такие ответы успешно проходили проверку на этапе обучения. Таким образом, если вы хотите делать точный анализ числовых данных, вы не должны рассчитывать только на саму LLM. Правильный способ решения этой задачи — позволить модели сгенерировать код на Python или JavaScript, выполнить этот код в интерпретаторе, передать результат выполнения в LLM и дать ей сформировать финальный ответ.
+
+LLM — это, в первую очередь, программа для вероятностной обработки текста. Она может находить закономерности в больших объёмах данных, может генерировать тексты и изображения. Но сами по себе LLM не являются заменой специализированным системам: CRM, и, тем более, BI-движкам. Для решения аналитических задач вокруг LLM должны быть построены дополнительные возможности и обвязки: базы знаний, интеграции с внешними системами, интерпретаторы кода.
+
+
+
+
+
+#### Схема работы LLM с базой знаний
@@ -1,6 +1,6 @@
 # Быстрый старт с AI Platform

-В этом руководстве описана процедура начальной настройки AI Platform для работы с сервисом. 
+В этом руководстве описана процедура начальной настройки AI Platform для работы с сервисом.

 Последовательно выполните следующие шаги:
 1. Создать тенант.
@@ -10,17 +10,31 @@
 5. Создать базу знаний.
 6. Задать вопрос модели.

-## Перед началом работы
+## Регистрация в Beeline Cloud

+- Перейдите по ссылке [lk.cloud.beeline.ru](https://lk.cloud.beeline.ru/) и нажмите кнопку **Войти** в правом верхнем углу.
+- Введите **номер телефона** любого оператора связи и нажмите кнопку **Войти**.
+- Введите код с картинки и нажмите **Подтвердить**.
+- Введите код, отправленный на номер телефона, указанный при регистрации.
+- Введите рабочий почтовый адрес и нажмите на кнопку **Далее**. На указанный адрес будет выслана ссылка для подтверждения почты.
+- Дождитесь письма от Beeline Cloud с темой **Подтверждение адреса электронной почты** и перейдите по ссылке **Завершить регистрацию**.

- Перейдите в личный кабинет [beeline cloud](https://console.cloud.beeline.ru/projects/default).
- Выполните аутентификацию по номеру телефона через СМС.
- Введите код подтверждения.
+<details>
+<summary>После успешной регистрации аккаунта начнется настройка личного кабинета. </summary>

+После завершения настройки:
+- откроется личный кабинет Beeline Cloud;
+- вам будет создан аккаунт физического лица, чтобы вы могли бесплатно
+- протестировать Beeline Cloud;
+- для вашего аккаунта будет создан проект Мой проект;
+- для вашего аккаунта будет создан пользователь — владелец проекта Мой проект;
+- вам будут предоставлены права для создания ресурсов.
+
+</details>

 ## 1. Создать тенант

-1. Войдите в консоль управления.
+1. Откройте личный кабинет Beeline Cloud.
 2. Откройте раздел **AI Platform → Тенант**.
 3. Нажмите кнопку **Создать тенант**.
 4. Введите имя тенанта.
@@ -28,8 +42,10 @@

 ## 2. Добавить модель

-1. Нажмиите на **Моедель**.
-2. Выберите из выпадающего списка подходящую **LLM-модель** или [добавьте новую модель](ai-setting#создать-модель).
+1. Нажмиите на раздел **Моедель**.
+2. Выберите из списка подходящую **LLM-модель**.
+3. Установите лимит использования **токенов в час**.
+4. Завершите процесс кнопкой **Добавить модель**.

 ## 3. Переход в UI AI Platform

@@ -40,12 +56,12 @@ UI AI Platform также доступен по ссылке https://chat.ai.bee
 ## 4. Добавить базу знаний

 1. Нажмите **База знаний**.
-2. Выберите из выпадающего списка или [добавьте новую базу знаний](ai-setting#создать-базу-знаний).
+2. Выберите из списка или [добавьте новую базу знаний](ai-setting#создать-базу-знаний).

 ## 5. Добавить промпт

 1. Нажмите **Промпт**.
-2. Выберите из выпадающего списка подходящий промпт или [добавьте новый промпт](ai-setting#создать-промпт).
+2. Выберите из списка подходящий промпт или [добавьте новый промпт](ai-setting#создать-промпт).

 ## 6. Отправить запрос к модели

@@ -0,0 +1,49 @@
+# Обзор сервиса Beeline AI Platform
+
+Сервис **AI Platform** предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий.
+
+**Beeline AI Platform** предоставляет доступ к AI-моделям через удобные графические интерфейсы, а также предоставляет набор API для интеграции LLM-моделей в корпоративные продукты Beline.
+  
+На текущий момент **Beeline AI Platform** предоставляет доступ к двум основным модулям:
+  
+- [**Чат с LLM**](#ai-chat-llm.md) - Интуитивно понятный интерфейс для общения с LLM. Подходит для знакомства с моделями, а также для встраивания на любой сайт в виде виджета. 
+ 
+- **Open WebUI** - Интерфейс для общения с LLM. Это open-source, поддерживает макимально большое количесвто фич. Не является целевым решением, но команда Beeline планирует поддержку максимально долго, пока не будет произведён полный переход на [Чат с LLM](#ai-chat-llm.md). 
+
+## Возможности сервиса
+
+- Интерфейс для взаимодействия с моделями в формате чат-бота.
+- Загрузка базы знаний.
+- Поддержка работы с различными LLM.
+- Интеграция модели через OpenAI и API.
+
+## Ролевая модель
+
+В сервисе реализованы две роли:
+
+- **AI Platform: Администратор**:
+  - создание, удаление тенанта;
+  - добавление, удаление модели;
+  - создание, удаление базы знаний,
+  - все функции роли **AI Platform: Пользователь**.
+- **AI Platform: Пользователь**:
+  - доступ к UI AI Platform;
+  - создание запросов в выбранной LLM и получение ответов;
+  - управление базой знаний: добавление, просмотр и удаление документов;
+  - подключение к AI Platform с помощью API интерфейса.
+
+
+## Глоссарий
+
+**Тенант**: Тенант представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается через консоль управления Vega.
+
+**Модель (Large Language Model, LLM)**: Комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. LLM подключается к тенанту для обработки запросов. Поддерживает интеграцию в формате OpenAI. 
+
+**База знаний**: Специализированный контейнер данных, который дополняет ответы LLM на основе содержимого базы. База знаний позволяет модели использовать внешние данные для генерации ответов.
+
+**UI (User Interface)**: Веб-интерфейс для взаимодействия с сервисом. Например, выбор модели, отправка текстовых запросов.
+
+**Контекст диалога**: История общения с LLM, используемая для формирования ответов.
+
+**Системное сообщение (Prompt)**: Системный промпт определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
+
@@ -8,21 +8,22 @@
 4. Введите имя тенанта.
 5. Нажмите **Создать тенант**.

-## Создать модель
+## Создать модель <!--НУЖНО УТОЧНИТЬ -->

 1. Перейдите в раздел **AI Platform → Модель**.
-2. Инициируйте процесс добавления модели через кнопку **Добавить модель**.
-3. В выпадающем списке выберите ранее [созданный тенант](ai-setting#создать-тенант).
-4. Выберите подходящую **LLM-модель** из каталога доступных.
-5. Установите лимит использования **токенов в час**.
-6. Завершите процесс кнопкой **Добавить модель**.
+2. Нажмите кнопку **Добавить модель**.
+3. Заполните параметры модели:
+    - **Тенант**: выберите ранее [созданный тенант](ai-setting#создать-тенант).
+    - **Модель**: выберите подходящую **LLM-модель** из каталога доступных.
+    - **Токены**: введите лимит использоваения **токенов в час**.
+4. Нажмите кнопку **Добавить модель**.

 ## Создать базу знаний

 1. Войдите в консоль управления.
 2. Откройте **AI Platform → База знаний**.
 3. Нажмите кнопку **Создать базу знаний**.
-4. Заполните параметры базу знаний:
+4. Заполните параметры базы знаний:
    - **Тенант**: выберите из списка тенант.
    - **Имя**: введите имя базы знаний.
    - **Описание**: введите описание базы знаний.  
@@ -32,8 +33,12 @@

 В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.

+![alt text](Chat_AI_Choice_RAG_SalesHelper_1024.png)
+
 И в таком случае,при формировании ответа,  модель уже будет использовать макимально актуальную информацию при генерации рекомендации.

+![alt text](Chat_AI_Answer_RAG_SOHO_1024.png)
+
 Как видим, модель получила данные из базы знаний и сослалась на них.

 Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
@@ -53,6 +58,12 @@
 Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
 Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.

+![alt text](Chat_AI_Edit_System_prompt_1024.png)
+
+![alt text](Chat_AI_Create_System_prompt_1024.png)
+
+![alt text](Chat_AI_Choice_System_prompt_1024.png)
+
 ## Удалить тенант, модель, базу знаний

 1. Перейдите в консоль управления.
@@ -63,3 +74,4 @@
 3. В таблице найдите строку с нужным ресурсом.
 4. Нажмите &hellip; и выберите **Удалить**.
 5. В открывшемся окне подтвердите операцию, нажав **Удалить**.
+
@@ -1,8 +0,0 @@
---
-section_links:
-  - title: Обзор сервиса
-    link: 
-    description: Обзор сервиса, решаемые задачи, характеристики оборудования
---    
-
-# AI песочница
@@ -0,0 +1,96 @@
+
+- ## Обзор сервиса AI Platform
+    - что за сервис / возможности / РМ / Глоссарий / 
+    - **внутренние модели** : перечень моделей (таблица) / именование / описаине моделей
+    - **внешние модели** : как пользоваться / перечень моделей (таблица) / описаине моделей
+    - чат с LLM
+    - создание тенанта (ссылка на настройку)
+
+- ## Быстрый старт 
+    - (прикиннуть быстрое начала страта отправить на согласоание для уточненя деталей - основа действий)
+
+1.	Открыть консоль beeline cloud, перейти в сервис «AI песочница».
+2.	Создать тенант.
+3.	Добавить модель.
+4.	Перейти по сформированный ссылке в чат с LLM. 
+5.	Отправить запрос к модели.
+1.	AI-песочницу мы переименовали в AI-платформу.
+Добавить:
+2.	Создание базы знаний
+3.	Создание промпта
+
+
+## Ликбез (объеденить с чатом)
+    - **LLM** : что это такое / как формируется ответ / контекст / токены / ограничения LLM /
+    - **промты** : что это / как работают / системные / как они влияют на ответ / как их использвовать
+    - **БЗ** :что это / термины / схема работы / когда подходят
+    - **Рассуждения** : что это / как работает / когда использовать / ограничения
+    - **инструменты** :  что это / как работает / как работает с БЗ / схема работы / когда использовать / + и -
+
+- ## Чат с LLM 
+    - **обзор на чат** 
+    - **быстрый старт** : что такое чат с LLM / как попасть /интерфейс чата / схема
+    - **LLM** : шаги выбора + UI
+    - **БЗ** : шаги выбора + UI
+    - **промпты** : шаги выбора + UI
+    - **тенанта** : что это / шаги + UI
+
+- ## Настройка / управление сервсиом
+    - **настройка и создание тенанта**
+    - **настройка LLM**
+    - **ограничения для сервиса** ограничения на кол-во ресурсов (ВРМ, тарифы и тд)
+
+
+**Термины:**
+
+// LLM (большие языковые модели) - модель для генерации текста / ответа
+
+// Тенант - логический контейнер, ктоорый собирается в результате комбинации выбранной модели и БЗ в рамках проекта
+
+// Промпт - сообщение от пользователя
+
+// Контекст диалога - история общения с LLM
+
+// БЗ (RAG) -  контейнер для док-ов от пользователя
+
+
+
+
+
+**1.1. Получение токена rnd_admin**: 
+
+- Авторизуйтесь в системе через _ADFS (Active Directory Federation Services)_, например, через Beeline SSO.
+- Получите _внешний токен_ (ADFS-токен).
+- Обменяйте ADFS-токен на внутренний JWT (JSON Web Token) через метод:
+
+POST /api/token/generate  
+Body: { "token": "ваш_ADFS_токен" }  
+→ В ответе получите JWT с правами rnd_admin.
+
+
+1.2. Создание тенанта
+Используя токен rnd_admin, отправьте запрос:text
+POST /api/tenants  
+Body: { "code": "demo_tenant", "name": "Demo Tenant" }  
+→ В ответе получите tenant_id.
+
+2. Управление ролями и пользователями
+2.1. Создание роли
+Отправьте запрос:
+POST /api/roles  
+Body: { "name": "demo_role", "description": "Demo Role" }  
+→ В ответе получите role_id.
+2.2. Добавление пользователя в тенант
+Убедитесь, что пользователь существует в Identity Service.
+Свяжите пользователя с ролью и тенантом:text
+POST /api/user-roles  
+Body: {  
+  "user_email": "user@example.com",  
+  "role_name": "demo_role",  
+  "tenant_code": "demo_tenant"  
+}  
+2.3. Получение токена для тенанта
+Авторизуйтесь через ADFS и получите новый JWT, указав tenant_code:text
+POST /api/token/generate  
+Body: { "token": "ADFS_токен", "tenant_code": "demo_tenant" }  
+→ В ответе будет токен с ограниченными правами (только для этого тенанта).