# Обзор сервиса Beeline AI Platform

Сервис **AI Platform** предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий.

**Beeline AI Platform** предоставляет доступ к AI-моделям через удобные графические интерфейсы, а также предоставляет набор API для интеграции LLM-моделей в корпоративные продукты Beline.
  
На текущий момент **Beeline AI Platform** предоставляет доступ к двум основным модулям:
  
- [**Чат с LLM**](#ai-chat-llm.md) - Интуитивно понятный интерфейс для общения с LLM. Подходит для знакомства с моделями, а также для встраивания на любой сайт в виде виджета. 
 
- **Open WebUI** - Интерфейс для общения с LLM. Это open-source, поддерживает макимально большое количесвто фич. Не является целевым решением, но команда Beeline планирует поддержку максимально долго, пока не будет произведён полный переход на [Чат с LLM](#ai-chat-llm.md). 

## Возможности сервиса

- Интерфейс для взаимодействия с моделями в формате чат-бота.
- Загрузка базы знаний.
- Поддержка работы с различными LLM.
- Интеграция модели через OpenAI и API.

## Ролевая модель

В сервисе реализованы две роли:

- **AI Platform: Администратор**:
  - создание, удаление тенанта;
  - добавление, удаление модели;
  - создание, удаление базы знаний,
  - все функции роли **AI Platform: Пользователь**.
- **AI Platform: Пользователь**:
  - доступ к UI AI Platform;
  - создание запросов в выбранной LLM и получение ответов;
  - управление базой знаний: добавление, просмотр и удаление документов;
  - подключение к AI Platform с помощью API интерфейса.


## Глоссарий

**Тенант**: Тенант представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается через консоль управления Vega.

**Модель (Large Language Model, LLM)**: Комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. LLM подключается к тенанту для обработки запросов. Поддерживает интеграцию в формате OpenAI. 

**База знаний**: Специализированный контейнер данных, который дополняет ответы LLM на основе содержимого базы. База знаний позволяет модели использовать внешние данные для генерации ответов.

**UI (User Interface)**: Веб-интерфейс для взаимодействия с сервисом. Например, выбор модели, отправка текстовых запросов.

**Контекст диалога**: История общения с LLM, используемая для формирования ответов.

**Системное сообщение (Prompt)**: Системный промпт определяет логику ответов модели. Есть возможность настраивать шаблон запроса.

## Ликбез

### Промпты 
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов. 

### Cистемные промпты
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.

*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*

### Контекст
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.

### Токены 
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.

Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.

### Базы знаний (RAG)

**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных. 

Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.

*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*