Сервис **AI Platform** предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий.
**Beeline AI Platform** предоставляет доступ к AI-моделям через удобные графические интерфейсы, а также предоставляет набор API для интеграции LLM-моделей в корпоративные продукты Beline.
На текущий момент **Beeline AI Platform** предоставляет доступ к двум основным модулям:
- [**Чат с LLM**](#ai-chat-llm.md) - Интуитивно понятный интерфейс для общения с LLM. Подходит для знакомства с моделями, а также для встраивания на любой сайт в виде виджета.
- **Open WebUI** - Интерфейс для общения с LLM. Это open-source, поддерживает макимально большое количесвто фич. Не является целевым решением, но команда Beeline планирует поддержку максимально долго, пока не будет произведён полный переход на [Чат с LLM](#ai-chat-llm.md).
## Возможности сервиса
- Интерфейс для взаимодействия с моделями в формате чат-бота.
- Загрузка базы знаний.
- Поддержка работы с различными LLM.
- Интеграция модели через OpenAI и API.
## Ролевая модель
В сервисе реализованы две роли:
- **AI Platform: Администратор**:
- создание, удаление тенанта;
- добавление, удаление модели;
- создание, удаление базы знаний,
- все функции роли **AI Platform: Пользователь**.
- **AI Platform: Пользователь**:
- доступ к UI AI Platform;
- создание запросов в выбранной LLM и получение ответов;
- управление базой знаний: добавление, просмотр и удаление документов;
- подключение к AI Platform с помощью API интерфейса.
## Глоссарий
**Тенант**: Тенант представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается через консоль управления Vega.
**Модель (Large Language Model, LLM)**: Комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. LLM подключается к тенанту для обработки запросов. Поддерживает интеграцию в формате OpenAI.
**База знаний**: Специализированный контейнер данных, который дополняет ответы LLM на основе содержимого базы. База знаний позволяет модели использовать внешние данные для генерации ответов.
**UI (User Interface)**: Веб-интерфейс для взаимодействия с сервисом. Например, выбор модели, отправка текстовых запросов.
**Контекст диалога**: История общения с LLM, используемая для формирования ответов.
**Системное сообщение (Prompt)**: Системный промпт определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.
### Cистемные промпты
Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.
*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.*
### Контекст
Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
### Токены
Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.
Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.
## Базы знаний (RAG)
RAG (Retrieval-Augmented Generation) — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.
*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.*
