fox/src/ai/ai-overview-platform.md

Обзор сервиса Beeline AI Platform

Сервис AI Platform предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий.

Beeline AI Platform предоставляет доступ к AI-моделям через удобные графические интерфейсы, а также предоставляет набор API для интеграции LLM-моделей в корпоративные продукты Beline.

На текущий момент Beeline AI Platform предоставляет доступ к двум основным модулям:

• Чат с LLM - Интуитивно понятный интерфейс для общения с LLM. Подходит для знакомства с моделями, а также для встраивания на любой сайт в виде виджета.

• Open WebUI - Интерфейс для общения с LLM. Это open-source, поддерживает макимально большое количесвто фич. Не является целевым решением, но команда Beeline планирует поддержку максимально долго, пока не будет произведён полный переход на Чат с LLM.

Возможности сервиса

• Интерфейс для взаимодействия с моделями в формате чат-бота.
• Загрузка базы знаний.
• Поддержка работы с различными LLM.
• Интеграция модели через OpenAI и API.

Ролевая модель

В сервисе реализованы две роли:

• AI Platform: Администратор:
  • создание, удаление тенанта;
  • добавление, удаление модели;
  • создание, удаление базы знаний,
  • все функции роли AI Platform: Пользователь.
• AI Platform: Пользователь:
  • доступ к UI AI Platform;
  • создание запросов в выбранной LLM и получение ответов;
  • управление базой знаний: добавление, просмотр и удаление документов;
  • подключение к AI Platform с помощью API интерфейса.

Глоссарий

Тенант: Тенант представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается через консоль управления Vega.

Модель (Large Language Model, LLM): Комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. LLM подключается к тенанту для обработки запросов. Поддерживает интеграцию в формате OpenAI.

База знаний: Специализированный контейнер данных, который дополняет ответы LLM на основе содержимого базы. База знаний позволяет модели использовать внешние данные для генерации ответов.

UI (User Interface): Веб-интерфейс для взаимодействия с сервисом. Например, выбор модели, отправка текстовых запросов.

Контекст диалога: История общения с LLM, используемая для формирования ответов.

Системное сообщение (Prompt): Системный промпт определяет логику ответов модели. Есть возможность настраивать шаблон запроса.

Ликбез

Промпты

LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов.

Cистемные промпты

Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ.

Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.

Контекст

Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.

Токены

Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах.

Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен.

Базы знаний (RAG)

RAG (Retrieval-Augmented Generation) — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.

Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели.

Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.