Compare commits
21 Commits
e1b0c5d6
...
feature/ai
| Author | SHA1 | Date | |
|---|---|---|---|
| c0345aaa97 | |||
| f751a23e65 | |||
| 0756141fcc | |||
| 60c4327897 | |||
| ceb4c272c8 | |||
| 9332950817 | |||
| c4f0202ea2 | |||
| da7acee362 | |||
| 1f7d7a5f08 | |||
| ac94d11c26 | |||
| 46ab890306 | |||
| 29d9e6e697 | |||
| 4f98517e1c | |||
| e1e6c53af2 | |||
| 273fae5567 | |||
| a68d021683 | |||
| 2aa68fc251 | |||
| 0da343e3a0 | |||
| e05518d243 | |||
| 06afb4e637 | |||
| 9d074e416b |
@@ -138,6 +138,14 @@ export default defineConfig({
|
||||
{text: 'Бесплатный период', link: '/start/trial.md'},
|
||||
{text: 'Платное использование', link: '/start/organization.md'},
|
||||
],
|
||||
'/ai/': [
|
||||
{ text: 'AI платформа', link: '/ai/index.md' },
|
||||
{ text: 'Обзор сервиса', link: '/ai/ai-overview-platform.md' },
|
||||
{ text: 'Быстрый старт', link: '/ai/ai-getting-started.md' },
|
||||
{ text: 'Управление сервисом', link: '/ai/ai-setting.md' },
|
||||
{ text: 'Чат с LLM', link: '/ai/ai-chat-llm.md' },
|
||||
{ text: 'Концепции', link: '/ai/ai-glossary.md' },
|
||||
],
|
||||
'/vdc/': [
|
||||
{
|
||||
text: 'Виртуальные дата-центры на VMware', link: '/vdc/index.md',
|
||||
|
||||
@@ -0,0 +1,178 @@
|
||||
# Чат с LLM
|
||||
|
||||
**Чат с LLM** - это интерфейс для общения с LLM-моделями. Подходит для знакомства и тестирования моделей.
|
||||
|
||||
Исходя из возможностей сервиса Чат с LLM пользовательский путь от авторизации к диалогу выглядит следующим образом:
|
||||
|
||||
1. Переход в чат с LLM.
|
||||
2. Выбор LLM.
|
||||
3. Выбор базы знаний.
|
||||
4. Настройка системного промпта.
|
||||
5. Диалог с LLM.
|
||||
|
||||
## Доступные модели
|
||||
|
||||
Чат с LLM поддерживает модели:.
|
||||
|
||||
| Модель | Контекст | Параметры | Reasoning | Инструменты | Картинки |
|
||||
|:-------|:-------|:-------|:-------|:-------|:-------|
|
||||
| Deepseek-chat | 131k | 671B | ✅ | ✅ | ❌ |
|
||||
| Gemma 3 | 128k | 27B | ❌ | ❌ | ✅ |
|
||||
| Qwen 3 | 131k | 32B | ✅ |✅ | ❌|
|
||||
|
||||
::: details Описание моделей
|
||||
|
||||
- **DeepSeek Chat**
|
||||
|
||||
DeepSeek V3 — это мощная гибридная модель с 671 млрд. параметров, специально оптимизированная для кодогенерации и работы поисковых агентов. Модель поддерживает контекст до 128 тыс. токенов и позволяет гибко управлять режимом рассуждений через параметр "reasoning_enabled". Она демонстрирует производительность уровня DeepSeek-R1, но работает быстрее, идеально подходя для программирования, исследований и агентных workflow.
|
||||
|
||||
- **Gemma 3**
|
||||
|
||||
Основная особенность этой модели в том, что она поддерживает картинки. Вы можете использовать ее как OCR: модель распознает рукописный текст на русском языке. Кроме этого, модель распознает и классифицирует объекты на фотографиях; может распознавать и переводить надписи.
|
||||
|
||||
- **Qwen 3 32B**
|
||||
|
||||
Основная модель, с которой рекомендуется начинать эксперименты. Поддерживает нативный вызов инструментов.
|
||||
|
||||
Режимы работы:
|
||||
|
||||
- с рассуждениями (включен по умолчанию).
|
||||
- без рассуждений (нужно передать в запросе /no_think).
|
||||
|
||||
:::
|
||||
|
||||
## Авторизация в чате с LLM
|
||||
|
||||
Доступ к чату с LLM-моделями предоставляется по уникальной ссылке, которая формируется после [создания тенанта](ai-setting.md#создать-тенант).
|
||||
|
||||
1. В левом меню откройте раздел **Тенанты**.
|
||||
2. Нажмите на имя тенанта.
|
||||
3. Из поля **Url приложения** скопируйте ссылку на чат с LLM.
|
||||
4. Вставьте ссылку в браузер. Откроется чат с LLM.
|
||||
|
||||

|
||||
|
||||
::: details Интерфейс чата с LLM
|
||||
|
||||
- **Чат**
|
||||
|
||||
Раздел включает функции:
|
||||
|
||||
- диалог с моделью в режиме вопрос-ответ;
|
||||
- выбор LLM;
|
||||
- выбор базы знаний.
|
||||
|
||||
- **Базы знаний**
|
||||
|
||||
Раздел предназначен для подготовки базы знаний, на основе которой модель будет генерировать ответы.
|
||||
|
||||
- **Системные промпты**
|
||||
|
||||
Раздел предназначен для создания системных промптов. Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
|
||||
|
||||
:::
|
||||
|
||||
## Начать диалог с моделью
|
||||
|
||||
1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
|
||||
2. В левом меню выберите раздел **Чаты**.
|
||||
3. Выберите из списка модель. Если в списке отсутствует нужная [модель](#доступные-модели), то [добавьте модель](ai-setting.md#добавить-модель) в тенант.
|
||||
|
||||
::: tip Информация
|
||||
|
||||
Эксперименты рекомендуется с модели **Qwen 3 32B**, которая имеет больший контекст и поддерживает нативный вызов инструментов.
|
||||
|
||||
Модель **Qwen 3 32B** может работать:
|
||||
- [с рассуждениями](ai-glossary.md#рассуждения) - этот режим включен по умолчанию;
|
||||
- без рассуждений - в этом случае нужно передать в запросе `/no_think`.
|
||||
|
||||
:::
|
||||
4. (опционально) Выберите базу знаний, на основе которой модель составит ответ. Если список баз данных пуст, то [создайте](#создать-базу-знаний) базу знаний.
|
||||
5. (опциоанльно) Выберите системный промпт. По умолчанию в чате задан системный промпт. Если необходим промпт под определенную задачу, то [измените](#редактировать-системный-промпт) системный промпт.
|
||||
6. Введите запрос к модели. Дождитесь ответа.
|
||||
|
||||
## Использовать базу знаний
|
||||
|
||||
Если необходимо, чтобы модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то необходимо указать [базу знаний](ai-glossary.md#база-знаний-rag), с которой чат должен расширить свой контекст.
|
||||
|
||||
Для этого необходимо выбрать базу знаний и продолжить диалог.
|
||||
|
||||

|
||||
|
||||
Если база знаний отсутствует в списке, то [создайте](#создать-базу-знаний) базу знаний и добавьте документы.
|
||||
|
||||
### Создать базу знаний
|
||||
|
||||
1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
|
||||
2. В левом меню выберите раздел **Базы знаний**.
|
||||
3. Нажмите кнопку **Создать базу знаний**.
|
||||
4. Заполните параметры базы знаний:
|
||||
- **Имя**: введите имя базы знаний, имя будет отображаться при выборе базы знаний в чате.
|
||||
- **Описание**: введите описание базы знаний.
|
||||
5. Нажмите кнопку **Создать**.
|
||||
|
||||
База знаний будет создана, но в ней пока нет информации для генерации ответов модели. Добавьте документы в базу знаний.
|
||||
|
||||
### Добавить документ в базу знаний
|
||||
|
||||
1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
|
||||
2. В левом меню выберите раздел **Базы знаний**.
|
||||
3. В списке нажмите на нужную базу знаний.
|
||||
4. Нажмите кнопку **Добавить документ**.
|
||||
5. Загрузите файлы в базу знаний.
|
||||
6. Нажмите **Добавить**.
|
||||
|
||||
## Редактировать системный промпт
|
||||
|
||||
По умолчанию задан простой "размытый" [промпт](ai-glossary.md#промпт), который указывает, что ответы модели должны быть полезными. Но такой чат не всегда сможет предоставить пользователю ответ, который его устроит.
|
||||
|
||||
В чате с LLM доступен редактор системных промптов. Возможны способы редактирования системных промптов:
|
||||
|
||||
- редактирование системного промпта в текущей сессии диалога с моделью;
|
||||
- создание системного промпта в библиотеке системных промптов для дальнейшего использования.
|
||||
|
||||
### Редактирование системного промпта в текущей сессии
|
||||
|
||||
1. [Начните](#начать-диалог-с-моделью) диалог с моделью.
|
||||
2. Системный промпт отображается над строкой для ввода текста в чате.
|
||||
3. Нажмите на значок карандаша справа от системного промпта.
|
||||
4. В появившемся окне справа введите содержимое промпта.
|
||||
5. Нажмите кнопку **Сохранить**.
|
||||
6. Содержимое системного промпта обновится.
|
||||
|
||||
Редактируемый системный промпт доступен для всех моделей и сохраняется только в рамках текущей сессии.
|
||||
|
||||
### Создать системный промпт
|
||||
|
||||
1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
|
||||
2. В левом меню выберите раздел **Системные промпты**.
|
||||
3. Нажмите кнопку **Создать системный промпт**.
|
||||
4. Заполните параметры промпта:
|
||||
- **Название**: введите название системного промпта.
|
||||
- **Содержание**: введите содержание промпта.
|
||||
5. Нажмите **Создать**.
|
||||
|
||||
Системный промпт добавлен в библиотеку системных промптов. Посмотреть список промптов можно в левом меню в разделе **Системные промпты**.
|
||||
|
||||
## Сменить тенант
|
||||
|
||||
В чате с LLM-моделями есть возможность работать сразу с несколькими [тенантами](ai-setting.md#создать-тенант).
|
||||
|
||||
Для смены текущего тенанта необходимо:
|
||||
|
||||
1. В верхнем меню нажмите на вкладку **Тенант**.
|
||||
2. Выберите из списка тенант.
|
||||
|
||||
К тенанта привязаны сущности:
|
||||
|
||||
- модели;
|
||||
- базы знаний;
|
||||
- системные промпты.
|
||||
|
||||
Для каждого тенанта эти сущности будут отличаться.
|
||||
|
||||
## Очистить контекст диалога
|
||||
|
||||
При длительном диалоге модель накапливает [контекст](ai-glossary.md#контекст) и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения "галлюцинации" рекомендуется периодически очищать контекст диалога.
|
||||
|
||||
Для очистки контекста диалога нажмите на значок корзины в правом верхнем углу окна чата.
|
||||
@@ -0,0 +1,51 @@
|
||||
# Быстрый старт с AI платформа
|
||||
|
||||
Данная инструкция рассматривает начальную настройку сервиса **AI платформа** и отправку первого запроса к LLM-модели.
|
||||
|
||||
## Перед началом работы
|
||||
|
||||
- [Зарегистрируйтесь](../start/getting-started.md#1-регистрация-в-beeline-cloud) в личном кабинете Beeline Cloud.
|
||||
|
||||
## 1. Создать тенант
|
||||
|
||||
1. В верхнем меню нажмите на пункт **Сервисы**.
|
||||
2. Выберите **Сервис AI платфома**.
|
||||
3. В левом меню откройте раздел **Тенанты**.
|
||||
4. Нажмите кнопку **Создать тенант**.
|
||||
5. Введите имя тенанта.
|
||||
6. Нажмите **Создать тенант**.
|
||||
|
||||
## 2. Добавить модель
|
||||
|
||||
1. В левом меню откройте раздел **Модель**.
|
||||
2. Нажмите кнопку **Добавить модель**.
|
||||
3. В поле **Тенант** выберите созданный тенант.
|
||||
4. В поле **Модель** выберите из списка подходящую **LLM-модель**.
|
||||
5. Установите лимит использования токенов в час.
|
||||
6. Нажмите **Добавить модель**.
|
||||
|
||||
## 3. Перейти в чат с LLM
|
||||
|
||||
Протестировать модели в интерфейсе можно в чате с LLM. Доступ к чату с LLM-моделями предоставляется по уникальной ссылке, которая формируется после создания тенанта.
|
||||
|
||||
1. В левом меню откройте раздел **Тенанты**.
|
||||
2. Нажмите на имя тенанта.
|
||||
3. Из поля **Url приложения** скопируйте ссылку на чат с LLM.
|
||||
4. Вставьте ссылку в браузер.
|
||||
|
||||
## 4. Создать системный промпт
|
||||
|
||||
1. В чате с LLM в левом меню откройте раздел **Системные промпты**.
|
||||
2. Нажмите кнопку **Создать системный промпт**.
|
||||
3. Заполните параметры промпта:
|
||||
- **Название**: введите название систменого промпта;
|
||||
- **Содержание**: введите содержание промпта.
|
||||
4. Нажмите **Создать**.
|
||||
|
||||
## 5. Начать диалог с моделью
|
||||
|
||||
1. В чате с LLM-моделями в левом меню перейдите в раздел **Чат**.
|
||||
2. Выберите из списка модель.
|
||||
3. Выберите из списка системный промпт.
|
||||
4. Откроется чат. В текстовом поле внизу введите запрос к LLM-модели.
|
||||
5. Дождитесь ответа модели.
|
||||
@@ -0,0 +1,26 @@
|
||||
# Концепции
|
||||
|
||||
## База знаний (RAG)
|
||||
|
||||
RAG — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
|
||||
|
||||
## Контекст
|
||||
|
||||
Контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
|
||||
|
||||
## Рассуждения
|
||||
|
||||
Reasoning (рассуждение или логическое мышление) у LLM — это способность модели не просто воспроизводить выученные паттерны текста, а последовательно и логически выводить новую информацию из уже известных ей данных.
|
||||
|
||||
|
||||
## Промпт
|
||||
|
||||
Промпт — это текстовый запрос, который вы отправляете модели, и который задает контекст и направление для ответа. LLM анализирует промпт и генерирует ответ, который является логическим продолжением текста. Чем понятнее и конкретнее сформулирован промпт, тем качественнее будет ответ.
|
||||
|
||||
Системные промпты — специальные инструкции, которые задают общие рамки поведения модели на протяжении всего диалога. Системный промпт устанавливается в начале общения и сообщает модели, какую роль она должна играть, какие ограничения соблюдать и какой стиль общения использовать.
|
||||
|
||||
В сервисе **AI-платформа** системный промпт доступен для редактирования, чтобы пользователи могли максимально настраивать поведение моделей.
|
||||
|
||||
## Токен
|
||||
|
||||
LLM представляет текст не в виде слов или букв, а в виде токенов. Токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью.
|
||||
@@ -0,0 +1,11 @@
|
||||
# Обзор сервиса
|
||||
|
||||
Сервис **AI платфома** предоставляет доступ к большим языковым моделям (Large Language Models, LLM). LLM-модели готовы к использованию и избавляют пользователя от необходимости самостоятельного развертывания и изучения связанных технологий.
|
||||
|
||||
## Возможности сервиса
|
||||
|
||||
- Интерфейс для взаимодействия с моделями в формате чат-бота.
|
||||
- Предоставляет различные [модели](ai-chat-llm.md#доступные-модели).
|
||||
- Использование баз знаний (RAG).
|
||||
- Редактирование системного промпта.
|
||||
- Диалог с моделью.
|
||||
@@ -0,0 +1,56 @@
|
||||
# Управление сервисом
|
||||
|
||||
В разделе рассмотрены компоненты сервиса **AI платформа** и приведены пошаговые инструкции по их созданию и управлению компонентами.
|
||||
|
||||
## Создать тенант
|
||||
|
||||
**Тенант** представляет собой изолированный логический контейнер ресурсов сервиса (модели, базы знаний) для работы в рамках проекта. Создается в личном кабинете Beeline Cloud.
|
||||
|
||||
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
|
||||
2. В верхнем меню нажмите на раздел **Сервисы**.
|
||||
3. Выберите **Сервис AI платформа**.
|
||||
4. В левом меню откройте раздел **Тенанты**.
|
||||
5. Нажмите кнопку **Создать тенант**.
|
||||
6. Введите имя тенанта.
|
||||
7. Нажмите **Создать тенант**.
|
||||
|
||||
## Добавить модель
|
||||
|
||||
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
|
||||
2. В верхнем меню нажмите на раздел **Сервисы**.
|
||||
3. Выберите **Сервис AI платформа**.
|
||||
4. В левом меню откройте раздел **Модели**.
|
||||
5. Нажмите кнопку **Добавить модель**.
|
||||
6. Заполните параметры модели:
|
||||
- **Тенант**: выберите тенант, в котором будет использоваться модель.
|
||||
- **Модель**: выберите из списка подходящую LLM-модель.
|
||||
- **Токены**: введите лимит использования токенов в час.
|
||||
7. Нажмите кнопку **Добавить модель**.
|
||||
|
||||
## Добавить базу знаний
|
||||
|
||||
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
|
||||
2. В верхнем меню нажмите на раздел **Сервисы**.
|
||||
3. Выберите **Сервис AI платформа**.
|
||||
4. В левом меню откройте раздел **База знаний**.
|
||||
5. Нажмите кнопку **Создать базу знаний**.
|
||||
6. Заполните параметры базы знаний:
|
||||
- **Тенант**: выберите из списка тенант.
|
||||
- **Имя**: введите имя базы знаний.
|
||||
- **Описание**: введите описание базы знаний.
|
||||
7. Нажмите **Создать базу знаний**.
|
||||
|
||||
[Наполнение базы знаний](ai-chat-llm.md#добавить-документ-в-базу-знаний) документами, на основании которых будет генерироваться ответ модели, выполняется в чате с LLM.
|
||||
|
||||
## Удалить тенант, модель, базу знаний
|
||||
|
||||
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
|
||||
2. В верхнем меню нажмите на раздел **Сервисы**.
|
||||
3. Выберите **Сервис AI платформа**.
|
||||
4. Откройте раздел c нужным компонентом сервиса:
|
||||
- **Тенанты**,
|
||||
- **Модели**,
|
||||
- **Базы знаний**.
|
||||
5. В таблице найдите строку с нужным компонентом сервиса.
|
||||
6. Нажмите … и выберите **Удалить**.
|
||||
7. В открывшемся окне подтвердите операцию, нажав **Удалить**.
|
||||
|
After Width: | Height: | Size: 126 KiB |
|
After Width: | Height: | Size: 105 KiB |
|
After Width: | Height: | Size: 141 KiB |
|
After Width: | Height: | Size: 36 KiB |
|
After Width: | Height: | Size: 66 KiB |
|
After Width: | Height: | Size: 61 KiB |
|
After Width: | Height: | Size: 53 KiB |
|
After Width: | Height: | Size: 122 KiB |
|
After Width: | Height: | Size: 68 KiB |
|
After Width: | Height: | Size: 37 KiB |
|
After Width: | Height: | Size: 194 KiB |
|
After Width: | Height: | Size: 40 KiB |
|
After Width: | Height: | Size: 68 KiB |
|
After Width: | Height: | Size: 105 KiB |
|
After Width: | Height: | Size: 238 KiB |
|
After Width: | Height: | Size: 58 KiB |
@@ -0,0 +1,21 @@
|
||||
---
|
||||
section_links:
|
||||
- title: Обзор сервиса
|
||||
link: /ai/ai-overview-platform.md
|
||||
description: Обзор сервиса, решаемые задачи
|
||||
- title: Быстрый старт
|
||||
link: /ai/ai-getting-started.md
|
||||
description: Создание виртуальной машины в дата-центре
|
||||
- title: Настройка сервиса
|
||||
link: /ai/ai-setting.md
|
||||
description: Создание тенанта, добавление моделей и базы знаний
|
||||
- title: Чат с LLM
|
||||
link: /ai/ai-chat-llm.md
|
||||
description: Интерфейс для взаимодействия с LLM-моделями в формате чат-бота
|
||||
- title: Концепции
|
||||
link: /ai/ai-glossary.md
|
||||
description: Основные понятия, используемые в сервисе
|
||||
|
||||
---
|
||||
|
||||
# AI платформа
|
||||
@@ -148,9 +148,10 @@ services:
|
||||
icon: palette
|
||||
- title: AI инструменты
|
||||
articles:
|
||||
- title: AI песочница
|
||||
- title: AI платформа
|
||||
description: В работе
|
||||
icon: robot
|
||||
link: /ai/index
|
||||
- title: Мультимодельная AI фабрика
|
||||
description: В работе
|
||||
icon: robot
|
||||
|
||||