alex/fox
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Описание чата с моделями

Browse Source
This commit is contained in:
Elena Rechkina
2025-11-29 00:03:06 +06:00
parent f751a23e65
commit c0345aaa97
6 changed files with 86 additions and 62 deletions
Download Patch File Download Diff File Expand all files Collapse all files
src/.vitepress/config.mts
+1
View File
@@ -144,6 +144,7 @@ export default defineConfig({
{ text: 'Быстрый старт', link: '/ai/ai-getting-started.md' },
{ text: 'Управление сервисом', link: '/ai/ai-setting.md' },
{ text: 'Чат с LLM', link: '/ai/ai-chat-llm.md' },
{ text: 'Концепции', link: '/ai/ai-glossary.md' },
],
'/vdc/': [
{
src/ai/ai-chat-llm.md
+46 -37
View File
@@ -83,15 +83,17 @@ DeepSeek V3 — это мощная гибридная модель с 671 мл
Эксперименты рекомендуется с модели **Qwen 3 32B**, которая имеет больший контекст и поддерживает нативный вызов инструментов.
Модель **Qwen 3 32B** может работать:
- с рассуждениями - этот режим включен по умолчанию;
- [с рассуждениями](ai-glossary.md#рассуждения) - этот режим включен по умолчанию;
- без рассуждений - в этом случае нужно передать в запросе `/no_think`.
:::
4. Введите запрос к модели. Дождитесь ответа.
4. (опционально) Выберите базу знаний, на основе которой модель составит ответ. Если список баз данных пуст, то [создайте](#создать-базу-знаний) базу знаний.
5. (опциоанльно) Выберите системный промпт. По умолчанию в чате задан системный промпт. Если необходим промпт под определенную задачу, то [измените](#редактировать-системный-промпт) системный промпт.
6. Введите запрос к модели. Дождитесь ответа.
## Использовать базу знаний
Если необходимо, чтобы модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то необходимо указать базу знаний, с которой чат должен расширить свой контекст.
Если необходимо, чтобы модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то необходимо указать [базу знаний](ai-glossary.md#база-знаний-rag), с которой чат должен расширить свой контекст.
Для этого необходимо выбрать базу знаний и продолжить диалог.
@@ -109,61 +111,68 @@ DeepSeek V3 — это мощная гибридная модель с 671 мл
- **Описание**: введите описание базы знаний.
5. Нажмите кнопку **Создать**.
База знаний будет создана, но в ней пока нет информации для генерации ответов модели. Добавьте
База знаний будет создана, но в ней пока нет информации для генерации ответов модели. Добавьте документы в базу знаний.
### Добавить документ в базу знаний
1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
2. В левом меню выберите раздел **Базы знаний**.
3. В списке нажмите на нужную базу знаний.
4. Нажмите кнопку **Добавить документ**.
5. Загрузите файлы в базу знаний.
6. Нажмите **Добавить**.
## Редактировать системный промпт
**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса.
По умолчанию задан простой "размытый" [промпт](ai-glossary.md#промпт), который указывает, что ответы модели должны быть полезными. Но такой чат не всегда сможет предоставить пользователю ответ, который его устроит.
#### Добавить промпт
В чате с LLM доступен редактор системных промптов. Возможны способы редактирования системных промптов:
1. Перейдите в раздел AI платформа.
2. В левом меню откройте раздел **База знаний**.
- редактирование системного промпта в текущей сессии диалога с моделью;
- создание системного промпта в библиотеке системных промптов для дальнейшего использования.
### Редактирование системного промпта в текущей сессии
1. [Начните](#начать-диалог-с-моделью) диалог с моделью.
2. Системный промпт отображается над строкой для ввода текста в чате.
3. Нажмите на значок карандаша справа от системного промпта.
4. В появившемся окне справа введите содержимое промпта.
5. Нажмите кнопку **Сохранить**.
6. Содержимое системного промпта обновится.
Редактируемый системный промпт доступен для всех моделей и сохраняется только в рамках текущей сессии.
### Создать системный промпт
1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
2. В левом меню выберите раздел **Системные промпты**.
3. Нажмите кнопку **Создать системный промпт**.
4. Заполните параметры промпта:
- **Название**: введите название систменого промпта.
- **Название**: введите название системного промпта.
- **Содержание**: введите содержание промпта.
5. Нажмите **Создать**.
#### Редактирование системного промпта
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии.
![alt text](./image/Chat_AI_Edit_System_prompt_1024.png)
![alt text](./image/Chat_AI_Create_System_prompt_1024.png)
![alt text](./image/Chat_AI_Choice_System_prompt_1024.png)
Системный промпт добавлен в библиотеку системных промптов. Посмотреть список промптов можно в левом меню в разделе **Системные промпты**.
## Сменить тенант
В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо:
В чате с LLM-моделями есть возможность работать сразу с несколькими [тенантами](ai-setting.md#создать-тенант).
1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md).
2. В левом меню откройте раздел **Тенанты**.
3. Выберите из списка подходящий тенант.
Для смены текущего тенанта необходимо:
![alt text](./image/Chat_Ai_Tenant_1024.png)
![alt text](./image/Chat_Ai_Tenant_list_1024.png)
1. В верхнем меню нажмите на вкладку **Тенант**.
2. Выберите из списка тенант.
::: details Завиисмость от тенантов
В другом тенанте может отличаться:
К тенанта привязаны сущности:
- Список доступных моделей;
- Список Баз знаний;
- Список системных промптов.
- модели;
- базы знаний;
- системные промпты.
Все вышеперечисленные сущности привязываются к тенанту.
:::
## Начать диалог с LLM
Для каждого тенанта эти сущности будут отличаться.
## Очистить контекст диалога
При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: [Ограничения LLM](../ai/ai-chat-llm.md#ограничения-llm).
При длительном диалоге модель накапливает [контекст](ai-glossary.md#контекст) и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения "галлюцинации" рекомендуется периодически очищать контекст диалога.
Для очистки контекста диалога нажмите на значок корзины в правом верхнем углу окна чата.
src/ai/ai-getting-started.md
+9 -15
View File
@@ -2,14 +2,6 @@
Данная инструкция рассматривает начальную настройку сервиса **AI платформа** и отправку первого запроса к LLM-модели.
Процесс включает следующие шаги:
1. [Создать тенант](../ai/ai-getting-started.md#1-создать-тенант).
2. [Добавить модель](../ai/ai-getting-started.md#2-добавить-модель).
3. [Перейти в чат с LLM](../ai/ai-getting-started.md#3-перейти-в-чат-с-llm).
4. [Задать вопрос модели](../ai/ai-getting-started.md#4-задать-вопрос-модели).
5. [Редактровать промпт](../ai/ai-getting-started.md#5-редактировать-промпт).
## Перед началом работы
- [Зарегистрируйтесь](../start/getting-started.md#1-регистрация-в-beeline-cloud) в личном кабинете Beeline Cloud.
@@ -41,13 +33,7 @@
3. Из поля **Url приложения** скопируйте ссылку на чат с LLM.
4. Вставьте ссылку в браузер.
## 4. Задать вопрос модели
1. В чате с LLM-моделями в левом меню перейдите в раздел **Чат**.
2. Откроется чат. В текстовом поле внизу введите запрос к LLM-модели.
3. Дождитесь ответа модели.
## 5. Редактировать промпт
## 4. Создать системный промпт
1. В чате с LLM в левом меню откройте раздел **Системные промпты**.
2. Нажмите кнопку **Создать системный промпт**.
@@ -55,3 +41,11 @@
- **Название**: введите название систменого промпта;
- **Содержание**: введите содержание промпта.
4. Нажмите **Создать**.
## 5. Начать диалог с моделью
1. В чате с LLM-моделями в левом меню перейдите в раздел **Чат**.
2. Выберите из списка модель.
3. Выберите из списка системный промпт.
4. Откроется чат. В текстовом поле внизу введите запрос к LLM-модели.
5. Дождитесь ответа модели.
src/ai/ai-glossary.md
+25
View File
@@ -1 +1,26 @@
# Концепции
## База знаний (RAG)
RAG — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных.
## Контекст
Контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней.
## Рассуждения
Reasoning (рассуждение или логическое мышление) у LLM — это способность модели не просто воспроизводить выученные паттерны текста, а последовательно и логически выводить новую информацию из уже известных ей данных.
## Промпт
Промпт — это текстовый запрос, который вы отправляете модели, и который задает контекст и направление для ответа. LLM анализирует промпт и генерирует ответ, который является логическим продолжением текста. Чем понятнее и конкретнее сформулирован промпт, тем качественнее будет ответ.
Системные промпты — специальные инструкции, которые задают общие рамки поведения модели на протяжении всего диалога. Системный промпт устанавливается в начале общения и сообщает модели, какую роль она должна играть, какие ограничения соблюдать и какой стиль общения использовать.
В сервисе **AI-платформа** системный промпт доступен для редактирования, чтобы пользователи могли максимально настраивать поведение моделей.
## Токен
LLM представляет текст не в виде слов или букв, а в виде токенов. Токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью.
src/ai/ai-setting.md
+1 -10
View File
@@ -16,8 +16,6 @@
## Добавить модель
**Модель (Large Language Model, LLM)** это комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. Модель подключается к тенанту для обработки запросов.
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
2. В верхнем меню нажмите на раздел **Сервисы**.
3. Выберите **Сервис AI платформа**.
@@ -31,13 +29,6 @@
## Добавить базу знаний
**База знаний** представляет собой специализированный контейнер данных, который дополняет ответы модели на основе содержимого базы. База знаний позволяет модели использовать внешние данные (файлы, документы) для генерации ответов.
Сервис поддерживает добавление базы знаний несколькими способами:
- **При создании тенанта** — на этапе начальной настройки;
- **Через интерфейс чата с LLM** — выберите **Базы знаний** в левом меню чата с LLM и нажмите **Создать базу знаний**.
1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/).
2. В верхнем меню нажмите на раздел **Сервисы**.
3. Выберите **Сервис AI платформа**.
@@ -49,7 +40,7 @@
- **Описание**: введите описание базы знаний.
7. Нажмите **Создать базу знаний**.
Наполнение базы знаний документами, на основании которых будет генерироваться ответ модели, выполняется в чате с LLM.
[Наполнение базы знаний](ai-chat-llm.md#добавить-документ-в-базу-знаний) документами, на основании которых будет генерироваться ответ модели, выполняется в чате с LLM.
## Удалить тенант, модель, базу знаний
src/ai/index.md
+4
View File
@@ -12,6 +12,10 @@ section_links:
- title: Чат с LLM
link: /ai/ai-chat-llm.md
description: Интерфейс для взаимодействия с LLM-моделями в формате чат-бота
- title: Концепции
link: /ai/ai-glossary.md
description: Основные понятия, используемые в сервисе
---
# AI платформа