diff --git a/src/.vitepress/config.mts b/src/.vitepress/config.mts index 095e580..380bca8 100644 --- a/src/.vitepress/config.mts +++ b/src/.vitepress/config.mts @@ -144,6 +144,7 @@ export default defineConfig({ { text: 'Быстрый старт', link: '/ai/ai-getting-started.md' }, { text: 'Управление сервисом', link: '/ai/ai-setting.md' }, { text: 'Чат с LLM', link: '/ai/ai-chat-llm.md' }, + { text: 'Концепции', link: '/ai/ai-glossary.md' }, ], '/vdc/': [ { diff --git a/src/ai/ai-chat-llm.md b/src/ai/ai-chat-llm.md index c2f4234..6b5a1b3 100644 --- a/src/ai/ai-chat-llm.md +++ b/src/ai/ai-chat-llm.md @@ -83,15 +83,17 @@ DeepSeek V3 — это мощная гибридная модель с 671 мл Эксперименты рекомендуется с модели **Qwen 3 32B**, которая имеет больший контекст и поддерживает нативный вызов инструментов. Модель **Qwen 3 32B** может работать: - - с рассуждениями - этот режим включен по умолчанию; + - [с рассуждениями](ai-glossary.md#рассуждения) - этот режим включен по умолчанию; - без рассуждений - в этом случае нужно передать в запросе `/no_think`. ::: -4. Введите запрос к модели. Дождитесь ответа. +4. (опционально) Выберите базу знаний, на основе которой модель составит ответ. Если список баз данных пуст, то [создайте](#создать-базу-знаний) базу знаний. +5. (опциоанльно) Выберите системный промпт. По умолчанию в чате задан системный промпт. Если необходим промпт под определенную задачу, то [измените](#редактировать-системный-промпт) системный промпт. +6. Введите запрос к модели. Дождитесь ответа. ## Использовать базу знаний -Если необходимо, чтобы модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то необходимо указать базу знаний, с которой чат должен расширить свой контекст. +Если необходимо, чтобы модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то необходимо указать [базу знаний](ai-glossary.md#база-знаний-rag), с которой чат должен расширить свой контекст. Для этого необходимо выбрать базу знаний и продолжить диалог. @@ -109,61 +111,68 @@ DeepSeek V3 — это мощная гибридная модель с 671 мл - **Описание**: введите описание базы знаний. 5. Нажмите кнопку **Создать**. -База знаний будет создана, но в ней пока нет информации для генерации ответов модели. Добавьте +База знаний будет создана, но в ней пока нет информации для генерации ответов модели. Добавьте документы в базу знаний. ### Добавить документ в базу знаний - +1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm). +2. В левом меню выберите раздел **Базы знаний**. +3. В списке нажмите на нужную базу знаний. +4. Нажмите кнопку **Добавить документ**. +5. Загрузите файлы в базу знаний. +6. Нажмите **Добавить**. ## Редактировать системный промпт -**Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса. +По умолчанию задан простой "размытый" [промпт](ai-glossary.md#промпт), который указывает, что ответы модели должны быть полезными. Но такой чат не всегда сможет предоставить пользователю ответ, который его устроит. -#### Добавить промпт +В чате с LLM доступен редактор системных промптов. Возможны способы редактирования системных промптов: -1. Перейдите в раздел AI платформа. -2. В левом меню откройте раздел **База знаний**. +- редактирование системного промпта в текущей сессии диалога с моделью; +- создание системного промпта в библиотеке системных промптов для дальнейшего использования. + +### Редактирование системного промпта в текущей сессии + +1. [Начните](#начать-диалог-с-моделью) диалог с моделью. +2. Системный промпт отображается над строкой для ввода текста в чате. +3. Нажмите на значок карандаша справа от системного промпта. +4. В появившемся окне справа введите содержимое промпта. +5. Нажмите кнопку **Сохранить**. +6. Содержимое системного промпта обновится. + +Редактируемый системный промпт доступен для всех моделей и сохраняется только в рамках текущей сессии. + +### Создать системный промпт + +1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm). +2. В левом меню выберите раздел **Системные промпты**. 3. Нажмите кнопку **Создать системный промпт**. 4. Заполните параметры промпта: - - **Название**: введите название систменого промпта. + - **Название**: введите название системного промпта. - **Содержание**: введите содержание промпта. 5. Нажмите **Создать**. -#### Редактирование системного промпта - -Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. -Наприме, по умолчанию задан простой, "размытый" промпт, который просто указывает, что чат должен быть полезным. Но, такой чат не всегда сможет предоставить пользователю ответ, который его устроит. Поэтому, фунционал Чат с LLM предоставляет возможность задать пользователю свой промпт, который будет действовать в текущей сессии. - -![alt text](./image/Chat_AI_Edit_System_prompt_1024.png) - -![alt text](./image/Chat_AI_Create_System_prompt_1024.png) - -![alt text](./image/Chat_AI_Choice_System_prompt_1024.png) +Системный промпт добавлен в библиотеку системных промптов. Посмотреть список промптов можно в левом меню в разделе **Системные промпты**. ## Сменить тенант -В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо: +В чате с LLM-моделями есть возможность работать сразу с несколькими [тенантами](ai-setting.md#создать-тенант). -1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md). -2. В левом меню откройте раздел **Тенанты**. -3. Выберите из списка подходящий тенант. +Для смены текущего тенанта необходимо: -![alt text](./image/Chat_Ai_Tenant_1024.png) -![alt text](./image/Chat_Ai_Tenant_list_1024.png) +1. В верхнем меню нажмите на вкладку **Тенант**. +2. Выберите из списка тенант. -::: details Завиисмость от тенантов -В другом тенанте может отличаться: +К тенанта привязаны сущности: -- Список доступных моделей; -- Список Баз знаний; -- Список системных промптов. +- модели; +- базы знаний; +- системные промпты. -Все вышеперечисленные сущности привязываются к тенанту. - -::: - -## Начать диалог с LLM +Для каждого тенанта эти сущности будут отличаться. ## Очистить контекст диалога -При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: [Ограничения LLM](../ai/ai-chat-llm.md#ограничения-llm). \ No newline at end of file +При длительном диалоге модель накапливает [контекст](ai-glossary.md#контекст) и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения "галлюцинации" рекомендуется периодически очищать контекст диалога. + +Для очистки контекста диалога нажмите на значок корзины в правом верхнем углу окна чата. \ No newline at end of file diff --git a/src/ai/ai-getting-started.md b/src/ai/ai-getting-started.md index e7b7b6d..1b1f33c 100644 --- a/src/ai/ai-getting-started.md +++ b/src/ai/ai-getting-started.md @@ -2,14 +2,6 @@ Данная инструкция рассматривает начальную настройку сервиса **AI платформа** и отправку первого запроса к LLM-модели. -Процесс включает следующие шаги: - -1. [Создать тенант](../ai/ai-getting-started.md#1-создать-тенант). -2. [Добавить модель](../ai/ai-getting-started.md#2-добавить-модель). -3. [Перейти в чат с LLM](../ai/ai-getting-started.md#3-перейти-в-чат-с-llm). -4. [Задать вопрос модели](../ai/ai-getting-started.md#4-задать-вопрос-модели). -5. [Редактровать промпт](../ai/ai-getting-started.md#5-редактировать-промпт). - ## Перед началом работы - [Зарегистрируйтесь](../start/getting-started.md#1-регистрация-в-beeline-cloud) в личном кабинете Beeline Cloud. @@ -41,13 +33,7 @@ 3. Из поля **Url приложения** скопируйте ссылку на чат с LLM. 4. Вставьте ссылку в браузер. -## 4. Задать вопрос модели - -1. В чате с LLM-моделями в левом меню перейдите в раздел **Чат**. -2. Откроется чат. В текстовом поле внизу введите запрос к LLM-модели. -3. Дождитесь ответа модели. - -## 5. Редактировать промпт +## 4. Создать системный промпт 1. В чате с LLM в левом меню откройте раздел **Системные промпты**. 2. Нажмите кнопку **Создать системный промпт**. @@ -55,3 +41,11 @@ - **Название**: введите название систменого промпта; - **Содержание**: введите содержание промпта. 4. Нажмите **Создать**. + +## 5. Начать диалог с моделью + +1. В чате с LLM-моделями в левом меню перейдите в раздел **Чат**. +2. Выберите из списка модель. +3. Выберите из списка системный промпт. +4. Откроется чат. В текстовом поле внизу введите запрос к LLM-модели. +5. Дождитесь ответа модели. diff --git a/src/ai/ai-glossary.md b/src/ai/ai-glossary.md index f2add25..dd86aca 100644 --- a/src/ai/ai-glossary.md +++ b/src/ai/ai-glossary.md @@ -1 +1,26 @@ # Концепции + +## База знаний (RAG) + +RAG — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных. + +## Контекст + +Контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней. + +## Рассуждения + +Reasoning (рассуждение или логическое мышление) у LLM — это способность модели не просто воспроизводить выученные паттерны текста, а последовательно и логически выводить новую информацию из уже известных ей данных. + + +## Промпт + +Промпт — это текстовый запрос, который вы отправляете модели, и который задает контекст и направление для ответа. LLM анализирует промпт и генерирует ответ, который является логическим продолжением текста. Чем понятнее и конкретнее сформулирован промпт, тем качественнее будет ответ. + +Системные промпты — специальные инструкции, которые задают общие рамки поведения модели на протяжении всего диалога. Системный промпт устанавливается в начале общения и сообщает модели, какую роль она должна играть, какие ограничения соблюдать и какой стиль общения использовать. + +В сервисе **AI-платформа** системный промпт доступен для редактирования, чтобы пользователи могли максимально настраивать поведение моделей. + +## Токен + +LLM представляет текст не в виде слов или букв, а в виде токенов. Токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. diff --git a/src/ai/ai-setting.md b/src/ai/ai-setting.md index da1f2c6..39e43f0 100644 --- a/src/ai/ai-setting.md +++ b/src/ai/ai-setting.md @@ -16,8 +16,6 @@ ## Добавить модель -**Модель (Large Language Model, LLM)** это комплексные языковые модели, предоставляемые сервисом для генерации текста и ответов. Модель подключается к тенанту для обработки запросов. - 1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/). 2. В верхнем меню нажмите на раздел **Сервисы**. 3. Выберите **Сервис AI платформа**. @@ -31,13 +29,6 @@ ## Добавить базу знаний -**База знаний** представляет собой специализированный контейнер данных, который дополняет ответы модели на основе содержимого базы. База знаний позволяет модели использовать внешние данные (файлы, документы) для генерации ответов. - -Сервис поддерживает добавление базы знаний несколькими способами: - -- **При создании тенанта** — на этапе начальной настройки; -- **Через интерфейс чата с LLM** — выберите **Базы знаний** в левом меню чата с LLM и нажмите **Создать базу знаний**. - 1. Войдите в [личный кабинет](https://lk.cloud.beeline.ru/). 2. В верхнем меню нажмите на раздел **Сервисы**. 3. Выберите **Сервис AI платформа**. @@ -49,7 +40,7 @@ - **Описание**: введите описание базы знаний. 7. Нажмите **Создать базу знаний**. -Наполнение базы знаний документами, на основании которых будет генерироваться ответ модели, выполняется в чате с LLM. +[Наполнение базы знаний](ai-chat-llm.md#добавить-документ-в-базу-знаний) документами, на основании которых будет генерироваться ответ модели, выполняется в чате с LLM. ## Удалить тенант, модель, базу знаний diff --git a/src/ai/index.md b/src/ai/index.md index 96d0dc2..2608328 100644 --- a/src/ai/index.md +++ b/src/ai/index.md @@ -12,6 +12,10 @@ section_links: - title: Чат с LLM link: /ai/ai-chat-llm.md description: Интерфейс для взаимодействия с LLM-моделями в формате чат-бота + - title: Концепции + link: /ai/ai-glossary.md + description: Основные понятия, используемые в сервисе + --- # AI платформа \ No newline at end of file