Описание чата с LLM

2025-11-28 15:10:03 +06:00
parent 60c4327897
commit 0756141fcc
3 changed files with 42 additions and 19 deletions
@@ -52,46 +52,68 @@ DeepSeek V3 — это мощная гибридная модель с 671 мл

 ![alt text](./image/Chat_AI_Main_1024.png)

-Интерфейс чата с LLM включает:
+::: details Интерфейс чата с LLM

 - **Чат**

-В этом разделе ведется диалог с моделью
-По умолчанию используется модель Gemma 3. Для смены модели выберите подходящий вариант из выпадающего меню. Рекомендации по выбору модели доступны в разделе [Доступные модели](../ai/ai-chat-llm.md#дотупные-модели).
+Раздел включает функции:
+
+- диалог с моделью в режиме вопрос-ответ;
+- выбор LLM;
+- выбор базы знаний.

 - **Базы знаний**
-Для генерации отвеfтов не на базе своего раннего обучения, а на основе актуальных данных, необходимо выбрать нужную базу знаний из выпадающего меню. Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе [Базы знаний](../ai/ai-overview-platform.md#ликбез).
+
+Раздел предназначен для подготовки базы знаний, на основе которой модель будет генерировать ответы.

 - **Системные промпты**
-Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. Подробно про промпты можно почитать тут: [Промпты](../ai/ai-overview-platform.md#ликбез).

+Раздел предназначен для создания системных промптов. Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.

-## Выбрать LLM
+:::

-Следующим шагом надо выбрать одну из доступных моделей.
+## Начать диалог с моделью

-![alt text](./image/Chat_AI_Choice_LLM_1024.png)
+1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
+2. В левом меню выберите раздел **Чаты**.
+3. Выберите из списка модель. Если в списке отсутствует нужная [модель](#доступные-модели), то [добавьте модель](ai-setting.md#добавить-модель) в тенант.

-По умолчанию установлена модель Gemma 3, но мы рекомендуем начинать эксперименты с модели Qwen 3 32B, которая имеет больший контекст, поддерживает нативный вызов инструментов, а также может работать как в режиме с рассуждениями (включен по умолчанию) или без них - в таком случае нужно передать в запросе "/no_think".
-С списанием, какие модели доступны, а также, какие преимущества есть у каждой из моделей, можно ознакомиться в разделе [Доступные модели](../ai/ai-chat-llm.md#доступные-модели).
+    ::: tip Информация

+    Эксперименты рекомендуется с модели **Qwen 3 32B**, которая имеет больший контекст и поддерживает нативный вызов инструментов.

+    Модель **Qwen 3 32B** может работать:
+    - с рассуждениями - этот режим включен по умолчанию;
+    - без рассуждений - в этом случае нужно передать в запросе `/no_think`.

-После выбора модели можно начинать диалог с чатом. Для этого необходимо просто писать свой запрос в окно диалога и дожидаться ответа.
+    :::
+4. Введите запрос к модели. Дождитесь ответа.

 ## Использовать базу знаний

-В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.
+Если необходимо, чтобы модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то необходимо указать базу знаний, с которой чат должен расширить свой контекст.
+
+Для этого необходимо выбрать базу знаний и продолжить диалог.

 ![alt text](./image/Chat_AI_Choice_RAG_SalesHelper_1024.png)

-И в таком случае,при формировании ответа,  модель уже будет использовать макимально актуальную информацию при генерации рекомендации.
+Если база знаний отсутствует в списке, то [создайте](#создать-базу-знаний) базу знаний и добавьте документы.

-![alt text](./image/Chat_AI_Answer_RAG_SOHO_1024.png)
+### Создать базу знаний
+
+1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
+2. В левом меню выберите раздел **Базы знаний**.
+3. Нажмите кнопку **Создать базу знаний**.
+4. Заполните параметры базы знаний:
+   - **Имя**: введите имя базы знаний, имя будет отображаться при выборе базы знаний в чате.
+   - **Описание**: введите описание базы знаний.
+5. Нажмите кнопку **Создать**.
+
+База знаний будет создана, но в ней пока нет информации для генерации ответов модели. Добавьте 
+
+### Добавить документ в базу знаний

-Как видим, модель получила данные из базы знаний и сослалась на них.

-Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.

 ## Редактировать системный промпт

@@ -1,4 +1,4 @@
-# Ликбез
+# Концепции

 ### Что такое LLM
 Представьте, что у вас есть программа, которая прочитала миллионы книг, статей и страниц из интернета, а потом научилась предсказывать, какие слова могут идти друг за другом в любом тексте. Примерно так устроена большая языковая модель, или LLM (Large Language Model).
@@ -15,7 +15,8 @@

 Важно отметить, что все ответы LLM вероятностные, т. е. на один и тот же вопрос модель всегда будет отвечать немного по-разному. Именно поэтому ответы LLM могут выглядеть очень разумными и логичными, но при этом модель может допускать ошибки — она не всегда «понимает» информацию так, как это сделал бы человек.

-### Ограничения LLM 
+### Ограничения LLM
+
 Языковые модели обладают рядом принципиальных ограничений, которые важно учитывать при работе с ними:

 - **Ограниченный контекст** — модель одновременно обрабатывает только определенный объем текста (обычно несколько тысяч слов). При превышении этого лимита ранние части диалога "забываются", что приводит к потере контекста в продолжительных беседах.
@@ -43,7 +43,7 @@
 3. Выберите **Сервис AI платформа**.
 4. В левом меню откройте раздел **База знаний**.
 5. Нажмите кнопку **Создать базу знаний**.
-6. Заполните параметры базу знаний:
+6. Заполните параметры базы знаний:
    - **Тенант**: выберите из списка тенант.
    - **Имя**: введите имя базы знаний.
    - **Описание**: введите описание базы знаний.