Описание чата с LLM
This commit is contained in:
+38
-16
@@ -52,46 +52,68 @@ DeepSeek V3 — это мощная гибридная модель с 671 мл
|
|||||||
|
|
||||||

|

|
||||||
|
|
||||||
Интерфейс чата с LLM включает:
|
::: details Интерфейс чата с LLM
|
||||||
|
|
||||||
- **Чат**
|
- **Чат**
|
||||||
|
|
||||||
В этом разделе ведется диалог с моделью
|
Раздел включает функции:
|
||||||
По умолчанию используется модель Gemma 3. Для смены модели выберите подходящий вариант из выпадающего меню. Рекомендации по выбору модели доступны в разделе [Доступные модели](../ai/ai-chat-llm.md#дотупные-модели).
|
|
||||||
|
- диалог с моделью в режиме вопрос-ответ;
|
||||||
|
- выбор LLM;
|
||||||
|
- выбор базы знаний.
|
||||||
|
|
||||||
- **Базы знаний**
|
- **Базы знаний**
|
||||||
Для генерации отвеfтов не на базе своего раннего обучения, а на основе актуальных данных, необходимо выбрать нужную базу знаний из выпадающего меню. Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе [Базы знаний](../ai/ai-overview-platform.md#ликбез).
|
|
||||||
|
Раздел предназначен для подготовки базы знаний, на основе которой модель будет генерировать ответы.
|
||||||
|
|
||||||
- **Системные промпты**
|
- **Системные промпты**
|
||||||
Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. Подробно про промпты можно почитать тут: [Промпты](../ai/ai-overview-platform.md#ликбез).
|
|
||||||
|
|
||||||
|
Раздел предназначен для создания системных промптов. Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя.
|
||||||
|
|
||||||
## Выбрать LLM
|
:::
|
||||||
|
|
||||||
Следующим шагом надо выбрать одну из доступных моделей.
|
## Начать диалог с моделью
|
||||||
|
|
||||||

|
1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
|
||||||
|
2. В левом меню выберите раздел **Чаты**.
|
||||||
|
3. Выберите из списка модель. Если в списке отсутствует нужная [модель](#доступные-модели), то [добавьте модель](ai-setting.md#добавить-модель) в тенант.
|
||||||
|
|
||||||
По умолчанию установлена модель Gemma 3, но мы рекомендуем начинать эксперименты с модели Qwen 3 32B, которая имеет больший контекст, поддерживает нативный вызов инструментов, а также может работать как в режиме с рассуждениями (включен по умолчанию) или без них - в таком случае нужно передать в запросе "/no_think".
|
::: tip Информация
|
||||||
С списанием, какие модели доступны, а также, какие преимущества есть у каждой из моделей, можно ознакомиться в разделе [Доступные модели](../ai/ai-chat-llm.md#доступные-модели).
|
|
||||||
|
|
||||||
|
Эксперименты рекомендуется с модели **Qwen 3 32B**, которая имеет больший контекст и поддерживает нативный вызов инструментов.
|
||||||
|
|
||||||
|
Модель **Qwen 3 32B** может работать:
|
||||||
|
- с рассуждениями - этот режим включен по умолчанию;
|
||||||
|
- без рассуждений - в этом случае нужно передать в запросе `/no_think`.
|
||||||
|
|
||||||
После выбора модели можно начинать диалог с чатом. Для этого необходимо просто писать свой запрос в окно диалога и дожидаться ответа.
|
:::
|
||||||
|
4. Введите запрос к модели. Дождитесь ответа.
|
||||||
|
|
||||||
## Использовать базу знаний
|
## Использовать базу знаний
|
||||||
|
|
||||||
В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог.
|
Если необходимо, чтобы модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то необходимо указать базу знаний, с которой чат должен расширить свой контекст.
|
||||||
|
|
||||||
|
Для этого необходимо выбрать базу знаний и продолжить диалог.
|
||||||
|
|
||||||

|

|
||||||
|
|
||||||
И в таком случае,при формировании ответа, модель уже будет использовать макимально актуальную информацию при генерации рекомендации.
|
Если база знаний отсутствует в списке, то [создайте](#создать-базу-знаний) базу знаний и добавьте документы.
|
||||||
|
|
||||||

|
### Создать базу знаний
|
||||||
|
|
||||||
|
1. [Авторизоваться в чате с LLM](#авторизация-в-чате-с-llm).
|
||||||
|
2. В левом меню выберите раздел **Базы знаний**.
|
||||||
|
3. Нажмите кнопку **Создать базу знаний**.
|
||||||
|
4. Заполните параметры базы знаний:
|
||||||
|
- **Имя**: введите имя базы знаний, имя будет отображаться при выборе базы знаний в чате.
|
||||||
|
- **Описание**: введите описание базы знаний.
|
||||||
|
5. Нажмите кнопку **Создать**.
|
||||||
|
|
||||||
|
База знаний будет создана, но в ней пока нет информации для генерации ответов модели. Добавьте
|
||||||
|
|
||||||
|
### Добавить документ в базу знаний
|
||||||
|
|
||||||
Как видим, модель получила данные из базы знаний и сослалась на них.
|
|
||||||
|
|
||||||
Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез.
|
|
||||||
|
|
||||||
## Редактировать системный промпт
|
## Редактировать системный промпт
|
||||||
|
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
# Ликбез
|
# Концепции
|
||||||
|
|
||||||
### Что такое LLM
|
### Что такое LLM
|
||||||
Представьте, что у вас есть программа, которая прочитала миллионы книг, статей и страниц из интернета, а потом научилась предсказывать, какие слова могут идти друг за другом в любом тексте. Примерно так устроена большая языковая модель, или LLM (Large Language Model).
|
Представьте, что у вас есть программа, которая прочитала миллионы книг, статей и страниц из интернета, а потом научилась предсказывать, какие слова могут идти друг за другом в любом тексте. Примерно так устроена большая языковая модель, или LLM (Large Language Model).
|
||||||
@@ -16,6 +16,7 @@
|
|||||||
Важно отметить, что все ответы LLM вероятностные, т. е. на один и тот же вопрос модель всегда будет отвечать немного по-разному. Именно поэтому ответы LLM могут выглядеть очень разумными и логичными, но при этом модель может допускать ошибки — она не всегда «понимает» информацию так, как это сделал бы человек.
|
Важно отметить, что все ответы LLM вероятностные, т. е. на один и тот же вопрос модель всегда будет отвечать немного по-разному. Именно поэтому ответы LLM могут выглядеть очень разумными и логичными, но при этом модель может допускать ошибки — она не всегда «понимает» информацию так, как это сделал бы человек.
|
||||||
|
|
||||||
### Ограничения LLM
|
### Ограничения LLM
|
||||||
|
|
||||||
Языковые модели обладают рядом принципиальных ограничений, которые важно учитывать при работе с ними:
|
Языковые модели обладают рядом принципиальных ограничений, которые важно учитывать при работе с ними:
|
||||||
|
|
||||||
- **Ограниченный контекст** — модель одновременно обрабатывает только определенный объем текста (обычно несколько тысяч слов). При превышении этого лимита ранние части диалога "забываются", что приводит к потере контекста в продолжительных беседах.
|
- **Ограниченный контекст** — модель одновременно обрабатывает только определенный объем текста (обычно несколько тысяч слов). При превышении этого лимита ранние части диалога "забываются", что приводит к потере контекста в продолжительных беседах.
|
||||||
|
|||||||
@@ -43,7 +43,7 @@
|
|||||||
3. Выберите **Сервис AI платформа**.
|
3. Выберите **Сервис AI платформа**.
|
||||||
4. В левом меню откройте раздел **База знаний**.
|
4. В левом меню откройте раздел **База знаний**.
|
||||||
5. Нажмите кнопку **Создать базу знаний**.
|
5. Нажмите кнопку **Создать базу знаний**.
|
||||||
6. Заполните параметры базу знаний:
|
6. Заполните параметры базы знаний:
|
||||||
- **Тенант**: выберите из списка тенант.
|
- **Тенант**: выберите из списка тенант.
|
||||||
- **Имя**: введите имя базы знаний.
|
- **Имя**: введите имя базы знаний.
|
||||||
- **Описание**: введите описание базы знаний.
|
- **Описание**: введите описание базы знаний.
|
||||||
|
|||||||
Reference in New Issue
Block a user