From 60c4327897b0b1e3c39b19f5026ee7ecdf727df8 Mon Sep 17 00:00:00 2001 From: Elena Rechkina Date: Thu, 27 Nov 2025 17:13:24 +0600 Subject: [PATCH] =?UTF-8?q?=D0=9E=D0=BF=D0=B8=D1=81=D0=B0=D0=BD=D0=B8?= =?UTF-8?q?=D0=B5=20=D1=84=D1=83=D0=BD=D0=BA=D1=86=D0=B8=D0=B8=20=D1=87?= =?UTF-8?q?=D0=B0=D1=82=D0=B0=20=D1=81=20=D0=BC=D0=BE=D0=B4=D0=B5=D0=BB?= =?UTF-8?q?=D1=8F=D0=BC=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/ai/ai-chat-llm.md | 194 ++++++++++++--------------------- src/ai/ai-getting-started.md | 43 +++----- src/ai/ai-glossary.md | 59 ++++++++++ src/ai/ai-overview-platform.md | 6 +- 4 files changed, 152 insertions(+), 150 deletions(-) diff --git a/src/ai/ai-chat-llm.md b/src/ai/ai-chat-llm.md index a9ec810..8c6dc18 100644 --- a/src/ai/ai-chat-llm.md +++ b/src/ai/ai-chat-llm.md @@ -1,38 +1,72 @@ # Чат с LLM -Раздел описывает работу с LLM-моделями. Описание включает обзор элементов управления, процесс выбора моделей и используемую терминологию для эффективного взаимодействия с AI платформой. +**Чат с LLM** - это интерфейс для общения с LLM-моделями. Подходит для знакомства и тестирования моделей. +Исходя из возможностей сервиса Чат с LLM пользовательский путь от авторизации к диалогу выглядит следующим образом: -## Обзор сервиса Чат с LLM +1. Переход в чат с LLM. +2. Выбор LLM. +3. Выбор базы знаний. +4. Настройка системного промпта. +5. Диалог с LLM. -**Чат с LLM** — это интуитивно понятный интерфейс для общения с LLM (Large Language Model). Подходит для знакомства с моделями, а также для встраивания на любой сайт в виде виджета. Чат дает возможность выбирать различные LLM модели, базы знаний и настраивать системные промпты под свои задачи. +## Доступные модели -**Интерфейс чата:** +Чат с LLM поддерживает модели:. + +| Модель | Контекст | Параметры | Reasoning | Инструменты | Картинки | +|:-------|:-------|:-------|:-------|:-------|:-------| +| Deepseek-chat | 131k | 671B | ✅ | ✅ | ❌ | +| Gemma 3 | 128k | 27B | ❌ | ❌ | ✅ | +| Qwen 3 | 131k | 32B | ✅ |✅ | ❌| + +::: details Описание моделей + +- **DeepSeek Chat** + +DeepSeek V3 — это мощная гибридная модель с 671 млрд. параметров, специально оптимизированная для кодогенерации и работы поисковых агентов. Модель поддерживает контекст до 128 тыс. токенов и позволяет гибко управлять режимом рассуждений через параметр "reasoning_enabled". Она демонстрирует производительность уровня DeepSeek-R1, но работает быстрее, идеально подходя для программирования, исследований и агентных workflow. + +- **Gemma 3** + +Основная особенность этой модели в том, что она поддерживает картинки. Вы можете использовать ее как OCR: модель распознает рукописный текст на русском языке. Кроме этого, модель распознает и классифицирует объекты на фотографиях; может распознавать и переводить надписи. + +- **Qwen 3 32B** + +Основная модель, с которой рекомендуется начинать эксперименты. Поддерживает нативный вызов инструментов. + +Режимы работы: + +- с рассуждениями (включен по умолчанию). +- без рассуждений (нужно передать в запросе /no_think). + +::: + +## Авторизация в чате с LLM + +Доступ к чату с LLM-моделями предоставляется по уникальной ссылке, которая формируется после [создания тенанта](ai-setting.md#создать-тенант). + +1. В левом меню откройте раздел **Тенанты**. +2. Нажмите на имя тенанта. +3. Из поля **Url приложения** скопируйте ссылку на чат с LLM. +4. Вставьте ссылку в браузер. Откроется чат с LLM. ![alt text](./image/Chat_AI_Main_1024.png) -В интерфейсе доступен следующий функционал: +Интерфейс чата с LLM включает: -1. **Выбор модели:** +- **Чат** + +В этом разделе ведется диалог с моделью По умолчанию используется модель Gemma 3. Для смены модели выберите подходящий вариант из выпадающего меню. Рекомендации по выбору модели доступны в разделе [Доступные модели](../ai/ai-chat-llm.md#дотупные-модели). -2. **Выбор базы знаний:** +- **Базы знаний** Для генерации отвеfтов не на базе своего раннего обучения, а на основе актуальных данных, необходимо выбрать нужную базу знаний из выпадающего меню. Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе [Базы знаний](../ai/ai-overview-platform.md#ликбез). -3. **Выбор системного промпта:** +- **Системные промпты** Системный промпт представляет из себя набор инструкций, на которые опирается модель при подготовке ответа на запрос пользователя. Подробно про промпты можно почитать тут: [Промпты](../ai/ai-overview-platform.md#ликбез). -4. **Очистка контекста диалога:** -При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: [Ограничения LLM](../ai/ai-chat-llm.md#ограничения-llm). -5. **Диалог пользователя с чатом** -Диалог с чатом пользователь ведёт как в обычном чате в режиме вопрос-ответ. - -Исходя из возможностей сервиса **Чат с LLM** пользовательский путь от авторизации к диалогу выглядит следующим образом: - -![alt text](./image/UX_Path_1024.png) - -## Выбор LLM +## Выбрать LLM Следующим шагом надо выбрать одну из доступных моделей. @@ -41,99 +75,11 @@ По умолчанию установлена модель Gemma 3, но мы рекомендуем начинать эксперименты с модели Qwen 3 32B, которая имеет больший контекст, поддерживает нативный вызов инструментов, а также может работать как в режиме с рассуждениями (включен по умолчанию) или без них - в таком случае нужно передать в запросе "/no_think". С списанием, какие модели доступны, а также, какие преимущества есть у каждой из моделей, можно ознакомиться в разделе [Доступные модели](../ai/ai-chat-llm.md#доступные-модели). -## Доступные модели -В этом разделе мы ведём актуальный список моделей, которые доступны на платформе. - -| Модель | Контекст | Параметры | Reasoning | Инструменты | Картинки | -|:-------|:-------|:-------|:-------|:-------|:-------| -| Deepseek-chat | 131k | 671B | ✅ | ✅ | ❌ | -| Gemma 3 | 128k | 27B | ❌ | ❌ | ✅ | -| Qwen 3 | 131k | 32B | ✅ |✅ | ❌| - -::: details Описание доступных моделей - -* **DeepSeek Chat** - -Обновление DeepSeek V3 — это мощная гибридная модель с 671 млрд параметров, специально оптимизированная для кодогенерации и работы поисковых агентов. Модель поддерживает контекст до 128 тыс. токенов и позволяет гибко управлять режимом рассушений через параметр "reasoning_enabled". Она демонстрирует производительность уровня DeepSeek-R1, но работает быстрее, идеально подходя для программирования, исследований и агентных workflow. - -* **Gemma 3** - -Основная особенность этой модели в том, что она поддерживает картинки. Вы можете использовать её как OCR: модель неожиданно хорошо распознаёт даже рукописный текст на русском. Кроме этого, модель распознаёт и классифицирует объекты на фотографиях; может распознавать и переводить надписи. - -* **Qwen 3 32B** - -Основная модель, с которой мы рекомендуем начинать эксперименты. Поддерживает нативный вызов инструментов. -Может работать как в режиме: -- с рассуждениями (включен по умолчанию) -- без рассуждений (нужно передать в запросе /no_think). - -::: После выбора модели можно начинать диалог с чатом. Для этого необходимо просто писать свой запрос в окно диалога и дожидаться ответа. -## Ликбез - -### Что такое LLM -Представьте, что у вас есть программа, которая прочитала миллионы книг, статей и страниц из интернета, а потом научилась предсказывать, какие слова могут идти друг за другом в любом тексте. Примерно так устроена большая языковая модель, или LLM (Large Language Model). - -**LLM** — это просто большая куча матриц и векторной алгебры, которая обучается на огромном количестве текстов. В процессе обучения модель не просто запоминает информацию, а учится находить связи между словами, понимать закономерности языка и генерировать осмысленные ответы на самые разные вопросы. Когда вы задаёте LLM вопрос, она «вспоминает» подходящие по смыслу фразы и пытается предугадать, какие слова должны идти дальше, чтобы ответ звучал логично и понятно. - -### Как LLM формирует ответы -Когда вы отправляете запрос, LLM делает следующее: - -- **Читает ваш текст** и превращает его в последовательности чисел (векторов). -- **Находит связи** между вашим запросом и миллиардами других примеров, которые она изучила раньше. В весах модели, которые хранятся в виде таких же векторов, эти знания представлены в виде статистических связей, а не в виде исходного текста. -- **Предсказывает наиболее вероятные слова** или фразы, которые подходят для продолжения вашего текста. -- **Формирует ответ** по слову за раз, следуя наиболее логичной последовательности, исходя из своего опыта и изученных примеров. - -Важно отметить, что все ответы LLM вероятностные, т. е. на один и тот же вопрос модель всегда будет отвечать немного по-разному. Именно поэтому ответы LLM могут выглядеть очень разумными и логичными, но при этом модель может допускать ошибки — она не всегда «понимает» информацию так, как это сделал бы человек. - -### Ограничения LLM -Языковые модели обладают рядом принципиальных ограничений, которые важно учитывать при работе с ними: - -- **Ограниченный контекст** — модель одновременно обрабатывает только определенный объем текста (обычно несколько тысяч слов). При превышении этого лимита ранние части диалога "забываются", что приводит к потере контекста в продолжительных беседах. - -- **Отсутствие долговременной памяти** — модель не запоминает предыдущие разговоры. Каждый новый запрос обрабатывается изолированно, а поддержание диалога требует постоянной пересылки всей истории. - -- **Временное ограничение знаний** — обучение модели завершено на определенную дату (например, октябрь 2023 года). События и информация после этой даты модели неизвестны без дополнительных источников. - -- **Вероятностная природа** — модель не обладает сознанием или реальным пониманием мира. Она генерирует ответы на основе статистических закономерностей, выученных из обучающих данных. - -- **Склонность к галлюцинациям** — модель может генерировать правдоподобную, но фактически неверную информацию, особенно в узкоспециализированных темах или при недостатке релевантных данных. - -- **Неспособность к точным вычислениям** — модель не выполняет математические операции, а предсказывает наиболее вероятный ответ. Для точных расчетов рекомендуется использовать связку "генерация кода → выполнение в интерпретаторе → анализ результата". - -LLM эффективны для обработки текста и решения стандартных задач, но для сложных кейсов требуют дополнительной инфраструктуры — баз знаний, интеграций с внешними системами и инструментов выполнения кода. - -### Схема работы LLM с базой знаний - -![alt text](./image/Sh_LLM_RAG_1024.png) - - -#### Сменить тенант - -В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо: - -1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md). -2. В левом меню откройте раздел **Тенанты**. -3. Выберите из списка подходящий тенант. - -![alt text](./image/Chat_Ai_Tenant_1024.png) -![alt text](./image/Chat_Ai_Tenant_list_1024.png) - -::: details Завиисмость от тенантов -В другом тенанте может отличаться: - -- Список доступных моделей; -- Список Баз знаний; -- Список системных промптов. - -Все вышеперечисленные сущности привязываются к тенанту. - -::: - -#### Использовать базу знаний (RAG) +## Использовать базу знаний В случае, когда нам необходимо, чтобы наша модель генерировала ответы не на базе своего раннего обучения, а обращалась, например, к актуальной нормативной базе или актуальным тарифам, то нам необходимо указать базу знаний, с которой чат должен расширить свой контекст. Для этого необходимо просто выбрать требуемую базу знаний и продолжить диалог. @@ -147,7 +93,7 @@ LLM эффективны для обработки текста и решени Более подробно, что такое "Базы знаний" в AI и как они работают, можно ознакомится в разделе Ликбез. -## Промпты +## Редактировать системный промпт **Системное сообщение (Prompt)** определяет логику ответов модели. Есть возможность настраивать шаблон запроса. @@ -172,28 +118,30 @@ LLM эффективны для обработки текста и решени ![alt text](./image/Chat_AI_Choice_System_prompt_1024.png) -## Ликбез +## Сменить тенант -#### Промпты -LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов. +В чате с LLM-моделями есть возомжность работать сразу с несколькими тенантами. Для смены текущего тенанта необходимо: -#### Cистемные промпты -Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ. +1. Перейдите в AI платформу [**чат с LLM-моделями**](../ai/ai-chat-llm.md). +2. В левом меню откройте раздел **Тенанты**. +3. Выберите из списка подходящий тенант. -*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.* +![alt text](./image/Chat_Ai_Tenant_1024.png) +![alt text](./image/Chat_Ai_Tenant_list_1024.png) -#### Контекст -Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней. +::: details Завиисмость от тенантов +В другом тенанте может отличаться: -#### Токены -Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах. +- Список доступных моделей; +- Список Баз знаний; +- Список системных промптов. -Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен. +Все вышеперечисленные сущности привязываются к тенанту. -#### Базы знаний (RAG) +::: -**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных. +## Начать диалог с LLM -Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели. +## Очистить контекст диалога -*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.* \ No newline at end of file +При длительном диалоге модель накапливает контекст и может начать генерировать неточные ответы ("галлюцинации"). Для предотвращения этого рекомендуется периодически очищать контекст сессии — нажмите иконку очистки в правом верхнем углу окна чата. Подробно про ограничения LLM можно почитать тут: [Ограничения LLM](../ai/ai-chat-llm.md#ограничения-llm). \ No newline at end of file diff --git a/src/ai/ai-getting-started.md b/src/ai/ai-getting-started.md index e20e774..e7b7b6d 100644 --- a/src/ai/ai-getting-started.md +++ b/src/ai/ai-getting-started.md @@ -1,22 +1,20 @@ # Быстрый старт с AI платформа -Данная инструкция рассматривает начальную настройку для работы с AI платформой и отправку первого запроса к LLM-модели. +Данная инструкция рассматривает начальную настройку сервиса **AI платформа** и отправку первого запроса к LLM-модели. Процесс включает следующие шаги: -1. [Создать тенант.](../ai/ai-getting-started.md#1-создание-тенанта) -2. [Добавить модель.](../ai/ai-getting-started.md#2-добавление-модели) -3. [Перейти в чат с LLM.](../ai/ai-getting-started.md#3-переход-в-чат-llm) -4. [Редактровать промпт.](../ai/ai-getting-started.md#4-настройка-промпта) -5. [Задать вопрос модели.](../ai/ai-getting-started.md#5-запрос-к-модели) - -Рекомендуется выполнять шаги в указанном порядке для корректной работы всех компонентов системы. +1. [Создать тенант](../ai/ai-getting-started.md#1-создать-тенант). +2. [Добавить модель](../ai/ai-getting-started.md#2-добавить-модель). +3. [Перейти в чат с LLM](../ai/ai-getting-started.md#3-перейти-в-чат-с-llm). +4. [Задать вопрос модели](../ai/ai-getting-started.md#4-задать-вопрос-модели). +5. [Редактровать промпт](../ai/ai-getting-started.md#5-редактировать-промпт). ## Перед началом работы -[Зарегистрируйтесь](../start/getting-started.md#1-регистрация-в-beeline-cloud) в личном кабинете Beeline Cloud. +- [Зарегистрируйтесь](../start/getting-started.md#1-регистрация-в-beeline-cloud) в личном кабинете Beeline Cloud. -## 1. Создание тенанта +## 1. Создать тенант 1. В верхнем меню нажмите на пункт **Сервисы**. 2. Выберите **Сервис AI платфома**. @@ -25,7 +23,7 @@ 5. Введите имя тенанта. 6. Нажмите **Создать тенант**. -## 2. Добавление модели +## 2. Добавить модель 1. В левом меню откройте раздел **Модель**. 2. Нажмите кнопку **Добавить модель**. @@ -34,31 +32,26 @@ 5. Установите лимит использования токенов в час. 6. Нажмите **Добавить модель**. -## 3. Переход в чат LLM +## 3. Перейти в чат с LLM -Протестировать модели в интерфейсе можно в **чате с LLM**. Доступ к чату с LLM-моделями предоставляется по уникальной ссылке, которая формируется после создания тенанта. +Протестировать модели в интерфейсе можно в чате с LLM. Доступ к чату с LLM-моделями предоставляется по уникальной ссылке, которая формируется после создания тенанта. 1. В левом меню откройте раздел **Тенанты**. 2. Нажмите на имя тенанта. -3. Из поля **Url приложения** скопируйте ссылку на UI-среды AI платформы +3. Из поля **Url приложения** скопируйте ссылку на чат с LLM. 4. Вставьте ссылку в браузер. -![alt text](./image/Chat_AI_Main_1024.png) +## 4. Задать вопрос модели -## 4. Настройка промпта +1. В чате с LLM-моделями в левом меню перейдите в раздел **Чат**. +2. Откроется чат. В текстовом поле внизу введите запрос к LLM-модели. +3. Дождитесь ответа модели. + +## 5. Редактировать промпт 1. В чате с LLM в левом меню откройте раздел **Системные промпты**. - -Если системный промпт (по умолчанию) не походит для ответа, добавьте новый промпт: - 2. Нажмите кнопку **Создать системный промпт**. 3. Заполните параметры промпта: - **Название**: введите название систменого промпта; - **Содержание**: введите содержание промпта. 4. Нажмите **Создать**. - -## 5. Запрос к модели - -1. В чате с LLM-моделями в левом меню перейдите в раздел **Чат**. -2. Откроется чат. В текстовом поле **введите запрос к LLM-модели**. -3. Дождитесь ответа модели. diff --git a/src/ai/ai-glossary.md b/src/ai/ai-glossary.md index e69de29..9471781 100644 --- a/src/ai/ai-glossary.md +++ b/src/ai/ai-glossary.md @@ -0,0 +1,59 @@ +# Ликбез + +### Что такое LLM +Представьте, что у вас есть программа, которая прочитала миллионы книг, статей и страниц из интернета, а потом научилась предсказывать, какие слова могут идти друг за другом в любом тексте. Примерно так устроена большая языковая модель, или LLM (Large Language Model). + +**LLM** — это просто большая куча матриц и векторной алгебры, которая обучается на огромном количестве текстов. В процессе обучения модель не просто запоминает информацию, а учится находить связи между словами, понимать закономерности языка и генерировать осмысленные ответы на самые разные вопросы. Когда вы задаёте LLM вопрос, она «вспоминает» подходящие по смыслу фразы и пытается предугадать, какие слова должны идти дальше, чтобы ответ звучал логично и понятно. + +### Как LLM формирует ответы +Когда вы отправляете запрос, LLM делает следующее: + +- **Читает ваш текст** и превращает его в последовательности чисел (векторов). +- **Находит связи** между вашим запросом и миллиардами других примеров, которые она изучила раньше. В весах модели, которые хранятся в виде таких же векторов, эти знания представлены в виде статистических связей, а не в виде исходного текста. +- **Предсказывает наиболее вероятные слова** или фразы, которые подходят для продолжения вашего текста. +- **Формирует ответ** по слову за раз, следуя наиболее логичной последовательности, исходя из своего опыта и изученных примеров. + +Важно отметить, что все ответы LLM вероятностные, т. е. на один и тот же вопрос модель всегда будет отвечать немного по-разному. Именно поэтому ответы LLM могут выглядеть очень разумными и логичными, но при этом модель может допускать ошибки — она не всегда «понимает» информацию так, как это сделал бы человек. + +### Ограничения LLM +Языковые модели обладают рядом принципиальных ограничений, которые важно учитывать при работе с ними: + +- **Ограниченный контекст** — модель одновременно обрабатывает только определенный объем текста (обычно несколько тысяч слов). При превышении этого лимита ранние части диалога "забываются", что приводит к потере контекста в продолжительных беседах. + +- **Отсутствие долговременной памяти** — модель не запоминает предыдущие разговоры. Каждый новый запрос обрабатывается изолированно, а поддержание диалога требует постоянной пересылки всей истории. + +- **Временное ограничение знаний** — обучение модели завершено на определенную дату (например, октябрь 2023 года). События и информация после этой даты модели неизвестны без дополнительных источников. + +- **Вероятностная природа** — модель не обладает сознанием или реальным пониманием мира. Она генерирует ответы на основе статистических закономерностей, выученных из обучающих данных. + +- **Склонность к галлюцинациям** — модель может генерировать правдоподобную, но фактически неверную информацию, особенно в узкоспециализированных темах или при недостатке релевантных данных. + +- **Неспособность к точным вычислениям** — модель не выполняет математические операции, а предсказывает наиболее вероятный ответ. Для точных расчетов рекомендуется использовать связку "генерация кода → выполнение в интерпретаторе → анализ результата". + +LLM эффективны для обработки текста и решения стандартных задач, но для сложных кейсов требуют дополнительной инфраструктуры — баз знаний, интеграций с внешними системами и инструментов выполнения кода. + +## Ликбез + +#### Промпты +LLM — это вычислительная машина, интерфейс которой эмулирует человеческую речь. Формулируйте запросы четко и точно, как при программировании. Избегайте расплывчатых вопросов — это ключ к получению качественных ответов. + +#### Cистемные промпты +Специальные инструкции, определяющие поведение модели на протяжении всего диалога. Задают роль, стиль общения и ограничения. На нашей платформе системные промпты открыты для редактирования, что дает полный контроль над поведением ИИ. + +*Пример системного промпта: «Ты — помощник по финансовым вопросам. Отвечай четко и профессионально, используй только проверенную информацию». После установки такого промпта модель будет последовательно придерживаться заданной роли.* + +#### Контекст +Вы будете часто встречать слово «контекст» в отношении LLM. Упрощённо, контекст — это ограниченное по размеру окно, в которое должен уместиться запрос к LLM. У каждой модели контекст строго ограничен и указан в документации к ней. + +#### Токены +Внутри себя LLM представляет текст не в виде слов или букв, а в виде токенов. Обычно токен — это несколько букв (часть слова), которые часто встречаются рядом в обучающей выборке. Текст запроса, который вы отправляете в LLM, сначала нарезается на токены, и только потом обрабатывается моделью. Размер контекста также измеряется в токенах, а не в буквах. + +Нет фиксированного правила, которое позволит оценить размер текста в токенах. У каждой модели свой токенизатор, и все они нарезают текст по-своему. Более того, для английского текста средний размер токена можеть быть 4 буквы, а для русского или китайского каждая буква может получать отдельный токен. + +#### Базы знаний (RAG) + +**RAG (Retrieval-Augmented Generation)** — это подход, при котором ответ LLM формируется с использованием дополнительного источника актуальных данных. + +Базы знаний (RAG) решают ключевую проблему языковых моделей — работу с актуальными и специализированными данными. Когда вы задаете вопрос о внутренних регламентах компании или о событиях после даты обучения модели, стандартная LLM не может дать точный ответ. RAG решает это путем поиска в вашей базе документов релевантных фрагментов, которые затем добавляются к контексту запроса. Модель получает эти актуальные данные и формирует ответ на их основе. Это позволяет использовать LLM для работы с внутренней документацией, свежей информацией и специализированными знаниями, которые изначально отсутствовали в обучающей выборке модели. + +*Обратите внимание, что в традиционной реализации LLM участвует только на последнем этапе генерации ответа. За поиск релевантных документов отвечает набор других систем, которые должны быть заранее интегрированы в AI-платформу.* \ No newline at end of file diff --git a/src/ai/ai-overview-platform.md b/src/ai/ai-overview-platform.md index e62467a..89f0f6d 100644 --- a/src/ai/ai-overview-platform.md +++ b/src/ai/ai-overview-platform.md @@ -5,5 +5,7 @@ ## Возможности сервиса - Интерфейс для взаимодействия с моделями в формате чат-бота. -- Загрузка базы знаний. -- Поддержка работы с различными LLM. +- Предоставляет различные [модели](ai-chat-llm.md#доступные-модели). +- Использование баз знаний (RAG). +- Редактирование системного промпта. +- Диалог с моделью.