ИИ-агентыРазбор

Как создать ИИ-агента и что в нём действительно работает

Я включал части своего агента по одной и считал точность на 1 534 вопросах. Помогла одна надстройка. Больше неё дала только замена модели.

Автор: Владимир Бескоровайный

4 мин чтения

Иллюстрация: BESK TECH

Чтобы создать ИИ-агента, нужны три вещи: языковая модель, инструмент, который она может вызвать, и цикл, который возвращает модели результат вызова. Начинать стоит с набора вопросов с известными ответами. Без него нельзя понять, стал агент лучше после очередной доработки или хуже.

ИИ-агенту нужны модель, инструмент и цикл, который возвращает модели результат. Мой агент устроен так же, и его код открыт. Я включал его части по одной и считал точность на 1 534 вопросах. Помогла одна надстройка. А в 640 случаях агент считал, что справился, и ошибался.

Сначала вопросы, потом агент

Первым делом соберите набор вопросов, на которые вы знаете правильный ответ.

Без такого набора вы оцениваете агента на глаз. Любая доработка выглядит улучшением, потому что на трёх примерах, которые вы проверили руками, стало лучше. На остальных могло стать хуже, и вы об этом не узнаете.

Размер набора определяет, что вы сможете увидеть. На 50 вопросах один ответ весит 2 пункта точности. Грубую поломку такой набор покажет. Прирост в 1 или 2 пункта он не отличит от случайности.

Мой агент переводит вопрос на обычном языке в запрос к базе данных. Я проверял его на 1 534 вопросах из открытого набора BIRD с готовыми эталонными ответами. Лучшая конфигурация ответила верно на 862 из них, это 56,19%. Набор трудный, и модели я брал открытые, которые можно развернуть у себя.

Минимальный агент

Вот цикл моего агента в сокращённом виде. Инструмент здесь один, это выполнение SQL в базе.

def ask(question, schema, db, llm, max_repairs=2):
    sql = llm(f"Схема:\n{schema}\n\nВопрос: {question}\n"
              "Верни один SQL-запрос.")
    for _ in range(max_repairs):
        try:
            db.execute(sql).fetchall()
            return sql
        except Exception as error:
            sql = llm(f"Запрос не выполнился. Исправь его.\n"
                      f"Схема:\n{schema}\n\nВопрос: {question}\n"
                      f"Запрос: {sql}\nОшибка: {error}")
    return sql

Модель пишет SQL, программа его выполняет. Если база вернула ошибку, текст ошибки уходит модели, и она исправляет запрос. Попыток исправления две, после них цикл останавливается в любом случае. Без предела цикл может не закончиться.

В рабочей версии есть ещё ограничение по времени на выполнение и разбор ответа модели. Весь файл со всеми надстройками занимает 184 строки, ссылка на него в источниках.

Это самый простой вид агента. Порядок шагов задан кодом, модель выбирает только содержание следующего шага. Когда инструментов становится несколько, выбор инструмента тоже отдают модели, но цикл остаётся тем же.

Фреймворк мне не понадобился. Вызов модели и вызов базы это две функции, и между ними удобнее видеть свой код, чем чужой. Инженеры Anthropic пишут похожее о десятках команд, с которыми работали. Самые удачные внедрения обходились без сложных фреймворков.1

Зависимости стоит проверять и по другой причине. 17 ноября 2026 года неизвестные опубликовали в каталоге PyPI две вредоносные версии пакета agent-framework, набора Microsoft для сборки агентов. Они собирали ключи доступа из переменных окружения при каждом запуске Python.2

Что добавлять, а что нет

Я добавлял надстройки по одной и считал, что каждая даёт на тех же 1 534 вопросах.

НадстройкаЧто далаЦена
Цикл исправления по ошибке базыОт 1 до 4,4 пункта точностиОт 1,1 до 1,9 раза больше токенов
Отбор нужных таблиц под вопросЗначимого прироста нет ни на одной моделиПромпт короче
Голосование по пяти вариантам, на одной моделиИзменение в пределах шумаПримерно в 5 раз больше токенов

Для сравнения: замена модели Qwen2.5-Coder с 7 на 14 миллиардов параметров дала 9,4 пункта. Ни одна надстройка не дала и половины этого.

Цикл исправления оказался единственной надстройкой, которая стабильно помогает. Прирост статистически значим для всех моделей, кроме одной. Слабым моделям цикл даёт больше. У CodeLlama-13B он исправил 69 ответов и сломал 2. У более сильной Qwen2.5-Coder-32B исправил 27 и сломал 7.

Отбор таблиц выглядит разумной идеей. Модели показывают только ту часть схемы, которая относится к вопросу. На замерах он ничего не дал, а у Llama-3.3-70B снизил точность на 4,2 пункта. Отборщик иногда убирает таблицу, без которой верный запрос не написать.

Эти цифры получены на одной задаче, переводе вопросов в SQL. В другой задаче надстройки будут другими. Переносится порядок действий.

  1. Соберите проверочные вопросы.
  2. Возьмите лучшую модель, которую можете себе позволить.
  3. Добавьте цикл с обратной связью от инструмента и пределом попыток.
  4. Каждую следующую надстройку включайте отдельно и оставляйте только после замера.

Конструктор или свой код

Конструктора хватит, если задача сводится к цепочке готовых сервисов, например получить письмо, найти заказ и ответить по шаблону. Свой код нужен, когда вы хотите измерять качество и менять части агента по одной. Мне нужно было именно это.

Чего агент не сделает сам

Цикл ловит только то, о чём сообщает инструмент. База сообщает о синтаксической ошибке. О том, что вы посчитали не тот столбец, она не сообщает.

У лучшей модели в моих замерах, Qwen2.5-Coder-32B, после цикла осталось 672 неверных ответа. 640 из них дали запросы, которые выполнились без единой ошибки. В каждом таком случае агент сообщает об успехе.

Поэтому результат агента я проверяю всегда. Отсюда и выбор задач. Агенту стоит отдавать работу, где проверка дешевле самой работы: код с тестами, поиск по документам, запрос с известным ответом для сверки. Если проверить результат нечем, сначала постройте проверку, а потом агента.

Сноски

  1. Building effective agents, Anthropic, 19 декабря 2024 года. ↩

  2. Chainguard, 17 ноября 2026 года. Cloud Security Alliance, 19 ноября 2026 года. ↩

Источники

  1. How far do on-premises open LLMs get on Text-to-SQL? arXiv:2606.29733
  2. nl2sql-onprem-bench, код агента и результаты по каждому вопросу
  3. Building effective agents, Anthropic
  4. Microsoft Agent Framework compromised on PyPI, Chainguard
  5. Microsoft Agent Framework PyPI Compromise, Cloud Security Alliance

Владимир Бескоровайный

Vladimir Beskorovainyi, Enterprise AI Architect & CTO, author of the Amazon bestseller "Enterprise AI: The KATA Way", founder of Besk Tech (besk.tech)

Ещё в этом разделе

Новые статьи на почту

Одно письмо, когда выходит новое. Больше ничего, отписаться можно в любой момент.

Адрес используется только для этой рассылки. Конфиденциальность

← Все статьи