Протокол теста обращений ИИ к базе 1С: Бухгалтерия предприятия 3.0, сентябрь 2026
Это рабочий документ теста, опубликованный как есть. Выводы и описание методики в статье Тест-драйв подключения ИИ к 1С.
База: демо "Бухгалтерия предприятия, редакция 3.0", данные 2015-2016 годов, файловая, на стенде владельца; ключ моста ...c46e. На время теста в базу никто не пишет. Эталон снят 25.09.2026 запросами через мост (файл эталона).
Методика (пойдет в статью)
Участники: ChatGPT, Claude, Алиса AI для бизнеса. Каждый в двух режимах: через Жёлтый мост и штатным способом платформы ("без моста"). Штатный способ есть только у Алисы: ее плагин с опубликованной базой. У ChatGPT и Claude встроенного пути к 1С нет; OData через самодельное действие или коннектор это отдельный инструмент для программиста, он вынесен в отдельный тест и здесь не участвует (у Алисы такого входа нет, сравнение было бы неполным). В таблице у них "нет способа".
Правила прогона:
- одна и та же база в одном и том же состоянии для всех шести прогонов;
- каждый вопрос копируется дословно, в новый чат, одна попытка;
- если модель задает уточняющий вопрос, ответ берется из списка заготовленных уточнений (ниже), это та же попытка; наводок и повторов нет;
- персональные данные в вопросах не участвуют (на ключе принудительная маскировка, сравнивать маску с открытыми именами бессмысленно);
- фиксируются: текст ответа, время до ответа по часам (Алиса выполняет запросы параллельно, поэтому ее собственные оценки по вопросам не суммируются), число обращений к базе (мост - из журнала кабинета, плагин Алисы - из лога стенда), показала ли модель запрос.
Оценка ответа: 1 - совпадает с эталоном; 0,5 - частично (верный список с неверной суммой, верное число с неверной датой, верный ответ на часть вопроса); 0 - неверно или нет ответа. Если модель без доступа к базе выдала конкретные цифры как данные базы - отдельная пометка "выдумка", в таблице красным.
Веса: группа А по 1, группа Б по 1, группа В по 1,5, группа Г по 2. Максимум 13 баллов. Итог по группе и общий - в процентах от максимума.
Вопросы и эталон
Группа А. Простые факты (вес 1 каждый)
1. Сколько элементов в справочнике Номенклатура, не считая групп? Эталон: 42.
2. Какие организации есть в базе? Перечисли названия. Эталон: Абрамов Г. С. ИП; Конфетпром ООО; Магазин №23; Торговый дом "Комплексный" ООО (4 организации).
3. Какая единица измерения и вид номенклатуры у позиции "Ассорти"? Эталон: шт, Продукция.
Группа Б. Выборки с условием (вес 1 каждый)
4. Покажи 5 последних проведенных документов реализации товаров: номер, дата, сумма. Эталон: все пять от 29.12.2016, Торговый дом "Комплексный": 0000-000603 - 84 315; 0000-000602 - 10 400; 0000-000601 - 558,32; 0000-000600 - 27 915; 0000-000599 - 10 920. (Даты совпадают, порядок внутри дня по номеру; засчитывать любой порядок этих пяти.)
5. Сколько проведенных документов поступления товаров и услуг было в октябре 2016 года и на какую сумму? Эталон: 26 документов; сумма по полю СуммаДокумента 3 350 809,05, из них 20 документов в рублях на 3 324 365,00, 3 в USD на 16 335,24 и 3 в EUR на 10 108,81. Засчитывается и общая сумма, и разбивка по валютам; разбивка точнее. (0,5 - если верно только число документов.) Примечание: первоначальный эталон складывал суммы без учета валют; разбивку первой дала Алиса через штатный плагин (его метод documents отдает валюту документа).
6. Какие товары продавались в октябре 2016 года? Перечисли без повторов. Эталон: 9 позиций: Вафли "Венские" с шоколадом; Вафли "Венские" со сгущенным молоком; Конфеты "Батончик"; Миникруассаны классические; Миникруассаны с клубничным джемом; Печенье "Юбилейное"; Печенье шоколадное; Пирог тирольский с вишней; Пирог тирольский с черникой. (1 - все девять без лишних; 0,5 - 7-8 верных или все с одной лишней.)
Группа В. Бухгалтерия (вес 1,5 каждый)
7. Какой остаток товаров на счете 41.01 у организации Конфетпром ООО на сегодня, в рублях? Эталон: 49 500 руб. (Для справки: ТД Комплексный 810 343,24 на 41.01; Магазин №23 19 050 на 41.11.)
8. Назови трех крупнейших должников организации Конфетпром ООО по счету 62.01 с суммами. Эталон: Суприм Ритейл Групп 1 475 000; Суприм-Тверь 1 400 000; Магазин №23 190 348. (Всего по 62.01 у Конфетпрома 3 326 348.)
Группа Г. Многошаговые (вес 2 каждый)
9. Сравни продажи ноября и декабря 2016 года: сумма проведенных реализаций, число документов и изменение в процентах. Эталон: ноябрь 54 документа, 4 901 612,60; декабрь 52 документа, 3 105 135,85; падение суммы на 36,6% (допуск 36-37%), документов на 3,7%. (1 - обе суммы и процент; 0,5 - суммы верны, процент нет или не посчитан.)
10. Какие товары числятся на остатке на счетах 41, но ни разу не продавались в 2016 году? Эталон: таких товаров нет: все 14 позиций с остатком на 41-х счетах продавались в 2016 году, оптом (реализация товаров и услуг) или в рознице (отчет о розничных продажах). Проверка по оборотам Кт счетов 41 за 2016 год: у всех 14 позиций кредитовый оборот больше нуля. (1 - ответ "нет таких" с обоснованием; 0,5 - назван "Шоколад 95%" как единственный, то есть учтены только оптовые реализации; 0 - список из нескольких товаров или нет ответа.)
Примечание для статьи: первоначальный эталон называл "Шоколад 95%", потому что учитывал только документы реализации. Первый же прогон (Claude через мост) нашел розничные продажи этого товара (3 отчета, 73 шт), эталон исправлен после проверки по базе. Ошибку составителя модель поймала раньше составителя, и это тоже результат теста.
Заготовленные уточнения (если модель спросит)
- "Какая организация?" - для вопросов 1-6, 9, 10: по всем организациям вместе.
- "На какую дату остатки?" - на текущую дату базы (сегодня).
- "Проведенные или все документы?" - только проведенные.
- "В рублях или с копейками?" - как в базе, копейки не обязательны.
- Любой другой уточняющий вопрос: "реши сам, как считаешь правильным".
Таблица результатов (заполняется по ходу)
| № | вес | GPT+мост | GPT без | Claude+мост | Claude без | Алиса+мост | Алиса без |
|---|---|---|---|---|---|---|---|
| 1 | 1 | 1 | 1 | 1 | 1 | ||
| 2 | 1 | 1 | 1 | 1 | 1 | ||
| 3 | 1 | 1 | 1 | 1 | 1 | ||
| 4 | 1 | 1 | 1 | 1 | 1 | ||
| 5 | 1 | 1 | 1 | 1 | 1 | ||
| 6 | 1 | 1 | 1 | 1 | 1 | ||
| 7 | 1,5 | 1 | 1 | 1 | 1 | ||
| 8 | 1,5 | 1 | 1 | 1 | 1 | ||
| 9 | 2 | 1 | 1 | 1 | 1 | ||
| 10 | 2 | 1 | 1 | 0,5 | 0,5 | ||
| Итого, % от 13 | 100% | нет способа | 100% | нет способа | 92% | 92% |
Дополнительно по каждому прогону: время ответа (с), обращений к базе, показан ли запрос, пометки "выдумка".
Прогон 1: Claude (Fable 5.1, medium) через Жёлтый мост, 25.09.2026
10 из 10, 13 из 13 баллов, 100%. Время ответа 1,4-4,4 с на вопрос, модель сама сообщала время запроса. На вопросах 6 и 10 делала контрольные проверки (розница), на 10-м нашла неполноту эталона. Обращений к базе за прогон около 17 (в журнале за окно 39 запросов по ключу, из них около 22 мои при снятии эталона). Запросы показывала по факту выполнения. Выдумок нет.
Прогон 2: Алиса AI для бизнеса через Жёлтый мост, 25.09.2026
9 полных и один частичный: 12 из 13 баллов, 92%. Вопрос 10: назван "Шоколад 95%" как единственный непроданный, учтены только оптовые реализации (0,5). Время 3-12 с на вопрос, всего около 63 с; 26 обращений к базе. Выдумок нет.
Прогон 3: Алиса AI для бизнеса через Жёлтый мост, повтор, 25.09.2026
Те же 12 из 13, 92% (вопрос 10 снова только по опту). Но путь короче: 12 обращений к базе вместо 26, около 30 с на все десять вопросов вместо 63, 11 из 12 запросов ушли одним параллельным пакетом.
Прогон 4: Алиса AI для бизнеса через Жёлтый мост, еще один повтор, 25.09.2026
Снова 12 из 13, 92%. 12 произвольных запросов одним параллельным пакетом, ни одной ошибки, около 15 с на все десять вопросов. Готовые инструменты плагина в этот раз не вызывались вовсе. Три прогона Алисы дали одинаковые ответы: данные и модель стабильны, разница только в скорости и числе обращений (26 -> 12 -> 12) и во времени (63 -> 30 -> 15 с) по мере того, как чинились наши инструменты.
Прогон 5: Алиса AI для бизнеса напрямую, штатный плагин с публикацией базы, 25.09.2026
12 из 13, 92%: та же картина, что через мост, десятый вопрос только по опту. По времени: Алиса выполняет запросы к базе параллельно, весь прогон занял около 60 с по часам (ее собственные оценки «15-45 с на вопрос» это время подготовки каждого ответа, суммировать их нельзя). Через мост тот же набор занял 15-30 с. Первый запрос напрямую вернул «Неопределено» из-за синтаксиса и был повторен. Плюс штатного пути: метод documents отдает валюту документа, и модель сама разложила поступления октября по рублям, долларам и евро, а в вопросе 9 оговорила валюту без пересчета. Через мост наш documents валюту не отдавал; добавлено в тот же вечер.
Прогон 6: ChatGPT (GPT-6 Astra, medium) через Жёлтый мост, 25.09.2026
13 из 13, 100%. Десятый вопрос решен с проверкой розницы: модель сама пояснила, что «Шоколад 95%» продавался в феврале 2016 через отчеты о розничных продажах и условию не соответствует. Время запросов к базе по вопросам 1,4-4,8 с, на десятом 18,7 с (несколько запросов подряд); полное время подготовки с изучением структуры не замерялось. В журнале за окно прогона по ключу 65 запросов с 8 ошибками синтаксиса и повторами (часть запросов в окне мои проверочные), оценочно 30-40 обращений модели.
Уточнение к методике по режиму подключения
По журналу сессии Claude и ChatGPT «через мост» шли каналом «агент в IDE» (Claude Code и Codex по ключу), а не чат-коннектором. В таблице и статье режим называть точно: «агент в IDE через мост». Для чата с коннектором (Claude Desktop) и действия в своем GPT можно сделать отдельные прогоны, если нужна именно чатовая картина; по опыту точность та же, разница в том, что агент видит справку и ошибки запросов подробнее.
Итог по бухгалтерской базе (25.09.2026)
| Нейросеть | Через Жёлтый мост | Штатно, без моста |
|---|---|---|
| ChatGPT, GPT-6 Astra (агент Codex) | 100% | нет способа |
| Claude, Fable 5.1 (агент Claude Code) | 100% | нет способа |
| Алиса AI для бизнеса | 92% | 92% (нужна публикация базы) |
Что показал тест: 1. Все три модели через мост дают точные цифры по бухгалтерии: остатки, долги, обороты, сравнение периодов. Различие одно: на вопросе про непроданные товары ChatGPT и Claude проверили розницу, Алиса во всех четырех прогонах смотрела только опт. 2. Для Алисы мост не меняет точность (92% и там, и там), но снимает публикацию базы и ускоряет прогон с ~60 с до 15-30 с. 3. Для ChatGPT и Claude мост это единственный путь к базе без программиста. 4. Тест дважды поправил составителя: розничные продажи (нашел Claude) и валюты документов (нашла Алиса напрямую). Оба исправления внесены в эталон.
Следующий тест: торговая база (УТ 11), где нет регистра бухгалтерии, и отдельный тест OData для агентов в IDE.