Протокол теста обращений ИИ к базе 1С: Управление торговлей 11, сентябрь 2026
Это рабочий документ теста, опубликованный как есть. Выводы и описание методики в статье Тест-драйв подключения ИИ к 1С.
База: демо "Управление торговлей, редакция 11" (11.5.25.112), данные 2022-2024 годов, на стенде владельца; ключ моста ...9c95 ("Яндекс тестирование"). Регистра бухгалтерии в конфигурации нет: инструменты плагина Алисы про счета и ведомости здесь не работают, остаются документы и произвольные запросы. Эталон снят 26.09.2026 через мост (файл эталона).
Методика, правила прогона, оценка и веса те же, что в протоколе по бухгалтерской базе. Особенность базы: менеджеры и часть партнеров это физические лица, их имена под маской; вопросы про менеджеров исключены, должники берутся среди компаний.
Вопросы и эталон
Группа А. Простые факты (вес 1)
1. Сколько складов в базе, не считая групп? Эталон: 19.
2. Какие организации есть в базе? Перечисли названия. Эталон: ИП "Предприниматель"; Торговый дом "Комплексный"; Управленческая организация; Филиал "Торговый дом" (Тамбов); ЭлектроМир (5 организаций).
3. Сколько элементов в справочнике Номенклатура, не считая групп? Эталон: 190 (всего 215 записей, из них 25 групп).
Группа Б. Выборки с условием (вес 1)
4. Покажи 5 последних проведенных документов реализации товаров и услуг: номер, дата, сумма. Эталон: ТД00-000016 от 04.12.2024 на 10 000; ТД00-000015 от 02.12.2024 на 10 000; ТД00-000014 от 10.11.2024 на 35 000; ТД00-000013 от 29.10.2024 на 2 160; ТД00-000012 от 04.10.2024 на 2 060.
5. Сколько проведенных заказов клиентов было в августе 2022 года и на какую сумму? Эталон: 12 заказов, 4 080 111,20. (0,5 - верно только число.)
6. Какие три товара принесли наибольшую сумму продаж в феврале 2023 года? С суммами. Эталон по строкам проведенных документов реализации: Кондиционер ELEKTA 293 000; Лампа Gauss Filament А60 127 425,13; Кондиционер FIRMSTAR 12М 75 000. Эталон по регистру выручки (управленческие продажи): Лампа Gauss Filament А60 187 433,15; Лампа LED ЭРА A65 94 374,83; Кондиционер FIRMSTAR 12М 75 000. Расхождение объяснимо: две реализации ELEKTA на 145 000 и 90 000 оформлены как «Реализация (товары в пути)», выручка по ним в регистре не признана, а по Gauss в регистре учтены документы других видов. Засчитываются оба варианта при верных цифрах своего источника; 0,5 - верный состав с неверными суммами. Примечание: вторую трактовку первым дал ChatGPT, проверена по регистру.
Группа В. Остатки и расчеты (вес 1,5)
7. Сколько штук "Лампа светодиодная LED Camelion" сейчас в наличии и на каких складах? Эталон: 7 218 шт, весь остаток на Складе осветительных приборов. (0,5 - верное количество без склада или склад без количества.)
8. Какая задолженность клиентов "Ассоль" и "Альтаир" перед нами сейчас? Эталон: Ассоль 3 646 937,15; Альтаир 1 231 987,63 (регистр расчетов с клиентами, остаток на текущую дату). (0,5 - верна одна из двух.)
Группа Г. Многошаговые (вес 2)
9. Сравни продажи января и февраля 2023 года: сумма проведенных реализаций, число документов и изменение в процентах. Эталон: январь 12 документов, 469 359,88; февраль 16 документов, 766 902,85; рост суммы на 63,4% (допуск 63-64%), документов на 33,3%. (1 - обе суммы и процент; 0,5 - суммы верны, процент нет.)
10. Какие товары с остатком не меньше 1000 штук не продавались ни разу в 2023 и 2024 годах? Эталон: 6 позиций: Кабель NYM (Севкабель) 3х1,5 (3 614); Кабель NYM (Севкабель) 5х3,5 (1 600); Кабель NYM (Севкабель) 5х1,5 (1 200); Кабель NYM (Севкабель) 1х6 (1 150); Лимонад (1 740); Кондиционер БК-2300 (1 062). Продажи считаются по проведенным реализациям товаров и услуг. (1 - все шесть без лишних; 0,5 - 4-5 верных или все шесть с одной лишней.) Для справки: остаток от 1000 имеют 10 позиций; лампы Camelion, Camelion ЛОН, ЭРА A65 и Gauss Filament продавались в 2023 году. Допустимая строгая трактовка: только Лимонад, если модель явно оговорила, что четыре кабеля учитываются в метрах, а не в штуках, и что Кондиционер БК-2300 в апреле 2023 прошел по регистру выручки (передача между организациями, 1 шт). Обе трактовки засчитываются как 1 при явном обосновании; список без обоснования оценивается по первому эталону. Примечание: строгую трактовку дал ChatGPT, оба факта проверены по базе.
Заготовленные уточнения
- "Какая организация?" - по всем вместе.
- "На какую дату остатки и долги?" - на текущую.
- "Проведенные или все?" - только проведенные.
- "Какой вид продаж?" - документы реализации товаров и услуг.
- Иное: "реши сам, как считаешь правильным".
Таблица результатов
| № | вес | GPT+мост (прогон 1 / 2) | Claude+мост | Алиса+мост | Алиса без |
|---|---|---|---|---|---|
| 1 | 1 | 1 / 1 | 1 | 1 | 1 |
| 2 | 1 | 1 / 1 | 1 | 1 | 1 |
| 3 | 1 | 1 / 1 | 1 | 1 | 1 |
| 4 | 1 | 1 / 1 | 1 | 1 | 1 |
| 5 | 1 | 1 / 1 | 1 | 1 | 1 |
| 6 | 1 | 1 / 1 | 1 | 1 | 1 |
| 7 | 1,5 | 1 / 1 | 1 | 1 | 1 |
| 8 | 1,5 | 1 / 1 | 1 | 1 | 1 |
| 9 | 2 | 1 / 1 | 1 | 1 | 1 |
| 10 | 2 | 1 / 0 | 1 | 1 | 1 |
| Итого, % от 13 | 100% / 85% | 100% (снимал эталон) | 100% | 100% |
Колонки "без моста" у ChatGPT и Claude не ведутся: штатного пути нет, OData вынесен в отдельный тест.
Прогон 1: Алиса AI для бизнеса напрямую, штатный плагин с публикацией УТ, 26.09.2026
13 из 13, 100%. Все ответы совпали с эталоном, включая шесть непроданных позиций в десятом вопросе. На седьмом показала лишнюю строку (вторая номенклатура «LED Camelion ЛОН») отдельно и с пояснением, искомая позиция и склад верны, засчитано полностью. Время около 1-1,5 минуты на все десять (оценки модели по раундам запросов, не по часам). Задержки там, где нет готовых инструментов: ресурс регистра «ВНаличии» угадала не сразу, расчеты с клиентами через ключи аналитики разбирала со второй попытки. Бухгалтерские инструменты плагина в торговой базе не вызывала, сразу шла произвольными запросами.
Прогон 2: Алиса AI для бизнеса через Жёлтый мост, 26.09.2026
13 из 13, 100%, ответы полностью совпали с прямым прогоном. Около 1 минуты на все, 19 раундов запросов: 1 на простые вопросы, 2-4 там, где пришлось разбирать структуру регистров (ресурс «ВНаличии», ключи аналитики в расчетах с клиентами). Готовые инструменты плагина не вызывались, только произвольные запросы. Слова модели: «в этот раз ошибки были более информативные (конкретные сообщения вместо "Неопределено"), что ускорило поиск правильных имен полей». Это разница между нашим адаптером и штатным расширением: мы отдаем текст ошибки платформы, расширение отдает пустое слово.
Прогон 3: ChatGPT (GPT-6 Astra, агент Codex) через Жёлтый мост, 26.09.2026
13 из 13, 100%, но с двумя ответами не по букве эталона, а по более строгому чтению данных, и оба подтвердились проверкой:
- вопрос 6 считал по регистру выручки, а не по строкам документов, и вскрыл, что две реализации ELEKTA оформлены как «товары в пути» без признанной выручки;
- вопрос 10 оставил только Лимонад: кабели исключил как учитываемые в метрах (в вопросе «штук»), кондиционер БК-2300 нашел в регистре выручки за апрель 2023 (передача между организациями);
- вопрос 9 разложил суммы по валютам (RUB и USD), итоги сходятся с эталоном.
Время запросов по вопросам 1,7-8 с, на «исследовательских» дольше: вопрос 6 - 83 с, вопрос 8 - 51 с, вопрос 10 - 26 с. Модель дважды поправила составителя эталона; обе поправки внесены.
Прогон 4: ChatGPT (GPT-6 Astra, агент Codex) через Жёлтый мост, повторный прогон, 26.09.2026
11 из 13, 85%. Самый быстрый прогон: 11 запросов, 1,4-3,5 с каждый, около 23 с на все, ни одной ошибки, структуру не уточнял. Девять ответов точны, на седьмом отдельно оговорил вторую позицию «LED Camelion ЛОН». Десятый вопрос провален: выдал все десять позиций с остатком от 1000 штук и не отфильтровал их по отсутствию продаж за 2023-2024, то есть выполнил только первую половину условия. По шкале это 0 из 2 баллов.
Итог по торговой базе (26.09.2026)
| Нейросеть | Через Жёлтый мост | Штатно, без моста |
|---|---|---|
| ChatGPT, GPT-6 Astra (агент Codex) | прогон 1: 100%, ~3-4 мин, две поправки эталону; прогон 2: 85%, ~23 с, провален вопрос 10 | нет способа |
| Claude (агент Claude Code) | 100%, снимал эталон (не слепой прогон) | нет способа |
| Алиса AI для бизнеса | 100%, ~1 мин | 100%, ~1-1,5 мин (нужна публикация) |
Что показал тест на торговой базе: 1. Без регистра бухгалтерии Алиса не пользуется готовыми инструментами плагина и идет произвольными запросами; на УТ она точнее, чем была на БП (100% против 92%). 2. ChatGPT медленнее всех, но единственный, кто заметил товары в пути, единицы измерения в метрах и межфирменную передачу; дважды поправил эталон. 3. Повторный прогон той же модели ChatGPT прошел в десять раз быстрее (23 с против 3-4 мин), без единой ошибки запроса, но на единственном вопросе с двумя условиями выполнил одно и потерял два балла. Одна модель, два стиля: дотошный и быстрый, повторяемость на многошаговых задачах не гарантирована. 4. Мост для Алисы снова не меняет точность, а убирает публикацию базы; заметная разница в том, что модель получает текст ошибки платформы вместо пустого слова, и сама это отметила.
Уточнение по Claude на торговой базе (26.09.2026)
По решению владельца результат Claude через мост засчитан как 100%: эталон по всем десяти вопросам снимал сам Claude как агент через мост, ответы получены из базы и проверены. Это не слепой прогон по правилам теста (новый чат, одна попытка), и в статье это оговорено.