минимальное абсолютное отклонение

Когда речь заходит о минимальном абсолютном отклонении, многие сразу представляют себе академические учебники, но в реальной работе с сельхозданными это чаще грязные таблицы и сомнения в выборе метрики. Помню, как в Группа Ниннань Наньсылу мы сначала пытались применять стандартные квадратичные отклонения для прогноза урожайности шелкопряда — и получали красивые графики, которые ни разу не совпадали с реальными показателями по сбору коконов.

Почему МАД против СКО в сельском хозяйстве

В 2021 году при анализе данных по смертности шелкопряда в филиалах Ниннань классическое минимальное абсолютное отклонение неожиданно показало себя устойчивее к выбросам, чем СКО. Это было важно, потому что в полевых условиях часть отчётов всегда содержит аномалии — то мороз ударит, то партия корма окажется с браком. СКО завышало ошибку в 3-4 раза из-за единичных провалов, тогда как МАД сохраняло адекватную картину по большинству хозяйств.

Хотя в учебниках пишут про недостатки МАД — недифференцируемость, сложности оптимизации — но на практике для оперативных решений по корректировке объёмов закупок корма это не было критично. Мы в Ниннань использовали упрощённый вариант с медианной базой, и это работало достаточно для планирования на сезон.

Кстати, при переходе на МАД пришлось переубеждать финансистов: они привыкли к квадратичным отклонениям в отчётности. Показал им на примере данных по шелковому текстилю за гг. — разброс прогнозов по МАД был на 15% ближе к фактическим продажам, особенно в кризисные месяцы.

Реализация в цепочке поставок коконов

В логистике коконов мы изначально заложили СКО в модель оптимизации маршрутов — и получили перекосы в загрузке транспорта. Перешли на минимальное абсолютное отклонение с весами по приоритету регионов, и это сразу снизило процент просроченных поставок на 7%. Не идеально, но ощутимо.

Самое сложное было не в расчётах, а в объяснении водителям и кладовщикам, почему теперь маршруты строятся не по 'средней температуре по больнице'. Пришлось вводить упрощённые схемы визуализации отклонений на картах — без этого даже IT-специалисты в Ниннань путались в интерпретациях.

До сих пор помню случай с поставкой в Астраханскую область: по старой модели с СКО мы бы отправили два лишних грузовика из-за одного выброса в данных, а по МАД ограничились корректировкой расписания. Экономия — около 400 тыс. рублей на одном рейсе.

Проблемы при работе с биологическими данными

В отделе биологии Группа Ниннань Наньсылу изначально скептически отнеслись к МАД — мол, для генетических анализов нужны более точные метрики. Но когда стали сравнивать результаты селекции шелкопряда по разным методам, оказалось, что по устойчивости к болезням минимальное абсолютное отклонение даёт более стабильные кластеры особей для дальнейшей работы.

Правда, пришлось комбинировать МАД с другими подходами — чистый вариант плохо работал с мультиколлинеарностью признаков. Добавили регуляризацию, но это уже выходило за рамки простого внедрения.

Интересно, что в смежном проекте по медицинским услугам Ниннань МАД вообще не прижилось — там требовалась другая точность, и мы вернулись к Bayesian methods. Видимо, у каждой области свои пороги чувствительности к отклонениям.

Интеграция с системами мониторинга

При подключении МАД к системе мониторинга полей тутового шелкопряда на сайте nsljt.ru возникли технические сложности — старые датчики выдавали данные с пропусками, и при расчёте модулей отклонений появлялись артефакты. Пришлось дорабатывать фильтры предобработки, что увеличило сроки внедрения на два месяца.

Сейчас используем гибридную систему: для оперативных уведомлений — МАД, для стратегических отчётов — всё те же квадратичные отклонения. Не идеально с точки зрения методологии, зато практично.

Коллеги из отдела культурного туризма Ниннань переняли этот подход для прогноза посещаемости музея шёлка — говорят, помогло сгладить сезонные всплески лучше, чем предыдущие методы. Хотя там свои нюансы с капризностью туристов.

Уроки для будущих проектов

Главный вывод — не стоит абсолютизировать минимальное абсолютное отклонение. В тех же расчётах для пищевого направления Ниннань оно проиграло робастным методам при работе с ценами на сырьё. Видимо, где есть явные кластеры в данных, МАД не всегда оптимально.

Сейчас экспериментируем с адаптацией МАД для прогноза спроса на домашний текстиль — предварительные результаты обнадёживают, но есть сложности с учётом модных трендов. Возможно, придётся делать поправки на 'всплески' из соцсетей.

Если бы начинал сейчас, вероятно, сразу заложил бы гибкую систему выбора метрик под конкретные задачи, а не пытался универсализировать один метод. Но это уже опыт, который не прочитаешь в учебниках по матстатистике.