Построение области нормального функционирования: от промышленных роботов к непрерывному тестированию производительности

 Игорь Трубин

Можно ли определить область нормального функционирования экспериментально?

В своих последних работах, посвящённых концепции области нормального функционирования (ОНФ, Area of Normal Functioning — ANF), я уделял основное внимание статистическим методам определения и отслеживания границ нормального поведения систем.

Однако, возвращаясь к своим ранним исследованиям в области промышленной робототехники, я обратил внимание на другой подход: границы ОНФ можно определять и экспериментально.

Сама по себе эта идея не является новой инженерной практикой. Инженеры десятилетиями испытывают технические системы, определяя пределы их работоспособности. Новым здесь может быть рассмотрение таких экспериментов как систематического способа построения и поддержания области нормального функционирования.

Более того, объединение экспериментальных испытаний со статистическим мониторингом открывает возможность создания моделей ОНФ, непрерывно изменяющихся вместе с самой системой.

1. Исходная идея: экспериментальное определение ОНФ в промышленной робототехнике

В своих ранних исследованиях промышленных роботов я изучал, каким образом роботизированный захват может надёжно захватывать объект, даже если его фактическое положение отличается от ожидаемого.

Традиционный подход предполагал, что для успешного захватывания объект должен быть достаточно точно позиционирован.

Но что произойдёт, если объект смещён?

Я исследовал этот вопрос экспериментально, используя реальный промышленный робот.

Начиная с идеального положения объекта, я вручную вводил отклонения его положения и проверял возможность успешного захватывания. Постепенно увеличивая эти отклонения в разных направлениях, я мог определить область, в пределах которой операция захватывания оставалась успешной.

За определёнными границами захватывание становилось невозможным.

Полученная область представляла собой то, что сегодня я называю областью нормального функционирования системы взаимодействия робота с объектом.

Важно отметить, что эти границы были получены не путём статистического анализа исторических данных о работе системы. Они определялись в ходе контролируемых экспериментов.

Такой подход позволял учитывать несколько измерений, включая линейные смещения, угловую ориентацию объекта и другие существенные условия.

Это был один из моих первых примеров построения ОНФ непосредственно на основании экспериментально установленных возможностей системы.

2. Тот же принцип применим к компьютерным системам

Теперь рассмотрим современное компьютерное приложение.

Его производительность зависит от множества факторов:

• Интенсивности рабочей нагрузки и частоты поступления транзакций.

• Количества одновременно работающих пользователей.

• Ресурсов процессора, оперативной памяти, дисковой подсистемы и сети.

• Конфигурации приложения и инфраструктуры.

• Требований к времени отклика и пропускной способности.

Для определённой конфигурации системы существует диапазон нагрузок, в пределах которого приложение функционирует с приемлемыми показателями производительности.

По мере увеличения нагрузки система может перестать удовлетворять требованиям ко времени отклика, начать выдавать недопустимое количество ошибок или потерять устойчивость.

Именно это исследуется при традиционном нагрузочном и стрессовом тестировании.

Нагрузочное тестирование позволяет установить диапазон рабочих нагрузок, в котором приложение удовлетворяет заданным требованиям. Стрессовое тестирование помогает исследовать предельные режимы за пределами этого диапазона и выявить возможные отказы.

Почему бы не рассматривать такие испытания как процесс построения области нормального функционирования?

Предположим, что для приложения установлено требование: время отклика на заданном процентиле должно быть менее 500 миллисекунд.

Серия нагрузочных испытаний может показать, что это требование устойчиво выполняется при интенсивности от 100 до 1200 транзакций в секунду.

За пределами этого диапазона производительность становится неприемлемой при рассматриваемых условиях испытаний.

Тогда экспериментально установленную область допустимой нагрузки можно представить следующим образом:

ANF = [100, 1200] транзакций/секунду

Разумеется, это условный пример. Применимость полученного интервала зависит от конфигурации испытаний, состава рабочей нагрузки, критериев производительности и погрешностей измерений.

Важно понимать, что в данном примере ОНФ рассматривается только в одном измерении — интенсивности нагрузки.

Соответствующая область допустимых значений времени отклика, использования ресурсов и других характеристик может иметь совсем другую форму.

В общем случае ОНФ правильнее представлять как многомерную область, а не как один интервал.

3. Перестроение ОНФ после новых версий приложений и изменений инфраструктуры

Современные ИТ-организации регулярно проводят тестирование производительности после существенных изменений, таких как:

• Выпуск новых версий приложений.

• Модернизация аппаратного обеспечения.

• Миграция инфраструктуры.

• Изменение конфигурации баз данных.

• Изменение размеров облачных вычислительных ресурсов (instance resizing).

• Существенные изменения архитектуры системы.

Обычно такие испытания отвечают на знакомые вопросы:

Улучшилась или ухудшилась производительность? Способно ли приложение обслуживать ожидаемую нагрузку? Не привели ли изменения к регрессии производительности?

Но те же результаты могут помочь ответить на более общий вопрос:

Как изменилась область нормального функционирования системы?

Предположим, что после обновления приложения его устойчивая пропускная способность увеличилась с 1200 до 1600 транзакций в секунду при сохранении требуемого времени отклика.

Традиционно мы назовём это улучшением производительности.

С точки зрения ОНФ это можно описать как расширение области нормального функционирования.

И наоборот, неудачная новая версия приложения может снизить устойчивую пропускную способность с 1200 до 900 транзакций в секунду.

Это не просто регрессия производительности. Это сужение ОНФ.

Подобные изменения можно отслеживать при переходе между версиями приложений, поколениями оборудования или конфигурациями инфраструктуры.

Полученная история будет характеризовать эволюцию эксплуатационных возможностей системы во времени.

4. Что происходит между испытаниями производительности?

Экспериментальное определение ОНФ имеет очевидную ценность, но связано с практическим ограничением.

Мы не можем непрерывно подвергать каждую производственную систему нагрузке, приближающейся к пределам её работоспособности.

Даже при регулярном выполнении нагрузочных испытаний поведение системы между ними может изменяться.

Может меняться состав рабочей нагрузки. Возможно постепенное ухудшение характеристик инфраструктуры. Может усиливаться конкуренция за вычислительные ресурсы или проявляться сезонность спроса.

Именно здесь особое значение приобретает разработанная мной система SETDS (Statistical Exception and Trend Detection System) — система статистического обнаружения исключений и трендов.

SETDS использует статистический анализ для выявления исключений, тенденций и изменений в поведении системы.

Вместо того чтобы экспериментально доводить систему до предельных состояний, SETDS наблюдает за её фактическим поведением и оценивает происходящие изменения.

Для измеряемой характеристики производительности X статистически определяемая ОНФ может быть представлена интервалом с изменяющимися во времени границами:

ANF_X(t) = [L_X(t), U_X(t)]

Здесь L и U обозначают нижнюю и верхнюю границы области нормального функционирования, оцениваемые на основании исторических наблюдений.

Эти границы могут изменяться по мере эволюции системы.

Основная идея заключается в объединении двух взаимодополняющих подходов.

Экспериментальное построение ОНФ. Определение или подтверждение допустимых эксплуатационных границ посредством контролируемого тестирования производительности.

Статистический мониторинг ОНФ. Применение SETDS для оценки нормальных режимов работы, обнаружения исключений, выявления изменений и прогнозирования эволюции этих режимов между экспериментальными испытаниями.

При этом необходимо сохранять одно принципиально важное различие:

Статистически нормальная область функционирования необязательно совпадает с полной областью допустимой работы системы.

Например, приложение может обычно работать при загрузке процессора 30–50%, тогда как экспериментально подтверждённая производительность позволяет использовать процессор значительно интенсивнее без нарушения установленных требований.

Сравнение этих двух областей помогает выявлять неиспользуемые резервы производительности, возникающие риски и изменения запаса доступной мощности.

5. От периодического тестирования к непрерывному перестроению ОНФ

Существует ещё одна интересная возможность.

В некоторых современных системах автоматизированное тестирование производительности выполняется непрерывно, особенно в рамках процессов разработки программного обеспечения и непрерывной интеграции (Continuous Integration, CI).

Похожий подход мы с коллегами исследовали в нашей работе, представленной на конференции ICPE 2022:

«Change Point Detection for MongoDB Time Series Performance Regression» («Обнаружение точек изменения при регрессии производительности временных рядов MongoDB»).

В этой работе анализировались измерения производительности, полученные в ходе автоматизированных испытаний, инициируемых изменениями в репозитории исходного кода MongoDB.

Мы разработали и исследовали гибридный подход к обнаружению точек изменения, объединявший метод Perfomalist с технологиями машинного обучения.

Цель заключалась в автоматическом обнаружении существенных изменений производительности без необходимости полагаться исключительно на ручной анализ или фиксированные пороговые значения.

В работе была показана точность обнаружения точек изменения на уровне 83%.

В то время мы рассматривали задачу главным образом как обнаружение регрессий производительности.

Но теперь я вижу возможность переосмыслить и развить эту работу в рамках концепции ОНФ.

Каждое автоматизированное испытание производительности добавляет информацию о поведении системы при определённых условиях.

Если испытания охватывают достаточно широкий и контролируемый диапазон нагрузок, их результаты могут использоваться для реконструкции границ ОНФ.

Одновременно методы обнаружения точек изменения позволяют определять моменты, когда ранее построенная модель ОНФ может перестать соответствовать действительности.

Например, такой процесс может выглядеть следующим образом:

1. Новое изменение исходного кода (commit) инициирует автоматизированное тестирование производительности.

2. Собираются показатели производительности и сравниваются с историческими результатами.

3. SETDS или другой метод обнаружения точек изменения выявляет существенное изменение поведения системы.

4. Выполняется оценка того, затрагивает ли выявленное изменение границы ОНФ.

5. Если накоплено достаточно экспериментальных данных, модель ОНФ обновляется. В противном случае инициируются дополнительные целевые испытания.

Таким образом, непрерывное тестирование производительности может превратиться из механизма обнаружения регрессий в механизм непрерывного перестроения области нормального функционирования.

При этом единичная регрессия или обнаруженная точка изменения ещё не доказывает существование новой границы ОНФ.

Она лишь свидетельствует о возможном изменении границы и может служить основанием для дополнительной экспериментальной проверки.

Это различие принципиально важно для научной обоснованности предлагаемого подхода.

6. ОНФ как многомерная и эволюционирующая модель

Ещё один вывод из моих исследований в области робототехники заключается в том, что нормальное функционирование системы редко бывает одномерным.

При роботизированном захватывании область успешной работы может зависеть от смещений вдоль нескольких координатных осей, ориентации объекта и условий захватывания.

В компьютерных системах она может зависеть от интенсивности нагрузки, времени отклика, доступных ресурсов, конфигурации приложений и множества других факторов.

В более общем виде ОНФ можно определить следующим образом:

ANF(t) = {x : система удовлетворяет заданным критериям функционирования при условиях x в момент времени t}

Здесь вектор x описывает существенные условия работы и измеряемые характеристики системы.

Экспериментальное тестирование позволяет исследовать отдельные точки этого многомерного пространства и находить границы между допустимым и недопустимым функционированием.

Статистический мониторинг анализирует поведение системы в этом пространстве во времени.

Объединение двух подходов позволяет исследовать не только отклонения отдельных показателей от нормы, но и более сложные явления:

• Расширяется или сужается область нормального функционирования.

• Перемещается ли её центр.

• Изменяется ли форма области.

• Приближается ли ранее нормальное поведение к экспериментально подтверждённой границе отказа.

• Требует ли структурное изменение системы новой экспериментальной оценки.

В своих более ранних работах я исследовал многомерные модели производительности с использованием представления в виде куба данных (data cube), позволяющего строить различные проекции в форме контрольных карт и других представлений эксплуатационных характеристик.

Концепция ОНФ позволяет связать эти разработки с экспериментально установленными областями работоспособности и анализом их изменения во времени.

7. К замкнутому циклу управления ОНФ

Объединение экспериментального и статистического подходов позволяет предложить практический жизненный цикл управления областью нормального функционирования.

Шаг 1 — Построение (Construct).

Определение границ функционирования посредством контролируемых экспериментов, включая нагрузочные, стрессовые и другие необходимые испытания.

Шаг 2 — Мониторинг (Monitor).

Использование SETDS для наблюдения за фактическим поведением системы и статистического определения границ ОНФ.

Шаг 3 — Обнаружение изменений (Detect).

Выявление исключений, трендов и точек изменения, которые могут свидетельствовать об изменении характера функционирования системы.

Шаг 4 — Прогнозирование (Predict).

Прогнозирование приближения поведения системы к статистически определённой или экспериментально подтверждённой границе.

Шаг 5 — Проверка и перестроение (Validate and Rebuild).

Проведение новых экспериментов, когда это необходимо для проверки или реконструкции границ ОНФ после существенных изменений.

В результате образуется замкнутый контур обратной связи, в котором экспериментальное тестирование и статистический мониторинг взаимно дополняют друг друга.

Тот же принцип может применяться далеко за пределами ИТ, включая промышленное производство, робототехнику, транспорт и другие адаптивные технические системы.

8. Заключение: новый взгляд на привычные инженерные методы

Основная идея достаточно проста.

Тестирование производительности определяет, на что система способна. Статистический мониторинг показывает, как система обычно работает и каким образом её поведение изменяется. ОНФ предоставляет общую модель, связывающую эти два представления.

Ни один из отдельных методов сам по себе не является новым.

Эксперименты с роботами, нагрузочное тестирование, статистическое управление процессами и обнаружение точек изменения имеют многолетнюю историю.

Предлагаемый вклад заключается в их объединении в рамках общей модели нормального функционирования, в которой сама область допустимой работы системы становится объектом измерения, анализа, прогнозирования и реконструкции.

Оглядываясь на свои ранние эксперименты с промышленными роботами, я нахожу интересным, что тот же фундаментальный вопрос остаётся актуальным спустя десятилетия:

Насколько далеко система может отклониться от ожидаемых условий работы, продолжая при этом успешно выполнять свои функции?

Сегодня, благодаря автоматизированному тестированию производительности, статистическому мониторингу и современным аналитическим методам, у нас появляется возможность отвечать на этот вопрос непрерывно.

Возможно, именно это станет следующим важным этапом развития концепции области нормального функционирования.

---

Литература и ссылки

1. Трубин И. А. (1986). «Исследование процессов захватывания объектов манипулирования промышленным роботом». Кандидатская диссертация.

2. Leznik, M., Iqbal, M. S., Trubin, I., Lochner, A., Jamshidi, P., Bauer, A. (2022). Change Point Detection for MongoDB Time Series Performance Regression. Companion of the ACM/SPEC International Conference on Performance Engineering (ICPE '22), pp. 45–48. https://doi.org/10.1145/3491204.3527488

3. Trubin, I. (2008). Exception Based Modeling and Forecasting. CMG.

4. Perfomalist. Статистический анализ исключений, трендов и точек изменения. https://perfomalist.com

Управление по исключениям: расширение области нормального функционирования на корпоративные команды

От управления производительностью ИТ-систем к человекоцентричному организационному лидерству 

English version: 

Введение: почему мы управляем людьми иначе, чем системами?

На протяжении своей профессиональной деятельности в области управления производительностью и мощностями ИТ-систем я неоднократно сталкивался с одной и той же задачей: как выявлять значимые изменения в сложных системах, не перегружая администраторов ненужной информацией.

Это привело меня к разработке системы статистического обнаружения исключений и трендов (Statistical Exception and Trend Detection System, SETDS), а также методов выявления исключений, анализа точек изменения и прогнозирования.

Основной принцип управления был относительно прост:

Не следует вмешиваться только потому, что что-то изменилось. Вмешиваться нужно тогда, когда изменение является значимым.

Этот принцип стал центральным для моего подхода к управлению по исключениям (Exception-Based Management, EBM).

Позднее, развивая более широкую концепцию области нормального функционирования (Area of Normal Functioning, ANF), я начал задумываться о том, могут ли те же принципы применяться за пределами технических систем.

Что, если рассматривать корпоративные команды как динамические системы со своими диапазонами нормальной работы?

Можно ли использовать статистические методы для выявления чрезмерной нагрузки, распознавания структурных изменений и прогнозирования возникающих проблем с мощностями?

И, возможно, самое главное: можем ли мы сократить ненужное управленческое вмешательство и одновременно улучшить рабочую среду?

Я считаю, что эти вопросы заслуживают серьезного изучения.

1. От микроменеджмента к статистическим границам

Рассмотрим команду разработчиков программного обеспечения.

За одну неделю команда выполняет 25 задач, а за другую — только 19. Традиционный руководитель может немедленно спросить, почему производительность снизилась.

Но действительно ли это проблема?

Возможно, вторая неделя была связана с более сложными задачами, неожиданными техническими трудностями или необходимыми архитектурными улучшениями.

Один показатель производительности редко отражает всю картину.

Вместо того чтобы считать каждое отклонение от среднего проблемой, можно определить исторический диапазон нормальной работы команды и проверить, остается ли наблюдаемое поведение в его пределах.

Например, предположим, что сопоставимая недельная производительность команды исторически колеблется между 18 и 28 выполненными задачами.

Неделя с 19 задачами может быть полностью нормальной.

Однако устойчивое снижение до 12 задач может свидетельствовать о значимом изменении, требующем изучения.

Принцип управления в этом случае формулируется так:

Когда команда работает в пределах своей области нормального функционирования, руководители в целом позволяют ей действовать автономно. Когда возникает значимое исключение, они исследуют его причины.

Это не отменяет коммуникацию, наставничество или человеческое суждение. Такой подход лишь уменьшает стремление управлять каждым обычным колебанием.

2. Почему средних значений недостаточно

Традиционная корпоративная отчетность часто опирается на средние показатели.

Мы можем услышать, что загрузка отдела составляет 85% или что сотрудники работают в среднем 42 часа в неделю.

Однако средние значения способны скрывать важные различия.

Представим команду из шести сотрудников. Трое постоянно работают по 55 часов в неделю, а остальные трое — по 30 часов.

Среднее значение для команды составляет 42,5 часа.

В управленческом отчете эта цифра может выглядеть вполне приемлемо, однако распределение указывает на потенциально серьезный дисбаланс нагрузки.

Поэтому полезно анализировать не только совокупные средние значения, но и историческое поведение нагрузки команды и отдельных ее участников. Целью не должно быть ранжирование сотрудников или установление одинаковых требований к производительности. Задача заключается в выявлении значимых изменений, устойчивых дисбалансов и ситуаций, заслуживающих внимания.

В своих предыдущих исследованиях в области ИТ я использовал статистические значения исключений и ИТ-контрольные карты для различения нормальной вариативности и потенциально значимых изменений.

Аналогичный подход можно исследовать применительно к данным об организационной нагрузке, если измерения являются содержательными, правильно контекстуализированы и собираются с соблюдением необходимых требований конфиденциальности.

3. От реактивного управления к прогнозированию мощностей

Одно из наиболее интересных расширений ANF связано с прогнозированием.

В управлении мощностями ИТ-систем нам часто приходится отвечать на практический вопрос:

Когда текущая система приблизится к пределу своих возможностей?

Этот же вопрос может быть актуален и для корпоративных команд.

Предположим, что отдел клиентской поддержки сталкивается с устойчивым ростом спроса.

В течение нескольких месяцев количество поступающих обращений увеличивается, а численность персонала остается неизменной.

Сначала команда справляется с дополнительной нагрузкой.

Позднее растет количество сверхурочных часов, увеличивается время обработки обращений, а число нерешенных запросов накапливается.

Традиционный управленческий процесс может распознать проблему только после того, как жалобы клиентов станут частыми или сотрудники сообщат о чрезмерном давлении.

Подход на основе ANF способен выявить тенденцию раньше.

Анализируя рост нагрузки и прогнозируя момент достижения определенного операционного порога, руководство может оценить, когда потребуются дополнительные ресурсы или изменения процессов.

Это расширение концепции прогнозирования времени до достижения порога, которую я использовал в техническом управлении мощностями.

Однако необходимо сделать важное различие.

Прогнозирование порога нагрузки не означает математического предсказания выгорания сотрудников.

Усталость и выгорание зависят от психологических, организационных и личных факторов, которые невозможно надежно вывести только из показателей нагрузки.

Поэтому прогноз должен служить ранним предупреждением, запускающим человеческую оценку, а не диагнозом.

3.1. Практический пример: IT-Control Chart недельной нагрузки команды

Чтобы продемонстрировать, как управление по исключениям (Exception-Based Management, EBM) может работать на практике, рассмотрим гипотетический пример, основанный на 60 неделях наблюдений за нагрузкой команды разработчиков программного обеспечения.

На приведённой ниже IT-контрольной карте (IT-Control Chart) показано, как концепция области нормального функционирования (Area of Normal Functioning, ANF) позволяет отличать обычные колебания нагрузки от значимых изменений, выявлять точки изменения (Change Points) и прогнозировать приближение к предельной нагрузке.

Рисунок 1. IT-контрольная карта недельной нагрузки команды разработчиков. Иллюстрируются исходная область нормального функционирования (ANF), изменение характера нагрузки вследствие роста бизнес-спроса, возникновение статистических исключений и прогноз приближения к критическому порогу. Все данные являются искусственно сгенерированными и используются исключительно для демонстрации концепции.

На графике можно выделить три характерных периода.

1. Нормальное функционирование (недели 1–20).

Команда работает в пределах своей исторически сложившейся области нормального функционирования. Недельная нагрузка колеблется, но эти изменения остаются в пределах ожидаемой статистической вариативности.

С точки зрения EBM такие колебания сами по себе не требуют управленческого вмешательства. Команда продолжает работать автономно, а руководитель не тратит время на выяснение причин каждого незначительного отклонения.

2. Формирование новой нормы (недели 21–40).

Примерно на 22-й неделе наблюдается значимое изменение характера нагрузки, связанное, предположительно, с запуском нового продукта и увеличением бизнес-спроса.

Метод обнаружения точек изменения позволяет выделить этот момент как возможный переход системы в новое состояние.

При этом увеличение нагрузки не обязательно означает возникновение проблемы. Команда могла адаптироваться к новым условиям благодаря накопленному опыту, совершенствованию процессов или автоматизации.

Поэтому задача руководителя заключается не в том, чтобы автоматически вернуть нагрузку к прежнему уровню, а в том, чтобы понять причины изменения и оценить устойчивость нового режима работы.

Соответственно, статистические границы ANF могут быть пересчитаны с учётом новых условий функционирования.

3. Возникновение исключений и прогнозирование ограничений (недели 41–60).

В третьем периоде нагрузка продолжает увеличиваться, постепенно приближаясь к верхней границе ANF и затем выходя за её пределы.

Последовательные превышения верхней границы могут свидетельствовать о формировании нового тренда и потенциальном ограничении возможностей команды.

Экстраполяция наблюдаемой тенденции показывает, что при сохранении текущих условий нагрузка может приблизиться к условному критическому порогу в 60 Story Points в неделю примерно к 54-й неделе.

Это пример применения метода прогнозирования времени до достижения порога (Time-to-Threshold Forecasting) к организационной системе.

Вместо того чтобы реагировать лишь после срыва сроков или возникновения серьёзных проблем, руководитель получает возможность заранее исследовать ситуацию и рассмотреть корректирующие действия: перераспределение задач, изменение приоритетов, автоматизацию процессов или привлечение дополнительных ресурсов.

Что демонстрирует этот пример?

Главное преимущество ANF заключается не просто в обнаружении необычно высокой нагрузки.

Подход позволяет различать три принципиально разные ситуации:

• Нормальная вариативность: система функционирует в пределах ожидаемого диапазона, и специальных корректирующих действий обычно не требуется.

• Структурное изменение: характер функционирования системы меняется, что требует анализа причин и, возможно, пересмотра статистической модели нормального состояния.

• Развивающаяся тенденция: даже если текущая нагрузка ещё допустима, прогноз может указывать на приближение к операционным ограничениям.

Важно подчеркнуть, что представленный пример носит иллюстративный характер. В реальном применении границы ANF, точки изменения и прогнозы должны рассчитываться по фактическим данным и проходить статистическую проверку.

Кроме того, условный порог в 60 Story Points не является математически установленной границей человеческих возможностей или показателем профессионального выгорания. Он используется лишь как пример заранее определённого планового ограничения.

Основной принцип EBM остаётся неизменным: не реагировать на каждое колебание, распознавать значимые изменения и предвидеть возможные ограничения до того, как они перерастут в серьёзные проблемы.

4. Связь бизнес-спроса с мощностями команды

Еще одним важным аспектом моей предыдущей работы в области управления мощностями было связывание потребления технических ресурсов с бизнес-факторами.

Например, можно анализировать, как объем транзакций влияет на загрузку процессора, потребление памяти или время отклика.

Цель заключается в понимании того, как рост бизнеса влияет на инфраструктурные мощности.

Можно ли применить аналогичный подход к корпоративным командам?

Рассмотрим отдел сопровождения новых клиентов.

Его нагрузка может зависеть от нескольких измеримых бизнес-факторов:

• Количество новых клиентов.

• Сложность требований клиентов.

• Количество активируемых продуктов.

• Объем необходимой ручной обработки.

• Доступность автоматизации.

Можно исследовать, как эти переменные связаны с нагрузкой на сотрудников, временем обработки и качеством обслуживания.

Предположим, что исторические наблюдения показывают: каждая дополнительная группа из десяти клиентов увеличивает недельную нагрузку команды примерно на 15 часов при сопоставимых условиях.

Тогда модель сможет оценить, как ожидаемый рост бизнеса повлияет на будущие потребности в персонале.

Вместо того чтобы принимать решения о найме исключительно на основе интуиции, руководители смогут использовать эмпирические зависимости и прогнозы для поддержки планирования.

Разумеется, такие зависимости редко остаются постоянными. Технологии, опыт сотрудников, улучшения процессов и организационные изменения могут их изменить.

Именно поэтому концепция ANF подчеркивает динамические, а не фиксированные границы.

5. Человеческое отличие: ANF — это не клетка производительности

На этом этапе возникает важный вопрос.

Не относимся ли мы к людям как к машинам?

Мой ответ — нет.

Цель заключается не в применении механического контроля к сотрудникам. Речь идет о том, чтобы исследовать, может ли статистический анализ помочь руководителям лучше понимать условия, в которых функционируют команды.

В отличие от технической инфраструктуры, люди учатся, адаптируются, устают, развивают новые навыки и эмоционально реагируют на окружающую среду.

Команда может повысить производительность потому, что ее участники стали опытнее.

Но она также может сохранять высокий уровень производительности только потому, что сотрудники работают чрезмерное количество часов.

Эти две ситуации могут давать схожие показатели производительности, но требуют совершенно разных управленческих реакций.

Существует и другая тонкая проблема.

Статистически нормальная нагрузка не обязательно является здоровой нагрузкой.

Если команда в течение года хронически перегружена, ее историческая ANF может просто отражать это нежелательное состояние.

Поэтому организационное применение ANF должно опираться на две взаимодополняющие перспективы:

Статистическая нормальность: какой диапазон поведения команда демонстрировала исторически?

Организационная устойчивость: является ли это поведение здоровым, безопасным, эффективным и соответствующим целям организации?

Первую перспективу можно исследовать статистическими методами.

Вторая требует человеческого суждения, участия сотрудников и организационных знаний.

Это различие принципиально важно, если ANF должна стать полезной управленческой концепцией, а не очередным механизмом мониторинга сотрудников.

6. Новая роль руководителя

В предлагаемой модели роль руководителя постепенно изменится.

Вместо постоянного контроля каждого операционного показателя руководители смогут сосредоточиться на трех направлениях:

Понимание исключений. Когда происходит значимое изменение, необходимо исследовать его причины, а не сразу искать виноватых.

Предвидение будущих ограничений. Использовать тренды и прогнозы для выявления потенциальных проблем с нагрузкой или мощностями до того, как они станут критическими.

Поддержка адаптации. Помогать командам реагировать на меняющиеся условия бизнеса путем корректировки ресурсов, приоритетов, процессов или ожиданий.

Руководитель по-прежнему будет отвечать за коммуникацию, профессиональное развитие, разрешение конфликтов и благополучие сотрудников.

Статистический мониторинг должен поддерживать эти обязанности, а не заменять их.

Особенно интересна возможность того, что сокращение ненужных вмешательств действительно повысит автономию команды.

Когда нормальные колебания принимаются как часть динамической системы, сотрудники могут испытывать меньше давления, связанного с необходимостью объяснять каждое краткосрочное изменение своей производительности.

7. К организационной модели ANF

Это расширение ANF пока остается исследовательским предложением.

Моя предыдущая работа предоставляет статистические методы для выявления исключений, распознавания точек изменения, анализа трендов и прогнозирования пересечения пороговых значений.

Следующая задача заключается в изучении того, как эти методы могут быть адаптированы к организационным данным.

Практическое исследование можно начать с показателей на уровне команды, а не с наблюдения за отдельными сотрудниками.

Возможные измерения включают объем нагрузки, размер очереди невыполненных задач, длительность цикла, сверхурочную работу и качество обслуживания.

Эти показатели необходимо нормализовать с учетом различий в сложности задач, численности персонала и других значимых факторов.

Затем анализ может проходить в четыре этапа:

1. Формирование базовой линии: оценить историческую ANF с использованием подходящих статистических методов.

2. Выявление исключений: определить значимые отклонения и структурные изменения.

3. Прогнозирование ограничений: оценить, когда нагрузка или производительность могут приблизиться к операционным порогам.

4. Поддержка решений: объединить статистические данные с обратной связью от сотрудников и управленческим суждением.

Такой подход потенциально можно реализовать с использованием уже существующих данных систем управления проектами и операционной деятельности, не вводя навязчивое отслеживание сотрудников.

Однако эффективность этой модели еще предстоит оценить эмпирически.

Заключение: от управления числами к пониманию систем

Моя работа над концепцией области нормального функционирования началась задолго до ее недавнего применения к данным о производительности ИТ-систем.

Первоначальная идея возникла в ходе моих исследований роботизированного захвата и пассивной адаптации. Позднее статистические методы, такие как SETDS, предоставили способы изучения нормального функционирования, исключений, трендов и структурных изменений в динамических технических системах.

Сегодня я исследую, могут ли эти идеи также помочь нам понимать человеческие и организационные системы.

Корпоративные команды — это не серверные кластеры, однако и те и другие работают в условиях меняющегося спроса, ограниченных ресурсов и факторов, влияющих на их способность функционировать.

Статистические методы могут быть переносимыми, даже если их интерпретация и управленческая реакция должны различаться.

Основная идея остается прежней:

Эффективное управление должно отличать нормальную вариативность от значимых изменений, предвидеть возникающие ограничения и поддерживать адаптацию, а не реагировать на каждое колебание.

Возможно, будущее управления по исключениям связано не только с улучшением мониторинга.

Возможно, оно заключается в том, чтобы дать людям больше свободы нормально функционировать, одновременно помогая руководителям распознавать ситуации, когда действительно необходима поддержка.

Именно это применение ANF я хотел бы исследовать дальше.

---

Эта статья является частью моего продолжающегося исследовательского и книжного проекта, посвященного области нормального функционирования (ANF) и изучению ее применений в технических, ИИ-, человеческих и гибридных системах.

Может ли система искусственного интеллекта иметь Область Нормального Функционирования?

 Синтетический эксперимент с TTFT и динамическими границами ОНФ

Продолжая развивать концепцию Области Нормального Функционирования (ОНФ), я ищу новые типы систем, к которым этот подход может быть применим.

Искусственный интеллект — особенно сервисы на основе больших языковых моделей (LLM) — представляет в этом смысле очень интересный пример.

Система ИИ — это всё-таки система, выполняющая работу. Она получает нагрузку, использует вычислительные ресурсы, формирует результат и имеет измеримые характеристики производительности. Отсюда естественно возникает вопрос:

Можно ли определить Область Нормального Функционирования для сервиса ИИ?

Я думаю, что можно.

Измерение производительности LLM

Рассмотрим пользователя, который отправляет запрос большой языковой модели. Одной из полезных характеристик производительности является Time to First Token (TTFT) — время между отправкой запроса и появлением первого токена ответа.

Для запроса i это можно записать так:

TTFTᵢ = t(first token) − t(request)

На TTFT влияют многие факторы: нагрузка, размер промпта, число параллельных запросов, особенности модели и доступные вычислительные ресурсы. Поэтому ожидать, что TTFT будет постоянным, было бы неправильно.

Вместо вопроса «находится ли TTFT ниже фиксированного порога?» ОНФ предлагает другой вопрос: какой диапазон значений TTFT соответствует нормальному функционированию именно этой системы ИИ при её текущих условиях работы?

Синтетический эксперимент

Чтобы проверить эту идею, я сгенерировал синтетический набор данных, представляющий 600 последовательных запросов к LLM-сервису. В модели нагрузки присутствуют:

·         число токенов в промпте и в ответе;

·         изменяющийся уровень параллельных запросов;

·         начальный стабильный режим работы;

·         постепенный рост нагрузки;

·         временный период перегрузки;

·         восстановление с переходом к несколько иному рабочему режиму.

Концептуально TTFT моделировался следующим образом:

TTFTᵢ = f(Pᵢ, Cᵢ) + εᵢ

где Pᵢ — размер промпта, Cᵢ — параллельная нагрузка, а εᵢ — обычная случайная вариабельность.

Цель не состояла в имитации какой-либо конкретной коммерческой системы ИИ. Данные намеренно сделаны синтетическими, чтобы поведение системы было известно и можно было наглядно показать саму концепцию ОНФ.

Построение Области Нормального Функционирования ИИ

Для первого эксперимента я использовал скользящие процентили, описывающие текущую рабочую область. Для окна последних наблюдений центральная линия определяется как:

CL(t) = P₅₀(TTFT)

Нижняя и верхняя границы:

LCL(t) = P₀₅(TTFT)

UCL(t) = P₉₅(TTFT)

Таким образом, Область Нормального Функционирования задаётся интервалом:

ANF(t) = [P₀₅(t), P₉₅(t)]

Ключевой момент состоит в том, что эти границы не являются фиксированными. Они перемещаются по мере изменения поведения системы.

Рисунок 1. Синтетический TTFT LLM-сервиса с динамической Областью Нормального Функционирования (P05–P95).

На графике фактический ряд представляет TTFT; P50 показывает центр нормального функционирования; P05 и P95 образуют нижнюю и верхнюю границы ОНФ; закрашенная область между ними и есть текущая Область Нормального Функционирования.

По смыслу это близко к IT-Control Charts, которые я много лет использовал для анализа производительности компьютерных систем, но в данном случае объектом наблюдения является сервис искусственного интеллекта.

Что происходит при изменении режима работы

В первой части эксперимента TTFT колеблется вокруг относительно стабильного уровня. Затем, по мере роста нагрузки, начинают увеличиваться и сам TTFT, и соответствующая ему ОНФ. В конце концов синтетический сервис входит в режим перегрузки. TTFT заметно возрастает, но после накопления достаточного числа наблюдений сама ОНФ адаптируется к новому режиму.

Отдельное наблюдение, вышедшее выше текущей верхней границы, можно представить как:

TTFTₜ > UCL(t)

Такое наблюдение может быть исключением. Однако устойчивое перемещение всей ОНФ означает уже не единичное отклонение, а возможное изменение состояния самой системы.

Исключение  →  Тренд  →  Точка изменения  →  Новая ОНФ

От обнаружения к прогнозированию

Идея становится ещё интереснее, если добавить анализ тренда. Предположим, что текущий тренд TTFT локально аппроксимируется линейной моделью:

TTFT̂(t) = a + bt

где b > 0 означает рост задержки ответа.

Если текущая верхняя граница ОНФ равна UCL, то ожидаемый момент пересечения можно оценить как:

t(cross) = (UCL − a) / b

А оставшееся время до прогнозируемого выхода за границу ОНФ:

TimeToANF = t(cross) − t(now)

Тем самым вопрос меняется с ретроспективного «стала ли производительность ИИ аномальной?» на более полезный проактивный вопрос: «сколько времени осталось до того, как производительность ИИ, согласно текущему тренду, выйдет из своей Области Нормального Функционирования?»

Это напрямую связывает концепцию ОНФ с проактивным управлением производительностью и мощностью.

За пределами TTFT

TTFT — только первый пример. У сервиса ИИ существует множество характеристик производительности. Концептуально многомерную ОНФ можно представить как:

ANF(AI) = f(TTFT, TPOT, Tokens/sec, QueueTime, TokenCount, Errors, ResourceUsage, …)

То есть в более общем случае система ИИ может иметь не одномерный интервал, а многомерную Область Нормального Функционирования.

Ещё важнее то, что эти параметры взаимосвязаны. Значение TTFT, необычное для короткого промпта, может быть совершенно нормальным для значительно более крупного запроса или при высокой параллельной нагрузке. Поэтому более строгая формулировка может быть условной:

ANF = P(Performance | Workload, Model, Configuration)

Иными словами: что является нормальной производительностью данной системы ИИ при данной нагрузке, данной модели и данной конфигурации? Это существенно более интересный вопрос, чем простое сравнение каждого запроса с одним фиксированным порогом.

Почему это мне интересно

Концепция ОНФ возникла в моей более ранней работе с техническими системами. Сейчас я исследую, может ли та же фундаментальная идея описывать нормальное функционирование, адаптацию и изменения в системах самых разных типов.

ИИ создаёт здесь особенно интересный мост. С одной стороны, это явно техническая вычислительная система, поэтому она естественно относится к задачам классической инженерии производительности. С другой стороны, современные системы ИИ всё чаще взаимодействуют с людьми и становятся частью более крупных гибридных человеко-технических систем.

Пока этот эксперимент намеренно прост: одна характеристика производительности ИИ, синтетические данные и одномерный анализ ОНФ.

Следующий логичный шаг — повторить эксперимент уже на реальных измерениях LLM-сервиса. Если подход подтвердится, ОНФ сможет дать единый язык не только для определения того, функционирует ли система ИИ нормально, но и для описания того, как меняется её нормальное состояние — и когда система приближается к выходу за его границы.

Примечание. В этом примере используются синтетические данные как proof of concept. В будущей академической версии метод следует проверить на реальной телеметрии LLM-сервиса и сравнить ОНФ (ANF)-подход с фиксированными SLO и другими адаптивными базовыми моделями.

#YouTube как пример Области Нормального Функционирования коллективного поведения пользователей

В последнее время я все больше думаю о том, насколько широко можно применять концепцию Области Нормального Функционирования — ОНФ.

Изначально термин ОНФ появился у меня еще в диссертационной работе по робототехнике. Тогда речь шла об области начальных положений объекта, при которых роботизированный захват все еще мог успешно выполнить операцию.

Позже, уже в области компьютерных систем, я развивал методы статистического анализа производительности: определение нормальных диапазонов, обнаружение исключений, трендов и точек изменения. В частности, мой метод SETDS — Statistical Exception and Trend Detection System был впервые опубликован на конференции CMG в 2002 году. Эта работа получила награду Best Paper.

Тогда основной задачей было следить за компьютерными системами и определять:

• что является нормальным поведением;
• когда показатель выходит за ожидаемые границы;
• когда появляется аномалия;
• когда меняется сам нормальный режим;
• и куда движется тренд.

Но сейчас я вижу, что те же идеи можно применять не только к техническим системам.

Один интересный пример — YouTube-канал.

YouTube-канал как динамическая система

У моего YouTube-канала @iTrubin есть своя аудитория и своя история активности.

Пользователи смотрят видео, подписываются, возвращаются на канал, реагируют на новые публикации. Если рассматривать эту активность во времени, получается типичный динамический процесс.

Например, можно анализировать:

• количество просмотров;
• число новых зрителей;
• возвращающихся зрителей;
• число подписчиков;
• просмотры отдельных видео;
• реакцию аудитории после публикации нового материала;
• долгосрочные тренды роста или снижения.

В обычной аналитике YouTube это просто показатели канала.

Но с точки зрения ОНФ это можно рассматривать иначе.

Мы можем спросить:

Как выглядит нормальный диапазон активности аудитории этого канала?

И тогда для каждого временного периода можно определить:

• центральный или типичный уровень активности;
• верхнюю границу нормального поведения;
• нижнюю границу;
• значения вне ОНФ;
• изменение тренда;
• и возможный переход к новому нормальному состоянию.

Не отдельный пользователь, а коллектив

Это особенно интересно потому, что система здесь — не один человек.

Мы анализируем коллективное поведение большой группы пользователей.

Каждый отдельный зритель принимает собственное решение:

• смотреть или не смотреть;
• подписаться или нет;
• вернуться к каналу;
• посмотреть старое видео;
• заинтересоваться новым материалом.

Но когда таких пользователей много, их совокупная активность образует вполне измеримый временной ряд.

Возникает нечто похожее на поведение сложной системы.

Именно здесь идея ОНФ становится особенно интересной.

Что может означать выход за ОНФ

Необычный всплеск активности выше верхней границы может означать:

• неожиданно успешное видео;
• попадание в рекомендации;
• внешний информационный повод;
• рост интереса к теме;
• изменение алгоритмов платформы.

А сильное падение ниже нижней границы может быть связано с:

• снижением интереса аудитории;
• сезонностью;
• отсутствием новых публикаций;
• изменением рекомендаций;
• изменением поведения самой аудитории.

Сам по себе выход за границу не объясняет причину.

Но он говорит:

Поведение этой группы пользователей сейчас отличается от ее собственного обычного поведения.

Это и есть основная идея ОНФ.

Когда меняется сама ОНФ

Еще интереснее не отдельная аномалия, а ситуация, когда меняется весь нормальный диапазон.

Например, после периода устойчивого роста канал может перейти на новый уровень просмотров. Тогда прежний всплеск постепенно становится новой нормой.

И наоборот, продолжительное снижение активности может привести к тому, что вся область нормального функционирования смещается вниз.

Это уже не просто исключение.

Это изменение режима поведения системы.

Именно здесь становятся особенно полезны методы:

• обнаружения точек изменения;
• анализа трендов;
• прогноза;
• и построения IT-control chart.

Связь с моими более ранними работами

Для меня этот пример особенно интересен еще по одной причине.

Когда я начинал развивать SETDS в начале 2000-х годов, я применял его прежде всего к производительности компьютерных систем.

Позже я заметил, что некоторые коммерческие инструменты начали использовать похожие идеи: динамические базовые линии, обнаружение аномалий и автоматическое выявление отклонений.

Но теперь становится понятно, что тот же подход можно переносить значительно шире.

YouTube-аналитика — хороший пример того, как методы, первоначально разработанные для технических систем, могут использоваться для анализа человеческого коллективного поведения.

. Область нормального функционирования (ОНФ) коллективной активности пользователей YouTube. Серой областью показан ожидаемый диапазон нормальной активности; выходы за его границы могут указывать на аномалии, изменение интереса аудитории или переход к новому режиму поведения.

От технической системы к человеческой

В компьютерной системе мы можем анализировать:

• CPU;
• память;
• транзакции;
• response time;
• workload.

В YouTube-сообществе мы анализируем:

• просмотры;
• подписчиков;
• возвращающихся зрителей;
• реакцию аудитории;
• динамику интереса.

Математически это снова временные ряды.

Но смысл показателей уже другой.

Они отражают не работу процессоров и серверов, а действия людей.

Поэтому такой пример занимает интересное промежуточное положение между техническими и социальными системами.

Почему этот пример важен для более широкой концепции ОНФ

Для меня YouTube-пример стал еще одним подтверждением, что ОНФ — это не только инженерная характеристика оборудования или программы.

ОНФ может описывать:

• техническую систему;
• бизнес-процесс;
• спортсмена;
• пациента;
• и даже коллектив пользователей цифровой платформы.

Общий вопрос во всех случаях остается тем же:

Что является нормальным поведением этой системы, и когда это нормальное поведение меняется?

В этом смысле коллектив пользователей YouTube можно рассматривать как еще один тип динамической системы — человеческой по своей природе, но наблюдаемой через цифровые данные.

Именно такие примеры постепенно расширяют для меня область применения ОНФ — от робототехники и компьютерных систем к человеческим и социальным процессам.

Применение ОНФ к клиническим данным: HRV, восстановление и человеческая адаптация

 В последних заметках я рассматривал, как концепция Области Нормального Функционирования — ОНФ — может применяться не только к компьютерным системам.

Сначала я попробовал этот подход на спортивных данных: SoccerMon и данных тренировок бегунов. Эти примеры показали, что ОНФ может описывать нормальный диапазон тренировочной нагрузки спортсмена, выявлять необычные периоды, находить сдвиги нормального режима и даже показывать возможные тренировочные циклы.

На этот раз я решил проверить ОНФ на другом типе данных о человеке: не на соревновательном спорте, а на клиническом мониторинге упражнений и восстановления.

Для этого эксперимента я использовал набор данных ATOPE+Breast, который содержит ежедневные записи мониторинга пациенток с раком молочной железы во время терапевтической программы физических упражнений. Файл records.csv включает ежедневные данные: идентификатор пациента, день исследования, информацию о тренировочных сессиях, показатели HRV, самооценку самочувствия, сон и физическую активность/шаги. Среди полей есть lnrmssd, recovery, fatigue, distress, sleep_satisfaction, sleep_time, показатели сна Fitbit и метрики активности.

Это делает набор данных особенно интересным для ОНФ. Цель здесь — не спортивный результат. Цель — более безопасная человеческая адаптация: как пациент реагирует на упражнения, восстановление, сон, усталость и общий контекст лечения во времени.

Почему этот набор данных отличается

В данных бегунов или футболистов главный вопрос часто связан с результативностью:

- Тренируется ли спортсмен в пределах своего нормального диапазона нагрузки?

В клинических данных вопрос другой:

- Восстанавливается ли пациент и адаптируется ли он в пределах своего индивидуального нормального функционального диапазона?

Поэтому ОНФ здесь может быть полезна как пациент-специфический слой мониторинга. Она не ставит медицинский диагноз и не заменяет клиническое решение врача. Но она может помочь заметить, когда ежедневное восстановление или физиологическое состояние пациента отклоняется от его недавней нормальной картины.

Для первого proof-of-concept я выбрал одного пациента с относительно длинной ежедневной историей и построил графики ОНФ на основе скользящих процентильных границ.

Модель использовала:

• скользящую базу по недавним наблюдениям,
• CL = P50,
• UCL = P95,
• LCL = P05,
• серую область = ОНФ,
• оранжевые точки = значения вне ОНФ,
• вертикальные маркеры = дни тренировочных сессий.

График 1 — ОНФ для LnRMSSD / HRV

Рисунок 1. Индивидуальная ОНФ для LnRMSSD — показателя HRV, связанного с физиологическим восстановлением. Серая область показывает недавний нормальный диапазон; точки вне области указывают на дни, выходящие за пределы недавнего физиологического паттерна восстановления пациента.

Первый график использует LnRMSSD.

LnRMSSD означает натуральный логарифм RMSSD — одного из распространенных показателей вариабельности сердечного ритма, или HRV. В практическом смысле этот показатель часто используется как индикатор автономного восстановления или физиологической готовности.

Для ОНФ это важно, потому что LnRMSSD дает более объективный физиологический сигнал, чем только самооценка самочувствия.

На графике область ОНФ представляет недавний нормальный диапазон HRV-восстановления данного пациента. День ниже нижней границы может указывать на то, что физиологическое восстановление ниже обычного. Устойчивое движение вниз может быть связано со стрессом, усталостью, нагрузкой лечения, плохим сном или другим контекстным фактором.

Конечно, одну дневную точку не следует переинтерпретировать. Физиология человека шумная. Ценность ОНФ не в том, чтобы рассматривать одно дневное значение как диагноз, а в том, чтобы видеть, как восстановление пациента ведет себя относительно его собственной недавней базы.

График 2 — ОНФ для индекса риска восстановления

Рисунок 2. Индивидуальная ОНФ для индекса риска восстановления, основанного на субъективных показателях восстановления и самочувствия. Более высокие значения означают худшее состояние восстановления по совокупности субъективных индикаторов.

Второй график использует комбинированный индекс риска восстановления.

Этот индекс суммирует субъективную сторону восстановления: ощущение восстановления, усталость, эмоциональный дистресс и состояние, связанное со сном. В наборе данных есть ежедневные самооценки, такие как recovery, fatigue, distress, sleep_satisfaction и sleep_time.

Этот график интересен потому, что отражает “человеческое ощущение” того же процесса. HRV может показывать физиологическое восстановление, но субъективные показатели показывают, как пациент реально себя чувствует.

В терминах ОНФ график риска восстановления задает вопрос:

Остается ли воспринимаемое состояние восстановления пациента в пределах его недавнего нормального диапазона?

Дни выше верхней границы могут указывать на необычно повышенный риск восстановления — например, более высокую усталость, худшее ощущение восстановления, худший сон или более высокий дистресс. И снова: ОНФ сама по себе не объясняет причину. Она показывает отклонение от недавнего нормального состояния данного пациента.

Почему важна комбинация показателей

Самое интересное здесь — не каждый график по отдельности, а возможность сравнивать их вместе.

У пациента может быть:

• нормальный HRV, но плохое субъективное восстановление,
• низкий HRV, но нормальная самооценка восстановления,
• оба сигнала внутри ОНФ,
• или оба сигнала вне ОНФ.

Такая комбинация может быть полезнее, чем один показатель.

Например, если HRV падает ниже нормы, а индекс риска восстановления поднимается выше нормы, это может быть более сильным сигналом, что пациент находится в необычном состоянии напряжения. Если меняется только один сигнал, интерпретация требует большего контекста.

Это похоже на то, как я раньше связывал бизнес-драйверы с метриками компьютерных систем. Один сигнал полезен, но две связанные ОНФ могут дать более информативную диагностическую картину.

От спортивной производительности к человеческому восстановлению

Этот пример расширяет идею ОНФ.

В данных бегунов ОНФ описывала нормальную недельную тренировочную нагрузку.
В SoccerMon ОНФ описывала нагрузку спортсмена и показатели wellness/readiness.
В ATOPE+Breast ОНФ описывает индивидуальное восстановление и адаптацию пациента во время терапевтических упражнений.

Это важный шаг.

Он показывает, что ОНФ может применяться не только к компьютерным системам и спортсменам, но и к более широкому контексту человеческого восстановления и реабилитации.

Главный вопрос остается тем же:

Что является нормальным для этой системы в данный момент, и когда это нормальное состояние изменилось?

Первый вывод

Это пока исследовательский proof-of-concept, но он полезен.

ATOPE+Breast показывает, что ОНФ можно применять к ежедневным данным о восстановлении человека, объединяя физиологические, субъективные, сонные, активностные и тренировочные показатели.

Для меня главный вывод такой:

ОНФ может помочь описывать индивидуальную область нормального восстановления и адаптации пациента.

Это не следует трактовать как медицинский диагноз. Скорее, это framework для мониторинга и интерпретации, который может помочь врачам, тренерам, исследователям или самим пациентам заметить, когда ежедневные паттерны восстановления выходят за пределы недавней нормы.

В более широком направлении исследований ОНФ этот набор данных дает важный мост:

• от технических систем,
• к спортивным системам,
• и далее к клинической человеческой адаптации и восстановлению.

Поэтому ATOPE+Breast становится ценным дополнением к будущей работе по ОНФ.

Применение ОНФ к данным бегунов: границы нагрузки, сдвиг режима и возможные тренировочные циклы

В предыдущих заметках я писал о концепции Области Нормального Функционирования — ОНФ. Основная идея проста: у любой динамической системы есть некоторая область нормального поведения. Но эта область не является постоянной. Она может расширяться, сужаться, смещаться, колебаться или резко меняться.

Мои ранние работы в этой области были связаны в основном с компьютерными системами: производительность, нагрузка, аномалии, точки изменения, тренды и прогнозы. Сейчас я пробую расширить этот подход на человеческие системы, в частности на спортивные данные.

После первого эксперимента с открытым набором данных SoccerMon я попробовал другой открытый набор данных — Injury Prediction for Competitive Runners.

Источник данных:
https://github.com/sonicjoy/Injury-Prediction-for-Competitive-Runners

Для первого анализа я выбрал одного бегуна с достаточно длинной историей и взял простую, но важную метрику:

общее количество километров за неделю (total kms)

С точки зрения спортивной науки это можно рассматривать как базовую внешнюю тренировочную нагрузку.

Как строилась ОНФ

Для каждой недели я рассчитывал границы ОНФ на основе предыдущих 12 недель:

• CL = скользящий P50
• UCL = скользящий P99
• LCL = скользящий P01

Область между LCL и UCL показывает недавний нормальный диапазон недельной нагрузки для данного бегуна.

Важно, что ОНФ здесь не фиксирована. Она движется вслед за изменением тренировочного режима спортсмена.

Рисунок 1 — ОНФ за всю историю наблюдений

На полном графике видно, что нормальная недельная нагрузка бегуна не была постоянной. Полоса ОНФ поднимается и опускается, отражая изменения типичного уровня тренировок.

Это уже интересно. Мы смотрим не просто на отдельные высокие или низкие недели, а на то, как меняется сама область нормальной нагрузки спортсмена.

Особенно заметен сильный нисходящий сдвиг ближе к концу ряда. Падает не только фактическая недельная нагрузка, но и сами границы ОНФ. В терминах ОНФ это означает, что нормальный диапазон нагрузки бегуна сместился вниз.

Это не доказывает причину. Такой сдвиг может быть связан с травмой, восстановлением, изменением тренировочного плана, сезонностью, занятостью или другими факторами. Но сам паттерн важен:

бегун больше не функционировал в прежнем диапазоне нормальной недельной нагрузки.

Рисунок 2 — Увеличенный фрагмент с поздним сдвигом

Увеличенный график делает этот поздний сдвиг более заметным. До него нормальный недельный километраж был существенно выше. После сдвига и центральная линия, и границы ОНФ перешли на более низкий уровень.

Это хороший пример того, зачем нужна ОНФ. Она помогает отличать:

• разовую аномалию,
• временное колебание,
• и реальное изменение функционального режима.

Я также сделал детектор точек изменения менее чувствительным, чтобы он не отмечал множество мелких колебаний. В результате остался более чистый и интерпретируемый сигнал — крупное изменение режима.

Возможная периодичность и тренировочные циклы

Еще одно интересное наблюдение: полоса ОНФ движется не совсем случайно. В ней заметны повторяющиеся волны подъема и снижения.

Предварительная проверка периодичности показала широкий повторяющийся цикл примерно около 46 недель, а также дополнительные среднесрочные паттерны примерно в диапазоне 28–40 недель.

Пока я бы не стал переинтерпретировать этот результат. Но он может отражать:

• сезонность,
• тренировочные макроциклы,
• фазы набора нагрузки и восстановления,
• или повторяющиеся изменения тренировочного плана.

Это важное расширение идеи ОНФ. Возможно, ОНФ помогает видеть не только аномалии и точки изменения, но и повторяющиеся циклы изменения нормального режима функционирования.

Почему это интересно

В инженерии производительности компьютерных систем мы часто задаем вопросы:

• Что является нормальным поведением системы?
• Когда система выходит за нормальные границы?
• Изменилась ли сама система?
• Есть ли тренд?
• Есть ли повторяющийся паттерн?

Оказывается, эти же вопросы могут быть полезны и для данных спортсмена.

Этот пример с бегуном показывает, что ОНФ может описывать:

• типичный диапазон недельной нагрузки,
• необычно высокие или низкие недели,
• крупный нисходящий сдвиг режима,
• и возможную периодическую структуру тренировочного процесса.

Для меня самый интересный результат — не просто падение нагрузки. Важнее то, что вниз сместилась сама область нормального функционирования.

Именно такие изменения ОНФ и должна помогать обнаруживать.

Первый вывод

Это пока исследовательский эксперимент, но он дает еще одно подтверждение, что ОНФ можно применять не только к техническим системам.

Бегун, как и компьютерная система, имеет меняющуюся область нормального функционирования. Эта область может расширяться, сужаться, смещаться, колебаться или резко меняться.

Понимание таких изменений может быть полезно не только в инженерии производительности, но и в спортивной науке, анализе тренировок и более широком исследовании человеческой производительности.

Применение ОНФ к данным SoccerMon: первый взгляд на нагрузку, самочувствие и готовность спортсмена

                                                                                                                                                Engish version is HERE

В качестве первого независимого proof-of-concept я применил идею Области Нормального Функционирования — ОНФ — к открытым данным мониторинга спортсменов из набора SoccerMon.

Эта работа продолжает более широкое направление ОНФ, о котором я писал ранее здесь:
https://www.trub.in/2026/06/expanding-area-of-normal-functioning.html

Источник данных для этого эксперимента — открытый датасет SoccerMon:
https://zenodo.org/records/10033832

Целью этого первого эксперимента было не построить окончательную предиктивную модель. Задача была проще: проверить, можно ли определить ОНФ на реальных данных спортивной науки и помогает ли эта концепция интерпретировать тренировочную нагрузку, самочувствие, готовность к тренировке и возможные признаки перегрузки.

Для первого анализа я выбрал одного игрока с относительно полной продольной историей данных. Были построены две недельные диаграммы в стиле IT-control chart:

1.      Недельная тренировочная нагрузка

2.      Недельный индекс риска по самочувствию и готовности

Обе диаграммы используют одну и ту же логику ОНФ. Для каждой недели текущее значение сравнивается с историей предыдущих 12 недель.

Контрольные границы рассчитаны на основе процентилей:

·         CL = скользящая медиана, или P50

·         UCL = скользящий P95

·         LCL = скользящий P05

Область между LCL и UCL рассматривается как недавняя Область Нормального Функционирования спортсмена.

Недельная нагрузка как внешнее воздействие

Первая диаграмма показывает недельную тренировочную нагрузку. Я рассчитал её как сумму дневных значений daily_load внутри каждой недели.

На языке ОНФ эта диаграмма показывает нормальный диапазон внешнего тренировочного воздействия на спортсмена. Если недельная нагрузка остается внутри полосы ОНФ, это означает, что спортсмен тренируется в диапазоне, который был для него нормальным в недавнем прошлом.

Если недельная нагрузка поднимается выше UCL, это означает, что спортсмен получает более высокую нагрузку, чем можно было бы ожидать на основе его недавней истории. Это может указывать на перегрузку, резкое увеличение тренировочного объёма или временный выход за верхнюю границу нормального функционирования.

В данных было видно несколько недель выше UCL, особенно в периоды быстрого увеличения тренировочной нагрузки. Некоторые из этих высоконагрузочных недель находились рядом с неделями, где были зарегистрированы сообщения о травмах. Это не доказывает причинно-следственную связь, но показывает, что верхняя граница ОНФ может быть полезным сигналом возможной перегрузки.

LCL также показана для симметрии и согласованности с форматом контрольной диаграммы. Однако низкие значения нагрузки интерпретировать сложнее. Неделя ниже LCL может означать отдых, снижение нагрузки, восстановление, перерыв в тренировках или межсезонье. В этом первом примере недели ниже LCL не выглядели связанными с сообщениями о травмах.

Поэтому для тренировочной нагрузки верхняя граница кажется более информативной, чем нижняя.

Риск по самочувствию и готовности как внутренняя реакция

Вторая диаграмма показывает составной индекс риска по самочувствию и готовности.

Этот индекс объединяет нормализованные значения:

·         усталости,

·         болезненности мышц,

·         стресса,

·         обратного значения готовности к тренировке,

·         обратного значения качества сна,

·         обратного значения настроения.

Более высокое значение индекса означает худшее субъективное состояние или более низкую готовность к тренировке.

Эта диаграмма представляет ОНФ спортсмена уже не с точки зрения внешней нагрузки, а с точки зрения внутренней реакции. Она отвечает не на вопрос «сколько работы выполнил спортсмен?», а на вопрос «как спортсмен, судя по субъективным показателям, реагирует на эту работу?».

На диаграмме было несколько недель выше UCL по индексу риска. На языке ОНФ это означает, что субъективное состояние спортсмена вышло за пределы его недавнего нормального диапазона. Это может отражать худшее восстановление, накопленную усталость, повышенный стресс или временно неблагоприятное адаптационное состояние.

Интересно, что в этом первом примере повышенный риск по самочувствию и готовности не совпадал напрямую с неделями сообщений о травмах. Но это тоже важный результат. Он показывает, что ОНФ по самочувствию может отражать краткосрочные изменения внутреннего состояния, тогда как ОНФ по нагрузке может лучше отражать внешнее тренировочное воздействие. Эти два измерения связаны, но не являются одним и тем же.

Почему важны обе диаграммы

Главный вывод из этого первого эксперимента состоит в том, что ОНФ спортсмена, вероятно, является многомерной.

У спортсмена может быть нормальная тренировочная нагрузка, но плохое самочувствие.

У спортсмена может быть высокая нагрузка, но при этом хорошая готовность.

У спортсмена может быть субъективный стресс без немедленной травмы.

У спортсмена может возникнуть травма после необычного паттерна нагрузки.

Это означает, что ОНФ не следует определять только по одной метрике.

В спорте ОНФ, как минимум, должна учитывать два измерения:

1.      Внешняя нагрузка — что спортсмену предлагается выполнить.

2.      Внутренняя реакция — как спортсмен усваивает эту нагрузку и адаптируется к ней.

Это очень близко к более общей идее ОНФ: у систем есть не только входные воздействия, но и внутреннее состояние, адаптационная способность, границы нормального функционирования и отложенные реакции.

Первый вывод

Этот эксперимент с данными SoccerMon пока является предварительным, но он поддерживает базовую идею: ОНФ можно операционализировать на реальных данных человеческой производительности.

Фреймворк ОНФ позволяет задавать такие вопросы:

Когда тренировочная нагрузка является нормальной для данного спортсмена?

Когда субъективное самочувствие выходит за обычный диапазон?

Адаптируется ли спортсмен, восстанавливается ли он или движется в сторону перегрузки?

Что мы видим: шум, аномалию, изменение, тренд или возможный срыв нормального функционирования?

Именно поэтому спортивная наука может быть очень перспективной первой областью применения ОНФ за пределами технических систем. Спортсмены — это живые динамические системы. У них есть индивидуальные границы, адаптационная способность, стрессовые реакции, паттерны восстановления и изменяющиеся области нормального функционирования.

Следующим шагом должно быть повторение такого анализа для нескольких игроков и проверка, связаны ли устойчивые или повторяющиеся выходы за границы ОНФ с травмами, болезнями, ухудшением восстановления или снижением производительности.