Готовим спагетти для графа

В нашей команде мы используем ML-модели, чтобы в онлайн-режиме рассчитывать скор-баллы для оценки кредитных рисков. Я расскажу вам о том, как мы перешли от слабо структурированного кода конвейеров ML-моделей к графам, чтобы упорядочить код и начать внутри команды говорить на одном языке, как мы ловим события для мониторинга и метрик, собираем артефакты, осуществляем тестирование и отладку конвейеров и при всём этом до сих пор сохраняем рассудок. Также покажу пример реализации простого графового движка для запуска конвейеров в оперативной памяти, с управляющими конструкциями и распараллеливанием вычислений.