Библиотека dask - параллельная обработка массивов, в том числе не влезающих в память

Библиотека позволяет производить параллельную обработку numpy.array массивов. Большой массив делится на несколько меньших по размеру и в зависимости от необходимых расчётов создаётся "рецепт" по которому будет производится расчёт в параллельном режиме. Далее можно воспользоваться встроенным планировщиком, который выполнит "рецепт", либо создать собственный планировщик, который будет работать с dask "рецептами". В статье приведено несколько сравнений простых операций выполненных с netCDF файлами при помощи dask и при помощи оптимизированной утилиты командной строки написанной на C.