Собрали в одном месте самые важные ссылкичитайте авторский блог
Предлагается обрабатывать данные порциями способными уместиться в памяти с помощью модуля multiprocessing и его встроенного механизма очередей