Собрали в одном месте самые важные ссылкичитайте нас в Twitter
Предлагается обрабатывать данные порциями способными уместиться в памяти с помощью модуля multiprocessing и его встроенного механизма очередей