smart_open - утилиты для потокового чтения больших файлов

Как вариант применения предлагается построчное чтение из файла в облаке Amazon S3