Используем Anaconda с PySpark для Distributed Language Processing на Hadoop Cluster analysis Anaconda PySpark Hadoop

Статья подробно описывает использование анаконды для обработки текста на кластере.