Собрали в одном месте самые важные ссылкичитайте авторский блог
Гибкий фреймворк для написания web-пауков (парсеров). Скачать можно по ссылке: https://pypi.python.org/pypi/scrapy