Собрали в одном месте самые важные ссылкичитайте авторский блог
Scrapy - это удобный фреймворк для веб-пауков. Но вот печаль, он не поддерживает Python 3. Вы можете помочь с портированием.