Собрали в одном месте самые важные ссылкии сделали Тренажер IT-инцидентов для DevOps/SRE
Scrapy - это удобный фреймворк для веб-пауков. Но вот печаль, он не поддерживает Python 3. Вы можете помочь с портированием.