Собрали в одном месте самые важные ссылкичитайте авторский блог
В после рассказывается как использовать Scrapy для парсинга страниц на ASP.NET.