Как запускать Python скрипты в Scrapy Cloud scrapy

Как деплоить Docker Image для Web Crawlers? scrapy docker

Scrapy: собираем данные и сохраняем в базу данных scrapy

Меня заинтересовал данный фреймворк для сбора информации с сайтов. Здесь были публикации по Scrapy, но поскольку детальной информации на русском языке мало, то я хотел бы рассказать о своем опыте. 

Как вежливо парсить web с помощью Scrapy scrapy scraping

Улучшения доступа для результатов выборов Peruvian Congress Bills с помощью Scrapy scrapy

Статья о том, как парсинг может помочь в упрощении доступа к данным

Scrapy советы от профи: Июнь 2016 scrapy

Web Scraping – парсим комиксы с сайта Comixology scrapy parsing

Scrapy советы для профи: Май 2016 scrapy scraping

Scrapy + MonkeyLearn: текстологический анализ данных scrapy machine learning MonkeyLearn

Недавно мы сообщили о интеграции с MonkeyLearn, что позволило организовать машинное обучение Scrapy + Portia.

Поговорим о MonkeyLearn + Scrapy

Извлекаем данные с сайтов используя Scrapy scrapy data mining

Scrapy советы для профи: Апрель 2016 scrapy scraping ASP.NET

В после рассказывается как использовать Scrapy для парсинга страниц на ASP.NET.

Web Scrapping с помощью python beautiful soup scrapy scraping lxml xpath parsing

Недавно заглянув на КиноПоиск, я обнаружила, что за долгие годы успела оставить более 1000 оценок и подумала, что было бы интересно поисследовать эти данные подробнее: менялись ли мои вкусы в кино с течением времени? есть ли годовая/недельная сезонность в активности? коррелируют ли мои оценки с рейтингом КиноПоиска, IMDb или кинокритиков? 
Но прежде чем анализировать и строить красивые графики, нужно получить данные. К сожалению, многие сервисы (и КиноПоиск не исключение) не имеют публичного API, так что, приходится засучить рукава и парсить html-страницы. Именно о том, как скачать и распарсить web-cайт, я и хочу рассказать в этой статье.
В первую очередь статья предназначена для тех, кто всегда хотел разобраться с Web Scrapping, но не доходили руки или не знал с чего начать. 

Off-topic: к слову, Новый Кинопоиск под капотом использует запросы, которые возвращают данные об оценках в виде JSON, так что, задача могла быть решена и другим путем.