pyspider - мощный краулер веб-страниц

Предлагает API для выборки данных со сторонних ресурсов и вебинтерфейс для контроля и управления многими аспектами этого процесса