Пишем свой Google, или асинхронный краулер с rate limits на Python

Сегодня расскажу, как написать асинхронный краулер. Такая задача часто встречается на практике, когда нужно реализовать периодическую синхронизацию/обкачку между сервисами.