Собрали в одном месте самые важные ссылкиконсультируем про IT, Python
Я много работаю с данными, поэтому практически все процессы у меня завязаны на Jupyter (IPython Notebook). Эта среда прекрасна и я её большой фанат. По сути, Jupyter — это обычная питоновая консоль и весь код там выполняется последовательно. Но иногда возникает желание запустить вычисления в ячейке и, не дожидаясь пока они закончатся, продолжить работу. Например, нужно скачать 1000 урлов и достать у них заголовки страниц. Хорошо бы запустить процесс скачивания и сразу начать отлаживать код для выделения заголовков.
Сегодня Python используется почти повсеместно в астрофизике: от моделирования изображения звезд и галактик до статического анализа данных. В докладе я дам общий обзор библиотек. А затем рассмотрю конкретный пример применения. Будет интересно - про темную материю, беспилотные аппараты для калибровки радиотелескопов.
import workdir import shutil workdir.options.path = '~/.myfilecache' with workdir.as_cwd(): download_remote_archive('somefile') unpack_archive('somefile', 'somedir') shutil.copy(workdir.path_to_file('somedir', 'unpackedfilefromarchive'), os.path.join('otherdir', 'unpackedfilefromarchive'))
Ищет по ~50 источникам, чекает на анонимность, проверяет поддерживаемые протоколы и страну нахождения прокси. В среднем находит ~7k HTTP(S) и ~500 SOCKS живых прокси.
import asyncio from proxybroker import Broker loop = asyncio.get_event_loop() proxies = asyncio.Queue(loop=loop) broker = Broker(proxies, loop=loop) loop.run_until_complete(broker.find()) while True: proxy = proxies.get_nowait() if proxy is None: break print('Found proxy: %s' % proxy)
Статья описывает как из Python кода обратиться в docker
Модуль позволяет отслеживать реальный трафик и потребление ресурсов
Модуль реализует численные операции для рациональных чисел