IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     20.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи

Как Data-Engineer за данными следил

Хочу рассказать вам, как мы писали и внедряли сервис для мониторинга качества данных. У нас есть множество источников данных: данные с финансовых рынков, торговая активность наших клиентов, котировки и многое другое. Все это генерирует миллиарды записей в день в наших процессах. Полнота и консистентность торговых данных — критический компонент бизнеса Exness.

Если вам близки проблемы обеспечения качества данных и вам интересно, как мы решили эту задачу у себя, то добро пожаловать под кат.

     20.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи
     19.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи
     17.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи

Получить выписку из Росреестра через ФГИС ЕГРН и python. Часть 2

В этой статье попробуем получить выписки из ФГИС ЕГРН с помощью python (selenium) сразу по нескольким объектам недвижимости, решим капчу с помощью сервиса anticaptcha, используя его api. При встрече с капчей нейросети трогать не будем, так как они могут показаться сложнее в реализации, да и процент «успешных разгадываний» капч с их помощью пока ниже.

     16.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи

Создание динамических моделей в реалтайме в Django

Динамическое создание моделей или полей к уже существующей модели в ORM Django редко встречаемая задача, но иногда специфика бизнеса требует ее реализации. К примеру может возникнуть необходимость получение данных из внешней БД и при этом сами данные могут иметь либо очень большее количество полей (более 100), либо иметь постоянно меняющиеся поля. Но вы должны быть осторожны, если пойдете по этому пути, особенно если ваши модели настроены на изменение во время выполнения. В этой статье я рассмотрю ряд вопросов, которые следует учитывать при создание динамических моделей.

     16.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи

Ваша первая нейронная сеть на графическом процессоре (GPU). Руководство для начинающих

В этой статье я расскажу как за 30 минут настроить среду для машинного обучения, создать нейронную сеть для распознавания изображений a потом запустить ту же сеть на графическом процессоре (GPU).

Для начала определим что такое нейронная сеть.

     16.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи
     16.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи

Nuxt + Django + GraphQL на примере

В этой статье вы сможете узнать как можно собрать dev-окружение современного SPA приложения с server side рендерингом, на основе фреймворков Django и Nuxt, а также их сообщения посредством GraphQL API.

 

На примере простейшего приложения со списком задач, я попытался рассказать об основных проблемах с которыми я столкнулся в процессе построения приложения на выбранном стеке.

     16.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи

Какой язык выбрать для работы с данными R или Python? Оба! Мигрируем с pandas на tidyverse и data.table и обратно

По запросу R или Python в интернете вы найдёте миллионы статей и километровых обсуждений по теме какой из них лучше, быстрее и удобнее для работы с данными. Но к сожалению особой пользы все эти статьи и споры не несут.

     15.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Hack The Box — прохождение Postman. Redis и WebMin

Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. Надеюсь, что это поможет хоть кому-то развиваться в области ИБ. В данной статье нам придется проэксплуатировать уязвимости в Redis и WebMin, а также подобрать пароль к зашифрованному ключу RSA.

     14.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Общий финансовый анализ на Python (Часть 1)

В прошлой статьерассмотрено как можно получить информацию по финансовым инструментам. Дальше будет опубликовано несколько статей о том, что первоначально можно делать с полученными данными, как проводить анализ и составлять стратегию. Материалы составлены на основании публикаций в иностранных источниках и курсах на одной из онлайн платформ.

В этой статье будет рассмотрено, как рассчитывать доходность, волатильность и построить один из основных индикаторов.

     13.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи
     12.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Основы ClickHouse для веб разработчика

Статья предназначена веб разработчику, который недавно подключился к проекту где используется ClickHouse и ему понадобилось быстро понять что это такое.

     12.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Как писать безопасный Python-код. Отвечает Кушал Дас

Отличительная черта выступлений Кушала в том, что он регулярно обнародует «секретные» способы сломать Python-код и в противовес показывает, как написать код так, чтобы АНБ не смогло его взломать. На нашей конференции Кушал расскажет, как безопасно разрабатывать и деплоить Python-код, поэтому о безопасности я его и расспрашивал.

     11.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Как управлять загружаемыми файлами в Django

Когда файл доступен конкретному пользователю

     11.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Do not log

Размышления о подходе к журналированию в проекте

     11.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Создание виртуальных окруженей и установка библиотек для Python 3 в IDE PyCharm

Довольно часто я вижу, как мои знакомые и друзья начинают изучать Python и сталкиваются с проблемой установки и использования сторонних библиотек. Они могут несколько часов потратить на установку библиотеки, и даже, могут не справиться с этим и забить на неё. В то время как, в большинстве случаев, это можно было сделать за несколько минут.

     11.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Разблокируем порты коммутатора Cisco с помощью Zabbix, Ansible и Napalm

День добрый. Это вторая часть цикла из двух статей. В первой части мы ловили Zabbix-ом трапы PortSecurity от коммутаторов, а здесь мы, можно сказать, решаем обратную задачу — снимаем блокировку порта коммутатора щелчком мыши в фронтенде Zabbix-а.

Так получилось, что эта задача решалась два раза, двумя разными инструментами и с разницей в несколько месяцев. Сначала использовался Ansible, который вполне успешно справлялся. Но в один прекрасный момент он сломался (опять) и та же самая задача была решена простым Python-ом с использованием широко известной в узких кругах сетевой библиотекой Napalm.