IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Twitter

     02.12.2020       Выпуск 363 (30.11.2020 - 06.12.2020)       Статьи

Кодируем и декодируем сообщение для внеземных цивилизаций

Мотивом для этой статьи, на самом деле, послужил грустный повод. Всемирно известный радиотелескоп обсерватории Аресибо в Пуэрто-Рико разрушился и восстановлению не подлежит. Многие годы это был самый крупный радиотелескоп в мире с полной апертурой (диаметр 304 м, диапазон частот до 10 ГГц), с помощью которого было сделано немало открытий. Здесь на фото из Википедии он в еще рабочем состоянии:

     01.12.2020       Выпуск 363 (30.11.2020 - 06.12.2020)       Статьи

Настройка GitHub Actions для автоматизированного тестирования средствами Python в конвейере CI/CD

В этой статье описываются операции по тестированию клиентской части приложения с помощью TestProject и pytest, а также способы выполнения тестов через GitHub Actions. Если у вас общедоступный репозиторий GitHub, все это будет совершенно бесплатно. Эта возможность хорошо подходит для изучения TestProject и выполнения интеграционного тестирования в ваших проектах. Если вы хотите выполнять эти операции из закрытого репозитория, то GitHub предлагает очень большое количество бесплатных минут, см. https://github.com/features/actions#pricing-details.

     01.12.2020       Выпуск 363 (30.11.2020 - 06.12.2020)       Статьи

Делаем печатные ссылки кликабельными с помощью TensorFlow 2 Object Detection API

В этой статье мы начнем решать проблему того, как сделать печатные ссылки в книгах или журналах кликабельными используя камеру смартфона.

     01.12.2020       Выпуск 363 (30.11.2020 - 06.12.2020)       Статьи

Введение в обработку изображений в Python при помощи Pillow

Pillow — это свободно распространяемая библиотека для работы с изображениями (далее Imaging Library) на Python с открытым исходным кодом, которая добавляет вашему коду поддержку открытия, изменения и сохранения изображений в различных расширениях.

     01.12.2020       Выпуск 363 (30.11.2020 - 06.12.2020)       Статьи

Как создать свою собственную библиотеку AutoML в Python с нуля

Библиотеки и сервисы AutoML вошли в мир машинного обучения. Для дата-сайентиста это очень полезные инструменты, но иногда они должны быть адаптированы к потребностям бизнес-контекста, в котором работает дата-сайентист. Вот почему вам нужно создать свою собственную библиотеку AutoML.

     01.12.2020       Выпуск 363 (30.11.2020 - 06.12.2020)       Статьи

Участвуем в соревновании по Data Science. Первый опыт

Итак, сегодня в этой статье я расскажу уважаемому читателю о своем первом опыте участия в открытом соревновании. Хотелось бы сразу отметить, что моей целью соревнования было не получение каких-либо призовых мест. Единственное желание было попробовать свои силы в реальном мире :)

     30.11.2020       Выпуск 363 (30.11.2020 - 06.12.2020)       Статьи
     30.11.2020       Выпуск 363 (30.11.2020 - 06.12.2020)       Статьи

Как разработать ансамбль Light Gradient Boosted Machine (LightGBM)

LightGBM расширяет алгоритм градиентного бустинга, добавляя тип автоматического выбора объектов, а также фокусируясь на примерах бустинга с большими градиентами. Это может привести к резкому ускорению обучения и улучшению прогнозных показателей. Таким образом, LightGBM стала де-факто алгоритмом для соревнований по машинному обучению при работе с табличными данными для задач регрессионного и классификационного прогностического моделирования. В этом туториале вы узнаете, как разрабатывать ансамбли машин Light Gradient Boosted для классификации и регрессии.

     29.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Доклады с EuroPython доступны на archive.org

Более 1000 докладов за последние 6 лет

     28.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Hack The Box. Прохождение SneakyMailer. Фишинговая рассылка, LPE через PyPI и GTFOBins pip3

Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье мы получим список адресов электронной почты, выполним рассылку фишинговых писем, разместим PHP шелл через FTP, выполним произвольный код благодаря PyPI и повысим привилегии через GTFOBins pip3.

     28.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Как с помощью хакатона столкнуть математиков и ML–щиков, и кто тогда победит

Эта статья о том, как мы совместно с роснефтёвой «дочкой» «Самаранефтехимпроект» и Казанским Федеральным Университетом в сентябре 2020 года провели «Хакатон трёх городов», на котором предложили студентам решить классическую задачу сейсмической корреляции отражающих горизонтов. С такими задачами постоянно сталкиваются специалисты по сейсморазведке по всему миру. Для участников задачу решили преподнести как «задачу поиска оптимального пути», чтобы не отпугнуть студентов страшными словами. В статье расскажем подробнее про задачу и разберём интересные решения участников. Это будет увлекательно для специалистов как по прикладному математическому моделированию, так и машинному обучению и анализу данных.

     28.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Удобное логирование на бэкенде. Доклад Яндекса

Что-то всегда идет не по плану. Приходится отвечать на вопросы, «Что сломалось?», «Почему тормозит?» и «Почему мы не увидели этого раньше?». На примере простого приложения Даниил Галиев zefirior из Яндекс.Путешествий показал, как отвечать на эти вопросы и какие инструменты в этом помогут. Настроим логирование, прикрутим трассировку, разложим ошибки, и все это в удобном интерфейсе.

     27.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Определяем пол и возраст по фото

В практике внутреннего аудита встречаются задачи, при которых необходимо осуществить проверку по выявлению некорректного ввода данных о клиенте. Одной из таких проблем может быть несоответствие введенных данных и фото клиента, в момент оформления продукта.

К примеру, имеется следующая информация: пол, возраст и ссылка на фото. Для проверки соответствия воспользуемся библиотекой py-agender языка Python.

     26.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Ваш pet-project будет доволен. Как вдохнуть жизнь в свои наработки

В этой статье я хочу поделиться, как наработки, оставшиеся после соревнования на машинный перевод, вылились в интересный проект и как сотрудничество с Национальным корпусом русского языка вдохнуло в него новую жизнь.

     26.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

NaN все еще может немного удивить

Сначала, я подумал, что это очередной вопрос из тех, которые могут задаваться на собеседовании. Наверное, если как следует пораскинуть мозгами, то можно догадаться до того, каким будет результат. Откинувшись на спинку кресла, начал размышлять, включать логику, вспоминать что-нибудь, на что можно опереться в рассуждениях. Но тщетно! Вдруг стало совершенно очевидно, что найти ответ не удается. Но почему? В чем нужно разбираться, чтобы он был найден? В математике? В языке программирования?

     24.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Как посмотреть плоские фильмы в 3D

Недавно я сидел в баре с другом зашел разговор о том, в каких задачах в принципе может быть эффективен нейросетевой подход, а где они совершенно излишни. Один класс примеров, где нейросети часто наголову превосходят классические алгоритмы - обработка изображений. Точность решения задачи распознования объектов на изображении может даже превосходить человеческое восприятие. Кроме того, интересны и задачи переноса стиля, генерации реалистичных изображений, superresolution итд. Нейросети могут быть очень эффективны также в задачах типа pixtopix, когда происходит генерация одного изображения из другого. Тогда у меня и возникла идея попробовать применить данные алгоритмы для преобразования 2d фильмов в 3d.

     24.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Пишем голосового ассистента на Python

Технологии в области машинного обучения за последний год развиваются с потрясающей скоростью. Всё больше компаний делятся своими наработками, тем самым открывая новые возможности для создания умных цифровых помощников.

В рамках данной статьи я хочу поделиться своим опытом реализации голосового ассистента и предложить вам несколько идей для того, чтобы сделать его ещё умнее и полезнее.

     23.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Разработка механизма распараллеливания кода на языке python с использованием docker-контейнеров

Современный этап развития технологий, в том числе и вычислительной техники, показывает нам рост объёмов данных и потребностей во все более мощных вычислителях. В основе развития центральных процессоров всегда лежала технология увеличения числа транзисторов на кристалле микропроцессора. Известный закон Мура гласит: «при сохранении этой тенденции мощность вычислительных устройств за относительно короткий промежуток времени (24 месяца) может вырасти экспоненциально»

     23.11.2020       Выпуск 362 (23.11.2020 - 29.11.2020)       Статьи

Как сделать ваш код на Python быстрым и асинхронным с Sanic

Sanic– это очень похожий на Flask открытый веб-сервер и веб-фреймворк на Python с более чем 10К звездами, который быстро развивается. Он позволяет использовать синтаксис async/await, который был добавлен в Python 3.5, помогая делать ваш код неблокирующим и быстрым.

     22.11.2020       Выпуск 361 (16.11.2020 - 22.11.2020)       Статьи

Введение в logging на Python

В стандартной библиотеке Python есть замечательный пакет для логирования — logging. В сети бытует мнение, что он сложный и настраивать его сплошная боль. В этой статье я попробую убедить вас в обратном. Мы разберём что из себя представляет этот пакет, изучим основные компоненты и закрепим материал практическим примером.