IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     02.06.2020       Выпуск 337 (01.06.2020 - 07.06.2020)       Статьи

Жесткий цигун с условными знаками или зачем нужен geometry generator

Требования заказчика к условным обозначениям на картах кажутся вам нереальными? Дальше вы узнаете, как с помощью geometry generator, QGIS и Python сделать так, чтобы ваши условники были лучше всех.

     02.06.2020       Выпуск 337 (01.06.2020 - 07.06.2020)       Статьи

Книга «Генеративное глубокое обучение. Творческий потенциал нейронных сетей»

Генеративное моделирование — одна из самых обсуждаемых тем в области искусственного интеллекта. Машины можно научить рисовать, писать и сочинять музыку. Вы сами можете посадить искусственный интеллект за парту или мольберт, для этого достаточно познакомиться с самыми актуальными примерами генеративных моделей глубокого обучения: вариационные автокодировщики, генеративно-состязательные сети, модели типа кодер-декодер и многое другое.

     02.06.2020       Выпуск 337 (01.06.2020 - 07.06.2020)       Статьи

PyTrace — Time Travel Debugger для Python

Мне часто приходится сталкиваться с отладкой.
Иногда я ставлю точку останова, но понимаю что уже слишком поздно, и надо начинать все сначала.

Усложняется все тем, что приходится работать с унаследованным кодом, который иногда сложно понять.
Возможно ли лучше понимать запутанный код? А что, если мы сможем понимать такой код, быстрее чем тот, кто его написал?

PyTrace — это трейсер с возможностями Time-Travel Debugging-а

     01.06.2020       Выпуск 337 (01.06.2020 - 07.06.2020)       Статьи

Простое распознавание лица «на лету» в Django view

Меня зовут Соболев Андрей и сегодня мы с вами создадим простую «плюшку» к Django, которая будет проверять, что на фотографии именно лицо человека (что бывает полезно в куче ситуаций).

Для этого нам понадобится OpenCV и 5 минут свободного времени. Поехали.

     01.06.2020       Выпуск 337 (01.06.2020 - 07.06.2020)       Статьи

Детектор приседаний на OpenCV и Tensorflow

В эпоху заточения хорошо заниматься физкультурой, но вот беда — не все домашние с этим согласны, так что приходилось прикладывать некоторые усилия. Работать надзирателем однако хотелось не очень, потому как надо было собственно работать, а пущеный на самотек спортивный процесс, наблюдаемый в лучшем случае одним глазом, заимел тенденцию скатываться в халяву.

Профессионально деформированный мозг беспокоился, что надо эти процессы как-то мониторить, собирать метрики, и делать это конечно не вручную, а чтобы оно все само себя посчитало.

Начать было решено с приседаний. Фундаментальное движение, с явными состояниями, большой амплитудой, в общем, идеальный выбор.

     01.06.2020       Выпуск 337 (01.06.2020 - 07.06.2020)       Статьи

Анализируем шедевры живописи с помощью классического ML

Один мой друг учится на художника и регулярно вдохновленно рассказывает о том или ином шедевре, о неповторимых композиционных приемах, о цветовосприятии, об эволюции живописи и гениальных художниках. На фоне этого постоянного воздействия я решил проверить, годятся ли мои инженерные знания и навыки для анализа мирового культурного наследия.

Вооружившись самодельным парсером под покровом ночи я ворвался в онлайн галерею и вынес оттуда почти 50 тысяч картин. Давайте разберем, что интересного с этим можно сделать, используя только классические ML инструменты (осторожно, трафик).

     01.06.2020       Выпуск 337 (01.06.2020 - 07.06.2020)       Статьи

Zero Inbox. Гайд по наведению порядка в почте

Моему почтовому ящику на gmail много лет. Более десяти лет самостоятельного существования, а также в нем лежат архивы из других почтовых систем. Все эти годы я использовал его так как и нужно использовать умные продукты:

     01.06.2020       Выпуск 337 (01.06.2020 - 07.06.2020)       Статьи

Стажировка аналитиком в Яндексе: разбор тестовых задач

Приём заявок 2020 уже закончился, поэтому в этой статье я с чистой совестью разберу задачи, которые Яндекс предлагал решить соискателям на первом этапе. Будет и код на Python. Спойлер: сложно, но интересно.

     31.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Как скомпилировать декоратор — C++, Python и собственная реализация. Часть 1

Данная серия статей будет посвящена возможности создания декоратора в языке С++, особенностям их работы в Python, а также будет рассмотрен один из вариантов реализации данного функционала в собственном компилируемом языке, посредством применения общего подхода для создания замыканий — closure conversion и модернизации синтаксического дерева.

 

     31.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Краткий обзор NLP библиотеки SpaСy

Обработка естественного языка(Natural Language Processing — NLP) сегодня становится очень востребованной, так как людям несомненно проще общаться с машинами также, как они общаются с людьми.

     28.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Быстрая загрузка большого количества данных в Google Colab

Решил поделиться своим знанием, как можно быстро загрузить большое количество файлов в Google Colab с Google Drive.

Всем известно, что Google Colab отличная бесплатная платформа для обучения и экспериментов над Нейронными Сетями.

     28.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Создание конечных автоматов с помощью корутин в Python

Оригинальная статья: Arpit BhayaniBuilding Finite State Machines with Python Coroutines

Конечный автомат (Finite State Machine) – это математическая модель вычислений, которая моделирует последовательную логику. FSM состоит из конечного числа состояний, функций перехода, входных алфавитов, начального и конечного состояний. В области компьютерных наук автоматы используются при проектировании компиляторов, лингвистической обработки, пошаговых рабочих процессов, игрового дизайна, процедур протоколов (например, TCP / IP), программирования на основе событий, разговорного искусственного интеллекта и многих других.

     28.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Генерация рандомных ветвлений на Питоне

Вспоминая Докинза, основную идею можно выразить так: если долго держать смерч над помойкой, то может собраться Боинг-747. Появление структуры из хаоса дуриком: перебирая и рекомбинируя всё подряд, из всех бессмысленных и беспорядочных процессов можно увидеть вполне осмысленные и упорядоченные. Если такие процессы каким-либо образом закрепляются и повторяются, то система, еще вчера представлявшая из себя броуновское движение, сегодня начинает выглядеть уже так, как будто ее поведение настроила невидимая рука, и что она совершает какие-то осмысленные с нашей точки зрения действия. При этом никакой руки и близко нет. Она настроила себя сама.

     27.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Создание торгового бота используя машинное обучение в анализе временных рядов

Это не техническая статья, в ней нет подробного анализа методов и теории. Просто как-то я увлекся машинным обучением и как и многие начинающие в этой теме люди, решил сделать торгового бота. Однако это выросло в нечто большее, чем просто тренировочный проект. Вот обо всем этом я и хочу рассказать.

     27.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Сказ о том, как мы BigQuery приручали

На самом деле, задача, о которой хочется рассказать, проста до уныния по своей формулировке: нужно было визуализировать данные по продажам отдела e-commerce малой кровью, т.е., читай, практически даром.

 

Что под этим понимается? Корзины наших магазинов генерят постоянный поток данных об онлайн-продажах в разных регионах мира со всеми вытекающими: разные валюты, часовые пояса, налоги, типы клиентов, виды номенклатуры, заказов и т.д. На самом деле, то же самое генерит любой интернет-магазин, только, возможно, варианты параметров у заказов немного отличаются.

     27.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Внутри виртуальной машины Python. Часть 2

Python обычно не рассматривается как компилируемый язык, но на самом деле он является таковым. Во время компиляции исходный код, написанный на Python, преобразуется в байт-код, который потом выполняется виртуальной машиной. Однако, процесс компиляции в Python является довольно простым и не включает в себя множество сложных этапов. Он состоит из следующих шагов в указанном порядке

     27.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Как реализовать кластеризацию в Power BI с помощью PyCaret

В одной из последних статей мы говорили о том, как создать детектор аномалий в Power BI, интегрировав в него PyCaret, и помочь аналитикам и специалистам по анализу данных добавить машинное обучение в отчеты и панели мониторинга без лишних трудозатрат.

В этой статье мы рассмотрим, как с помощью PyCaret и Power BI провести кластерный анализ. Если раньше вы ничего не слышали о PyCaret, начать знакомство с ним вы можете тут.

     27.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Введение в Python Functools

Functools – это библиотека Python, которая предназначена для работы с функциями высшего порядка. Такие функции могут принимать в себя другие функции и возвращать функции. Они помогают разработчиком писать код, который можно переиспользовать. Функции можно использовать или расширять, не переписывая их полностью. Модуль functools в Python предоставляет различные инструменты, которые позволяют добиться описанного эффекта. Например, следующие:

     27.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

6 способов значительно ускорить pandas с помощью пары строк кода. Часть 2

В предыдущей статье мы с вами рассмотрели несколько несложных способов ускорить Pandas через jit-компиляцию и использование нескольких ядер с помощью таких инструментов как Numba и Pandarallel. В этот раз мы поговорим о более мощных инструментах, с помощью которых можно не только ускорить pandas, но и кластеризовать его, таким образом позволив обрабатывать большие данные.

     26.05.2020       Выпуск 336 (25.05.2020 - 31.05.2020)       Статьи

Твой первый шаг в Data Science. Титаник

Я считаю, что бОльшее количество дел мы бы могли совершать, если бы нам предоставляли пошаговые инструкции, которые скажут что и как делать. Сам же вспоминаю в своей жизни такие моменты, когда не мог начаться какое-то дело из-за того, что было просто сложно понять, с чего нужно начинать. Быть может, когда-то давно в интернете ты увидел слова «Data Science» и решил, что тебе до этого далеко, а люди, которые этим занимаются где-то там, в другом мире. Так нет же, они прямо здесь. И, возможно, благодаря людям из этой сферы тебе в ленту попала статья. Существует полно курсов, которые помогут тебе освоится с этим ремеслом, здесь же я помогу тебе сделать первый шаг.

Ну что, ты готов? Сразу скажу, что тебе придется знать Python 3, поскольку его я буду использовать здесь. А также советую заранее установить на Jupyter Notebook или посмотреть, как использовать google colab.