IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     08.07.2019       Выпуск 290 (08.07.2019 - 14.07.2019)       Статьи

Внедрение Airflow для управления Spark-джобами в ivi: надежды и костыли

Задача деплоя моделей машинного обучения в продакшн — это всегда боль и страдания, потому что очень некомфортно вылезать из уютного jupyter notebook в мир мониторинга и отказоустойчивости.

Мы уже писали про первую итерацию рефакторинга рекомендательной системы онлайн-кинотеатра ivi. За прошедший год мы почти не дорабатывали архитектуру приложения (из глобального — только перезд с устаревших python 2.7 и python 3.4 на «свежий» python 3.6), зато добавили несколько новых ML моделей и сразу столкнулись с проблемой выкатывания новых алгоритмов в продакшн. В статье я расскажу про наш опыт внедрения такого инструмента управления потоками выполнения задач как Apache Airflow: почему у команды возникла эта необходимость, чем не устраивало существующее решение, какие костыли пришлось запилить по дороге и что из этого получилось.

     08.07.2019       Выпуск 290 (08.07.2019 - 14.07.2019)       Статьи

Нейросети и глубокое обучение, глава 3, ч.1: улучшение способа обучения нейросетей

Когда человек учится играть в гольф, большую часть времени он обычно проводит за постановкой базового удара. К другим ударам он подходит потом, постепенно, изучая те или иные хитрости, основываясь на базовом ударе и развивая его. Сходным образом мы пока что фокусировались на понимании алгоритма обратного распространения. Это наш «базовый удар», основа для обучения для большей части работы с нейросетями (НС). В этой главе я расскажу о наборе техник, которые можно использовать для улучшения нашей простейшей реализации обратного распространения, и улучшить способ обучения НС.

     08.07.2019       Выпуск 290 (08.07.2019 - 14.07.2019)       Статьи

Заполняем документы в Microsoft Word при помощи Python. Часть 2

В предыдущем посте было рассмотрено как заполнить запрос в word с помощью python. В этот раз будет продемонстрировано как заполнить сразу несколько word документов данными из таблицы excel.

Перед тем как работать с программой, нам необходимо подготовить файл excel, где будут содержаться исходные данные.

     08.07.2019       Выпуск 290 (08.07.2019 - 14.07.2019)       Статьи

Linux-разработка в Windows с WSL и Visual Studio Code Remote

Работа с VS Code Remote и Windows Subsystem for Linux (WSL) дает возможность использовать полнофункциональную среду разработки Linux на ноутбуке или десктопе с предустановленной Windows. В этом материале рассмотрим то, как использовать эти инструменты для разработки приложений на Python в Linux.

     07.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Пишем бот для рыбалки в игре Albion Online на языке Python

Являюсь счастливым пользователем операционной системы GNU/Linux.И как многим известно, игрушек идущих на линукс без дополнительных танцев с бубном намного меньше чем в «Винде».

И еще меньше игр в жанре MMORPG.

Однако, где-то пол года или год назад я узнал что под линукс портировали игру Albion Online.
Игра очень занимательная, однако занимает достаточно большое количество времени. И дабы не тратить свои драгоценные часы жизни по напрасну, я решил написать бота. Который будет фармить мне ресурсы, пока я буду заниматься своими делами.

     06.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Обзор Python 3.8

Релиз Python 3.8 намечен на октябрь 2019 года, но уже сейчас у каждого есть возможность пощупать набор новых фишек языка. Пока пишу этот пост, на официальном сайте доступна версия python 3.8b2.

Итак, что же нам готовит релиз грядущий?

     06.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Attention для чайников и реализация в Keras

Не смотря на то что механизм Attention описан в англоязычной литературе, в русскоязычном секторе достойного описание данной технологии я до сих пор не встречал. На нашем языке есть много статей по Искусственному Интеллекту (ИИ). Тем не менее, те статьи, которые удалось найти, раскрывают только самые простые модели ИИ, например, свёрточные сети, генеративные сети. Однако, по передовым новейшим разработками в области ИИ статей в русскоязычном секторе крайне мало.

     05.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Преобразуем изображение в звук — что можно услышать?

В недавней публикации здесь на сайте описывалось устройство, позволяющее незрячим людям «видеть» изображение, преобразуя его с помощью звуковых волн. С технической точки зрения, в той статье не было никаких деталей вообще (а вдруг украдут идею за миллион), но сама концепция показалась интересной. Имея некоторый опыт обработки сигналов, я решил поэкспериментировать самостоятельно.

     05.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи
     05.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

5 распространенных ошибок начинающих программистов на Python

В первые дни работы программистом на Python все мы сталкиваемся с разными типами багов в нашем коде, которые после нескольких болезненных часов в StackOverflow оказываются не багом, а фичей Python'а. Ниже приведены 5 самых распространенных ошибок, которые делают большинство начинающих программистов на Python. Давайте немного о них узнаем, чтобы сэкономить несколько часов, задавая вопросы на страницах и в группах в Facebook.

     04.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Подборка @pythonetc, июнь 2019

Это одиннадцатая подборка советов про Python и программирование из авторского канала @pythonetc.

     04.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Мелкая питонячая радость #6: OpenAI Gym — играем в игры и управляем роботами

Мы привыкли к тому, что специалисты по машинному обучению огромную часть своего рабочего времени сидят над анализом табличных данных или обучают нейросеть для раскладывания фотографий кошек и собак на две аккуратные кучки. Ибо такова воля бизнеса — чаще всего нужно давать прогнозы, классифицировать данные и строить модели.

 

Сегодня мы проветрим мозги и разомнем дряблеющие от скуки синапсы с помощью кое-чего интересного — OpenAI Gym.

     04.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Введение в разработку CatBoost. Доклад Яндекса

Меня зовут Стас Кириллов, я ведущий разработчик в группе ML-платформ в Яндексе. Мы занимаемся разработкой инструментов машинного обучения, поддержкой и развитием инфраструктуры для них. Ниже — мой недавний доклад о том, как устроена библиотека CatBoost. В докладе я рассказал о входных точках и особенностях кода для тех, кто хочет его понять или стать нашим контрибьютором

     04.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Как сообщить Google о других языках на вашем сайте Django

Django имеет очень мощный механизм для обслуживания сайтов на нескольких языках. Ему необходимо небольшое количество настроек, для добавления дополнительных языков на сайт Django.

     04.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Детальный разбор интервью для Junior Python Developer

Последние два месяца я full-time пишу учебник по языку программирования Python, пока рабочее название "Магия Python для начинающих". Скорее всего будет видео-курс и книга. За 20 лет работы накопилось много опыта и хочется сделать мир чуточку более простым для тех кто только делает свои первые шаги в программировании.

Помимо синтаксиса и описания языка часть содержания посвящена тому как вообще устроена работа программиста. А поскольку мне очень важно сделать содержание которое бы действительно отвечало потребностям людей, то я начал искать контакт и общаться с теми кто только начал карьеру. И оказалось, что наиболее частый вопрос звучит так: я уже что-то выучил, прошел курсы или разобрался с языком самостоятельно и хочу устроиться на работу чтобы получить первый опыт, но без опыта меня не берут.

     04.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи
     03.07.2019       Выпуск 289 (01.07.2019 - 07.07.2019)       Статьи

Действительно ли Python GIL уже мертв?

В далеком 2003 году Intel выпустил новый процессор Pentium 4 “HT”. Этот процессор разгонялся до 3ГГц и поддерживал технологию гиперпоточности.

Помимо выпуска многоядерных процессоров для широкой пользовательской аудитории в 2006 году произошло кое-что еще. Python 2.5 наконец увидел свет! Он поставлялся уже с бета версией ключевого слова with, которое вы все знаете и любите.