Новый материал в ленте

markitdown: Convert Files and Office Documents to Markdown

Python Дайджест. Выпуск 304

(14.10.2019 - 20.10.2019)

поделиться выпуском

Новости

Python 3.8.0

Статьи

Как читать SAS (.sas7dbat) файлы в Pandas

Анализируем музыкальные привычки с Spotify API

Водопад сложности - пишем поддерживаемый код

Новинки аннотаций типов в Python 3.8 (Protocol, Final, TypedDict, Literal)

Сегодня ночью вышел Python 3.8 и аннотации типов получили новые возможности:

Протоколы
Типизированные словари
Final-спецификатор
Соответствие фиксированному значению

Если вы ещё не знакомы с аннотациями типов, рекомендую обратить внимание на мои предыдущие статьи (начало, продолжение)
И пока все переживают о моржах, я хочу кратко рассказать о новинках в модуле typing

Python для web разработки: 16 плюсов/минусов

Python sleep(): добавляем задержку исполнения в коде

C/C++ из Python (boost)

Заключительная статья из серии как вызывать C/C++ из Python3, перебрал все известные способы как можно это сделать. На этот раз добрался до boost. Что из этого вышло читаем ниже.

Первое знакомство с Home Assistant

Home Assistant – популярное приложение с открытым исходным кодом для организации умного дома. Первый опыт автора в работе с Home Assistant основывается на попытке интеграции в него ‘умной рисоварки‘. Автор постарается описать основные компоненты и возможности данного приложения, с которыми ему привелось пошагово познакомиться. Статья является в чем-то обзором, в чем-то руководством для желающих начать свое знакомство с Home Assistant.

Тем, у кого мало свободного времени, советую пропустить присказку – первую главу – и перейти сразу ко второй. Вам нужно знать только, что работать мы будем с умной китайской рисоваркой от Xiaomi.

Система контроля библиотеки на Flask-Potion, Часть 0: готовим всё, что понадобится

В своей работе я уже некоторое время использую Flask-Potion — фреймворк, основными достоинствами которого являются: весьма удобная интеграция с SQLAlchemy моделями, автогенерация crud-эндпоинтов, наличие клиента potion-client (весьма удобного, если пишешь API сервиса, использование которого понадобится в другом сервисе).

Вместо простой обзорной статьи на этот фреймворк я решил написать несколько статей о создании системы контроля для библиотеки "Furfur" на основе Flask-Potion.

Python в Visual Studio Code – октябрьское обновление

Мы рады сообщить о доступности октябрьского обновления расширения Python для Visual Studio Code. Вы можете загрузить расширение Python из Marketplace или установить его прямо из галереи расширений в Visual Studio Code. Если у вас уже установлено расширение Python, вы также можете получить последнее обновление, перезапустив код Visual Studio. Подробнее о поддержке Python в Visual Studio Code вы можете узнать из документации.

В этом релизе мы рассмотрели 97 проблем, в том числе нативное редактирование Jupyter Notebooks, кнопку для запуска файла Python в терминале, а также улучшения «линтинга» (linting) и импорта с помощью Python Language Server. Полный список улучшений приведен в нашем журнале изменений.

WolframClientForPython | Новая клиентская библиотека Wolfram Language для Python

Раскрашиваем ч/б фото с помощью Python

Одной из интересных и популярных (особенно перед разными юбилеями) задач является «раскрашивание» старых черно-белых фотографий и даже фильмов. Тема это достаточно интересная, как с математической, так и с исторической точки зрения. Мы рассмотрим реализацию этого процесса на Python, который любой желающий сможет запустить на своем домашнем ПК.

PEG парсеры

Несколько лет назад меня кто-то спросил имеет ли смысл превести Python на PEG-парсер (или на грамматику PEG; я не помню точно кто и когда это было). Тогда я немного посмотрел на него, но так и не пришёл к какому-либо выводу, а потому и отбросил эту тему. Недавно я узнал больше о PEG (Parsing Expression Grammars, грамматике по парсингу выражений), и теперь я думаю, что это интересная альтернатива самописному генератору парсеров, который был разработан 30 лет назад, когда только начинал работать над Python. Я назвал его «pgen», и это был, наверно, первым фрагментом кода, который я написал для Python.

5 способов запустить Python-сервер на Raspberry Pi. Часть 1

Сегодня в большом числе проектов домашней (и не только) автоматизации используется Raspberry Pi. При этом достаточно удобно иметь не только прямой доступ к устройству, но и использовать браузер — это позволяет выполнять необходимые действия и с компьютера, и с мобильного телефона, и даже удаленно из любой точки мира.

Допустим, у нас уже есть супер Python-программа, делающая что-то очень важное, от мигания светодиодом до управления «умным домом» или хотя бы кормушкой для кота. Я покажу разные способы, от простого к сложному, как сделать web-доступ к такому приложению, добавив немного кода.

Нативное редактирование Jupyter Notebooks в VS Code

С осктябрьским релелизом расширения Python, мы рады объявить о поддержке нативного редактирования Jupyter Notebooks в Visual Studio Code! Теперь вы можете напрямую редактировать файлы .ipynb и получать интерактивность Jupyter Notebooks с полной мощью VS Code.

Вы можете управлять исходным кодом, открывать несколько файлов и использовать такие функции, как IntelliSense, интеграцию с Git и управление несколькими файлами. Все они предлагают совершенно новые способы для дата-сайнтистов и разработчиков эффективно экспериментировать и работать с данными. Вы можете попробовать все это уже сегодня, загрузив последнюю версию расширения Python и создав/открыв Jupyter Notebook внутри VS Code.

Реализация PEG парсера

Вдохновленный лишь частичным пониманием PEG, я решил попробовать его реализовать. Результат может получиться и не самым лучшим среди парсеров PEG общего назначения — их уже много (например, TatSu написан на Python и генерирует код Python) — но это хороший способ разобраться в PEG. В дальнейшем я хочу заменить им текущую реализацию парсера в CPython.

Реализация паттерна Page Object на Python + pytest

Когда я начинал изучать автоматизацию тестирования, не мог понять — “что такое Page Object и как его реализовать на Python + pytest?”. Штудируя интернет, нашел реализацию на других языках и фреймворках: обучающие статьи, которые были непонятны для меня. Поэтому решил написать этот разбор. Идея — показать реализацию на Python + pytest и объяснить ее доступным языком.

Сводка новостей от pythonz.net 13.10.2019 — 20.10.2019

Serverless Slack Bot: Интеграция с Google Cloud Functions.Часть 1

Sberbank AI Journey. Как мы учили нейросеть сдавать экзамен

Если вы закончили школу уже во времена ЕГЭ, то вам известно, что все задания в нём имеют набор стандартных формулировок и упорядочены по типам. С одной стороны, это облегчает подготовку к экзамену: школьник уже знает, что нужно делать в задании, даже не читая его условия. С другой, любое изменение порядка вопросов может вызвать у него проблемы. Грубо говоря, на результат начинает больше влиять то, насколько человек довёл решения до автоматизма, а не то, как он рассуждает. Экзамен становится похож на работу скрипта.

Генерация текста на русском по шаблонам

Когда я только начинал работать над своей текстовой игрой, решил, что одной из её главных фич должны стать красивые художественные описания действий героев. Отчасти хотел «сэкономить», поскольку в графику не умел. Экономии не получилось, зато получилась Python библиотека (github, pypi) для генерации текстов с учётом зависимости слов и их грамматических особенностей.

Управление автоматизированными тестами с помощью Telegram

Работая QA инженером, я разрабатывал систему автотестестирования. Столкнулся с рядом проблем:

На каждый вид тестирования приходилось создавать свои job в CI и запускать их руками.
Разработчики отказывались запускать кейсы автотестов самостоятельно.
Отсутствие возможности запуска автотестов из любой точки \ устройства.
QA инженеры ручного тестирования не могли самостоятельно проводить запуск автотестов.

Поэтому я решил создать небольшой прототип бота для запуска автоматизированных тестов, который бы закрывал большую часть вышеописанных проблем.

Вопросы и обсуждения

StackOverflow: интересные вопросы за неделю (cxcix)

Python Bytes: #152 You have 35 million lines of Python 2, now what?

Audio

Test and Code: 92: 9 Steps to Crater Quality & Destroy Customer Satisfaction - Cristian Medina

Audio

Talk Python to Me: #234 Awesome Python Applications

Audio

Podcast.__init__: Andrew's Adventures In Coderland

Audio

Test and Code: 91: Python 3.8 - what's new

Audio

Учебные материалы

Книга «Классические задачи Computer Science на языке Python»

Многие задачи в области Computer Science, которые на первый взгляд кажутся новыми или уникальными, на самом деле уходят корнями в классические алгоритмы, методы кодирования и принципы разработки. И устоявшиеся техники по-прежнему остаются лучшим способом решения таких задач!

Книга даст вам возможность глубже освоить язык Python, проверить себя на испытанных временем задачах, упражнениях и алгоритмах. Вам предстоит решать десятки заданий по программированию: от самых простых (например, найти элементы списка с помощью двоичной сортировки), до сложных (выполнить кластеризацию данных методом k-средних). Прорабатывая примеры, посвященные поиску, кластеризации, графам и пр., вы вспомните то, о чем успели позабыть, и овладеете классическими приемами решения повседневных задач.

Лучшие курсы программирования на Python для детей: обзор

Не в каждой школе дети изучают программирование вообще, и такой простой и популярный язык, как Python, в частности. Поэтому у многих детей (и их родителей) возникает желание изучать программирование путём занятий на онлайн-курсах.

Бесплатные онлайн-курсы предполагают некоторые начальные знания, которые есть далеко не у всех детей.

Также у них отсутствует обратная связь с автором курса, и приходится рассчитывать на помощь таких же обучающихся. Эти проблемы решают платные курсы программирования для школьников.

Я принял участие и проанализировал пробные уроки нескольких курсов Python для школьников, и опишу здесь свои впечатления.