IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Telegram

     14.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Как в Redash заметили и исправили проблему, вызвавшую деградацию производительности Python-кода

Недавно в Redash приступили к смене одной системы выполнения задач на другую. А именно — они начали переход с Celery на RQ. На первом этапе на новую платформу перевели лишь те задания, которые не выполняют запросы напрямую. Среди таких заданий — отправка электронных писем, выяснение того, какие запросы должны быть обновлены, запись пользовательских событий и другие вспомогательные задачи.

     14.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Импорт отчета по звонкам из CoMagic в BigQuery по расписанию с помощью Google Cloud Functions

При сложной структуре рекламных кампаний и большого количества звонков становятся необходимы дополнительные инструменты хранения, обработки и анализа информации о поступающих обращениях. Часто нужен быстрый доступ к данным за большой период времени. Иногда необходима сложная обработка данных, соотнесение звонков к определенному каналу или кампании.

Одним из вариантов ускорения работы, который также дает дополнительные преимущества является импорт звонков из CoMagic в Google BigQuery. О преимуществах BigQuery пишут много, так что перейдем непосредственно к созданию.

     13.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Жадные алгоритмы – часть 2. Разделяй и властвуй.

Продолжаем перевод бесплатной книги “Парадигмы алгоритмического проектирования (жадные алгоритмы, разделяй и властвуй и динамическое программирование)”

     13.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Подборка @pythonetc, октябрь 2019

Новая подборка советов про Python и программирование из авторского канала @pythonetc.

     13.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Как написать смарт-контракт на Python в сети Ontology. Часть 2: Storage API

Это вторая часть из серии обучающих статей о создании смарт-контрактов на Python в блокчейн сети Ontology. В предыдущей статье мы познакомились с Blockchain & Block API смарт-контракта Ontology.

Сегодня мы обсудим, как использовать второй модуль— Storage API. Storage API имеет пять связанных API, которые позволяют добавление, удаление и изменения в постоянном хранилище в смарт-контрактах на блокчейне.

     12.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Блиц-проверка алгоритмов машинного обучения: скорми свой набор данных библиотеке scikit-learn

Глобальная паутина изо дня в день пополняется статьями о самых популярных, наиболее употребляемых алгоритмах машинного обучения для решения различных задач. Причём основа этих статей, немного изменённая по форме в том или ином месте, кочует от одного исследователя данных к другому. При этом все эти работы объединяет один общепринятый, непреложный постулат: применение того или иного алгоритма машинного обучения зависит от размера и природы имеющихся в распоряжении данных и поставленной задачи.

     12.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Использование strict-модулей в крупномасштабных Python-проектах: опыт Instagram. Часть 1

Публикуем первую часть перевода очередного материала из серии, посвящённой тому, как в Instagram работают с Python. В первом материале этой серии речь шла об особенностях серверного кода Instagram, о том, что он представляет собой монолит, который часто меняется, и о том, как статические средства проверки типов помогают этим монолитом управлять. Второй материал посвящён типизации HTTP-API. Здесь речь пойдёт о подходах к решению некоторых проблем, с которыми столкнулись в Instagram, используя Python в своём проекте. Автор материала надеется на то, что опыт Instagram пригодится тем, кто может столкнуться с похожими проблемами.

     12.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Учебные материалы

Книга «Знакомство с PyTorch: глубокое обучение при обработке естественного языка»

Обработка текстов на естественном языке (Natural Language Processing, NLP) — крайне важная задача в области искусственного интеллекта. Успешная реализация делает возможными такие продукты, как Alexa от Amazon и Google Translate. Эта книга поможет вам изучить PyTorch — библиотеку глубокого обучения для языка Python — один из ведущих инструментов для дата-сайентистов и разработчиков ПО, занимающихся NLP. Делип Рао и Брайан Макмахан введут вас в курс дел с NLP и алгоритмами глубокого обучения. И покажут, как PyTorch позволяет реализовать приложения, использующие анализ текста.

     12.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Если у Вас нет Питона, но есть Керас-модель и Джава

В построении ML-моделей Python сегодня занимает лидирующее положение и пользуется широкой популярностью сообщества Data Science специалистов

Также, как и большинство разработчиков, Python привлекает нас своей простотой и лаконичным синтаксисом. Мы используем его для решения задач машинного обучения при помощи искусственных нейронных сетей. Однако, на практике, язык продуктовой разработки не всегда Python и это требует от нас решения дополнительных интеграционных задач.

В этой статье расскажу о тех решениях, к которым мы пришли, когда нам потребовалось связать Keras-модель языка Python с Java.

     12.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Жадные алгоритмы – часть 1. Алгоритм Дейкстры.

Эта отрывок из бесплатной книги “Парадигмы алгоритмического проектирования (жадные алгоритмы, разделяй и властвуй и динамическое программирование)”

     11.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи
     11.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Визуальное представление выборов в Санкт-Петербурге

В сентябре этого (2019) года прошли выборы Губернатора Санкт-Петербурга. Все данные о голосовании находятся в открытом доступе на сайте избирательной комиссии, мы не будем ничего ломать, а просто визуализируем информацию с этого сайта www.st-petersburg.vybory.izbirkom.ru в нужном для нас виде, проведем совсем несложный анализ и определим некоторые «волшебные» закономерности.

     08.11.2019       Выпуск 307 (04.11.2019 - 10.11.2019)       Статьи

Объекты без циклических ссылок и циклической сборки мусора

Каждый экземпляр класса в CPython, созданный при помощи синтаксической конструкции class, участвует в механизме циклической сборки мусора. Это увеличивает след в памяти каждого экземпляра и может создавать проблемы с памятью в высоконагруженных системах.

Нельзя ли обойтись в случае необходимости одним базовым механизмом подсчета ссылок?

     08.11.2019       Выпуск 307 (04.11.2019 - 10.11.2019)       Статьи
     08.11.2019       Выпуск 307 (04.11.2019 - 10.11.2019)       Статьи

Создаём сайт на Django, используя хорошие практики. Часть 1: создаём django-проект

Я начинаю серию статей, посвященных разработке сайтов на Django. Информация для этих статей получена из собственного опыта (полтора года коммерческой разработки на Django, несколько мелких фриланс-проектов, часть проекта pythonworld.ru написана на Django).

     08.11.2019       Выпуск 307 (04.11.2019 - 10.11.2019)       Статьи

Как написать смарт-контракт на Python в сети Ontology. Часть 1: Blockchain & Block API

Это первая часть из серии обучающих статей о создании смарт-контрактов на Python в блокчейн сети Ontology при помощи инструмента разработки смарт-контрактов SmartX.

В этой статье мы начнём знакомство с API смарт-контракта Ontology. API смарт-контракта Ontology разделен на 7 модулей

     07.11.2019       Выпуск 307 (04.11.2019 - 10.11.2019)       Статьи

Типы для HTTP-API, написанных на Python: опыт Instagram

Сегодня мы публикуем второй материал из цикла, посвящённого использованию Python в Instagram. В прошлый раз речь шла проверке типов серверного кода Instagram. Сервер представляет собой монолит, написанный на Python. Он состоит из нескольких миллионов строк кода и имеет несколько тысяч конечных точек Django.

     07.11.2019       Выпуск 307 (04.11.2019 - 10.11.2019)       Статьи

LEGO MINDSTORMS Education EV3 + MicroPython: программируем детский конструктор взрослым языком

Мы уже рассказывали о платформе LEGO MINDSTORMS Education EV3. Основные задачи этой платформы — обучение на практических примерах, развитие навыков STEAM и формирование инженерного мышления. В ней можно проводить лабораторные работы по изучению механики и динамики. Лабораторные стенды из кубиков LEGO и утилиты по регистрации и обработке данных делают опыты еще интереснее и нагляднее и помогают детям лучше понять физику. Например, школьники могут собрать данные о температуре плавления и с помощью приложения систематизировать их и представить в виде графика. Но это только начало: сегодня мы расскажем, как дополнить этот набор средой программирования MicroPython и использовать его для обучения робототехнике.

     06.11.2019       Выпуск 307 (04.11.2019 - 10.11.2019)       Статьи

Поиск похожих инцидентов и заявок. Метрики и оптимизация

В предыдущей статье я рассказал про нашу систему поиска похожих заявок. После ее запуска мы стали получать первые отзывы. Какие-то рекомендации аналитикам нравились и были полезны, какие-то — нет.

 

Для того, чтобы двигаться дальше и находить более качественные модели, необходимо было сначала оценить работу текущей модели. Также необходимо было выбрать критерии, по которым две модели можно было бы сравнить между собой.

     06.11.2019       Выпуск 307 (04.11.2019 - 10.11.2019)       Статьи

Статический анализ больших объёмов Python-кода: опыт Instagram. Часть 2

Сегодня публикуем вторую часть перевода материала, посвящённого статическому анализу больших объёмов серверного Python-кода в Instagram.