IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Telegram

     17.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Нейросеть для определения хейтеров — «не, ну это бан»

Часто ли вы видите токсичные комментарии в соцсетях? Наверное, это зависит от контента, за которым наблюдаешь. Предлагаю немного поэкспериментировать на эту тему и научить нейросеть определять хейтерские комментарии.

Итак, наша глобальная цель — определить является ли комментарий агрессивным, то есть имеем дело с бинарной классификацией. Мы напишем простую нейросеть, обучим ее на датасете комментариев из разных соцсетей, а потом сделаем простой анализ с визуализацией.

Для работы я буду использовать Google Colab. Этот сервис позволяет запускать Jupyter Notebook'и, имея доступ к GPU (NVidia Tesla K80) бесплатно, что ускорит обучение. Мне понадобится backend TensorFlow, дефолтная версия в Colab 1.15.0, поэтому просто обновим до 2.0.0.

     17.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Интересные проекты, инструменты, библиотеки

ytmdl - скрипт для скачивания музыки с youtube

С извлечением информации о песне из iTunes

     18.11.2019       Выпуск 309 (18.11.2019 - 24.11.2019)       Релизы

django-grappelli - 2.13.2

Альтернативный базирующийся на сетке дизайн админ панели Django. Изменения описаны по ссылке https://allmychanges.com/p/python/django-grappelli/#2.13.2. Скачать можно по ссылке: https://pypi.python.org/pypi/django-grappelli/

     17.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Видео

10 серверных языков: сравнение

Я расскажу про разные языки на бэкенде и о том, что, вообще, там происходит в их уютных облаках. Я расскажу про несколько популярных языков для создания формочек, несколько языков из вторых рядов для перекладывания json, ну и покажу несколько языков из глубокого underground: crystal, pony, v. Будет весело, холиварно, субъективно!

     15.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Вопросы и обсуждения
     15.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Видео

Как писать и тестировать миграции БД с Alembic

Python приложения могут работать с самыми различными БД (Postgres, SQLite, MariaDB и др.) и перед разработчиками приложений возникает задача реализовать возможность легко и безопасно изменять состояние БД: как структуры так и самих данных, от версии к версии приложения.
В докладе я поделюсь опытом использования хорошо зарекомендовавшего себя инструмента для управления миграциями - alembic.

Расскажу, почему стоит остановить свой выбор именно на нем, как с его помощью подготовить миграции, как их запускать (автоматически или вручную), зачем тестировать, какие проблемы могут выявить тесты и как эти тесты реализовать.

Мы рассмотрим проблемы необратимых изменений в миграциях, а также несколько лайфхаков alembic, которые сделают работу с миграциями легкой и приятной

     15.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Видео

Zappa, Chalice и друзья: запускаем код без серверов с помощью AWS Lambda

Технологии Serverless несколько лет, и с каждым годом её популярность растет. Для высоконагруженных систем это простой способ бесконечного масштабирования, а для простых сайд-проектов - это отличная возможность бесплатного хостинга. Принцип в том, что вы деплоите не вебсервер, а функции, и платите только за время выполнения этих функций (обычно это миллисекунды).

В докладе мы рассмотрим, как устроены эти функции, какие есть инструменты для их создания - и зачем это обычному питонисту. Также мы увидим, как деплоить уже готовые приложения на Django и Flask в serverless-режиме

     15.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Использование strict-модулей в крупномасштабных Python-проектах: опыт Instagram. Часть 2

Представляем вашему вниманию вторую часть перевода материала, посвящённого особенностям работы с модулями в Python-проектах Instagram. В первой части перевода был дан обзор ситуации и показаны две проблемы. Одна из них касается медленного запуска сервера, вторая — побочных эффектов небезопасных команд импорта. Сегодня этот разговор продолжится. Мы рассмотрим ещё одну неприятность и поговорим о подходах к решению всех затронутых проблем.

     14.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи
     14.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Видео

Moscow Python Podcast. Big data, Data science, Machine Learning. (level: junior)

Big data, Data science, Machine Learning — все эти названия на слуху уже не первый год. Но до сих пор не всегда понятно, кто есть кто в этом мире хайповых названий. Что должен уметь Data Scientist и чем он отличается от Data Analyst? Зачем нужен Data Engineer и нужен ли он вообще? А чем занимается ML Engineer? Как разработчику попасть в мир Big data, нужны ли небольшим компаниям Spark и Hadoop, должен ли Data Scientist знать математику и можно ли за 7 недель стать Data Engineer

     14.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Как в Redash заметили и исправили проблему, вызвавшую деградацию производительности Python-кода

Недавно в Redash приступили к смене одной системы выполнения задач на другую. А именно — они начали переход с Celery на RQ. На первом этапе на новую платформу перевели лишь те задания, которые не выполняют запросы напрямую. Среди таких заданий — отправка электронных писем, выяснение того, какие запросы должны быть обновлены, запись пользовательских событий и другие вспомогательные задачи.

     14.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Импорт отчета по звонкам из CoMagic в BigQuery по расписанию с помощью Google Cloud Functions

При сложной структуре рекламных кампаний и большого количества звонков становятся необходимы дополнительные инструменты хранения, обработки и анализа информации о поступающих обращениях. Часто нужен быстрый доступ к данным за большой период времени. Иногда необходима сложная обработка данных, соотнесение звонков к определенному каналу или кампании.

Одним из вариантов ускорения работы, который также дает дополнительные преимущества является импорт звонков из CoMagic в Google BigQuery. О преимуществах BigQuery пишут много, так что перейдем непосредственно к созданию.

     13.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Жадные алгоритмы – часть 2. Разделяй и властвуй.

Продолжаем перевод бесплатной книги “Парадигмы алгоритмического проектирования (жадные алгоритмы, разделяй и властвуй и динамическое программирование)”

     13.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Подборка @pythonetc, октябрь 2019

Новая подборка советов про Python и программирование из авторского канала @pythonetc.

     13.11.2019       Выпуск 308 (11.11.2019 - 17.11.2019)       Статьи

Как написать смарт-контракт на Python в сети Ontology. Часть 2: Storage API

Это вторая часть из серии обучающих статей о создании смарт-контрактов на Python в блокчейн сети Ontology. В предыдущей статье мы познакомились с Blockchain & Block API смарт-контракта Ontology.

Сегодня мы обсудим, как использовать второй модуль— Storage API. Storage API имеет пять связанных API, которые позволяют добавление, удаление и изменения в постоянном хранилище в смарт-контрактах на блокчейне.