Python Дайджест. Выпуск 220

Это четырнадцатая часть Мега-Учебника Flask,k, в которой я собираюсь добавить функцию перевода текста в реальном времени, используя службу перевода Microsoft и немного JavaScript.

Цель этой статьи — предоставить легкое введение в анализ данных с использованием Anaconda. Мы пройдем через написание простого скрипта Python для извлечения, анализа и визуализации данных по различным криптовалютам.

В этой статье я хочу показать процесс создания бота от написания BotFather-у до деплоинга бота на Heroku.

Статья получилась длинной, советую пробежаться глазами по содержанию и пролистать к интересующему вас пункту.

Коэффициент Джини (Gini coefficient) — метрика качества, которая часто используется при оценке предсказательных моделей в задачах бинарной классификации в условиях сильной несбалансированности классов целевой переменной. Именно она широко применяется в задачах банковского кредитования, страхования и целевом маркетинге. Для полного понимания этой метрики нам для начала необходимо окунуться в экономику и разобраться, для чего она используется там.

Часто, для обеспечения большой дальности полета, к самолету снаружи подвешивают дополнительные баки. Подвесные баки бывают сбрасываемые и не сбрасываемые.

Сбрасываемые подвесные баки после расходования из них топлива сбрасываются так же, как и авиационные бомбы с замков бомбодержателей, на которые они подвешиваются.

Питание из подвесных баков осуществляется включением трубопроводов от этих баков в общую систему питания двигателя топливом через запорный или многоходовой кран.

Интересным фактом является то, что во вьетнамских джунглях после войны стали находить много сброшенных американскими самолётами топливных баков.

Без social-auth-core

Используется urlib

Никто не любит при регистрации на сайте вводить каждый раз одно и то же: имя пользователя, электронную почту и т.д. Либо постоянно создавать и запоминать новые пароли. По этой причине, вход через сторонние приложения вроде Google, Facebook или VK очень популярен.

Такие сторонние приложения используют протокол OAuth2. В статье я не буду объяснять, что это за протокол и как его реализовать. Вместо этого реализуем вход на сайт через Google использую уже готовые библиотеки. Бэкэнд напишем на Django и Django Rest Framework, а фронтэнд на Vue.js

Существует несколько парсеров, подходящих для русского языка. Некоторые из них могут даже выполнять синтаксический анализ, как SyntaxNet, MaltParser и AOT:

… или выявлять факты, как Tomita.

Глядя на эти парсеры, я вижу какую-то огромную сложность вычислений, требования к памяти, лицензионные ограничения и… ограниченность каждого решения, увы.

Чтобы понять, что же там такого сложного, мне захотелось сделать собственный парсер. Благо выходные оказались длинными.

Как выглядит трек обучения программированию на Python с нуля? С чего стоит начать? На чем сделать акцент? Как не потерять интерес?

Полгода я искал ответы на эти вопросы, тщательно исследуя предметную область. Я обнаружил много полезных советов. Особенно в заметке Василия Большакова и на Хекслете. Но мне не хватало структуры. Знания нарастали со всех сторон и превращались в кучу. Чтобы структурировать процесс обучения и оценить его масштаб, я собрал план.

Прошло уже достаточно времени с момента публикации моей первой статьи на тему обработки естественного языка. Я продолжал активно исследовать данную тему, каждый день открывая для себя что-то новое.

Сегодня я бы хотел поговорить об одном из способов классификации поисковых запросов, по отдельным категориям с помощью нейронной сети на Keras. Предметной областью запросов была выбрана сфера автомобилей.

За основу был взят датасет размером ~32000 поисковых запросов, размеченных по 14ти классам: Автоистория, Автострахование, ВУ (водительское удостоверение), Жалобы, Запись в ГИБДД, Запись в МАДИ, Запись на медкомиссию, Нарушения и штрафы, Обращения в МАДИ и АМПП, ПТС, Регистрация, Статус регистрации, Такси, Эвакуация.

Аудио-подкаст

Самое крупное нововведение в Python за последние годы — это, конечно, асинхронный фреймворк asyncio. Основной вопрос, который задают себе все разработчики в связи с его выходом, — а насколько он готов к использованию? В этом докладе я хочу поделиться своим опытом работы с asyncio и его экосистемой в Python.

Немного о себе. Занимаюсь асинхронным переводом с менеджерского на питоний последние четыре года. Сеньор, тролль, веб-девелопер. Люблю микролиты и моносервисы, держу дома кита Докера, кролика Эмку и работника зоопарка из племени апачей

Доклад про XSS с лайвкодингом, Flask, тестами на pytest и selenium.

Собрание видеозаписей докладов про Python за 2018 год.

Платформа Jupyter отлично справляется со снижением порога входа в Питон для начинающих программистов, data scientist’ов, студентов. И вот ваша команда растёт, в ней теперь не только программисты, но и менеджеры, аналитики, исследователи. Внезапно отсутствие совместного рабочего окружения и сложность настройки начинают тормозить работу. JupyterHub решает именно эту задачу: это многопользовательский сервер, предоставляющий возможность запускать Jupyter «одной кнопкой». Сервер отлично подходит для преподавания Питона, для аналитиков и data scientist’ов, потому что пользователю нужен лишь браузер: никаких проблем с установкой ПО на ноутбук, совместимостью, пакетами. Мейнтейнеры Jupyter очень активно развивают JupyterHub наряду с JupyterLab и nteract.

Я сначала немного напомню слушателям про крутость Jupyter, затем расскажу про архитектуру и принципы работы JupyterHub, про наш опыт его применения в Яндексе. В конце продемонстрирую, как поднять Хаб на любом компьютере, и отвечу на вопросы

"Как известно, на Python можно написать практически что угодно: веб- и настольные приложения, игры, скрипты автоматизации, комплексные системы расчёта, хранимые процедуры СУБД, IoT, ML и многое другое. И чем бы кто ни занимался, рано или поздно возникнет потребность сделать дружелюбный фронт. А значит, реальный опыт создания мобильного приложения на Python будет интересен многим. Тем более что там есть подводные камни — если о них знать, можно сэкономить много времени. Моя история будет интересна не только разработчикам, но и продуктологам. Из собственного опыта берусь утверждать, что новые продуктовые идеи уже не продаются в виде презентаций и кликабельных прототипов, а продаются в виде работающего сервиса. Быстро и эффективно это получается делать на Python".

Обзор на книгу

Нейронная сеть оптимизируемая с помощью генетического алгоритма. Задача агента контролируемого при помощи нейронной сети состоит в том, чтобы избегать контакта с противниками, как можно более длительное время.

Упрощенная версия shell для живых демонстраций