Python Дайджест. Выпуск 222

В данной статье хочу поделиться с вами историей о том, как одна и та же архитектура модели принесла сразу две победы в соревнованиях по машинному обучению на платформе topcoder с интервалом месяц.

В этой статье я хочу поделиться несколькими удобными способами организации вашего проекта на рабочем (даже продакшен) сервере.

Я работаю, в основном, с Python/Django стеком, поэтому все примеры будут, в первую очередь, применительно к этому набору. Также ключевые технологии: Ubuntu (17.10), Python3 (3.6).

О том как использовать Manager для поиска по нескольким моделям

Сохраняем большие объемы данных, а потом читаем.

Я хочу рассказать про метод оптимизации известный под названием Hessian-Free или Truncated Newton (Усеченный Метод Ньютона) и про его реализацию с помощью библиотеки глубокого обучения — TensorFlow. Он использует преимущества методов оптимизации второго порядка и при этом нет необходимости считать матрицу вторых производных. В данной статье описан сам алгоритм HF, а так же представлена его работа для обучения сети прямого распространения на MNIST и XOR датасетах.

Недавно стало известно, что Google (корпорация добра) занимается анализом видеоизображений с военных дронов. Этот проект называется Project Maven и был предложен в апреле 2017 года. Что интересно, сотрудничество с Google в этом проекте организовывал сам Эрик Шмидт, бывший председатель совета директоров Alphabet, и нынешний председатель Совета по оборонным инновациям DIB.

Красота, как известно, требует жертв, но и мир обещает спасти. Достаточно свежий (2015г) визуализатор от Google призван помочь разобраться с процессами, происходящими в сетях глубокого обучения. Звучит заманчиво.

Красочный интерфейс и громкие обещания затянули на разбор этого дизайнерского шайтана, с неинтуитивно отлаживающимися глюками. API непривычно скудный и часто обновляющийся, примеры в сети однотипны (глаза уже не могут смотреть на заезженный MNIST).

Сегодня только ленивый не говорит (пишет, думает) про машинное обучение, нейросети и искусственный интеллект в целом. Всего лишь в прошлом году ML сравнили с подростковым сексом — все хотят, но никто не занимается. Сегодня все озабочены тем, что ИИ нас оставит без работы. Хотя, судя по последним исследованиям Gartner, можно успокоиться, так как к 2020 году благодаря ИИ появится больше рабочих мест, чем ликвидируется. Так что, дорогой друг, учи ML, и будет тебе счастье.

PSON (Pandora Simple Object Notation) – бинарный формат упаковки, позволяющий переводить простые типы данных, массивы и списки в последовательность байт (простую строку). PSON придуман и разработан для использования в свободной распределённой информационной системе Pandora как более простая альтернатива бинарному формату BSON.

В начале февраля Павел Дуров анонсировал, что у Telegram появился так называемый Telegram Login Widget. Проще говоря, теперь любой желающий может встроить авторизацию на своем сайте через Telegram, наряду с уже удобными способами входа через привычные для всех Google, Twitter, Facebook и так далее.

В этой заметке я хочу рассказать и наглядно показать как это сделать, используя Django. Исходный код свободно доступен в моем репозитории на GitHub. Пользуйтесь на здоровье.

На волне всеобщего интереса к чат-ботам в частности и системам диалогового интеллекта вообще я какое-то время занимался связанными с этой темой проектами. Сегодня я хотел бы выложить в опенсорс одну из написанных библиотек. Оговорюсь, что в первую очередь я специализируюсь на алгоритмических аспектах разработки и поэтому буду рад конструктивной критике решений кодерского характера от более сведущих в этом вопросе специалистов.

Скрытые марковские модели (Hidden Markov Models) с давних времен используются в распознавании речи. Благодаря мел-кепстральным коэффициентам (MFCC), появилась возможность откинуть несущественные для распознавания компоненты сигнала, значительно снижая размерность признаков. В интернете много простых примеров использования HMM с MFCC для распознавания простых слов.

После знакомства с этими возможностями появилось желание опробовать этот алгоритм распознавания в музыке. Так родилась идея задачи классификации музыкальных композиций по исполнителям. О попытках, какой-то магии и результатах будет рассказано в этом посте.

Некоторое время назад решил разобраться, что такое стеганография, в чем её смысл и какая она бывает. И спустя несколько ссылок наткнулся на интересную статью про хэш-стеганографию. Возник вопрос — а почему бы не попробовать реализовать такой способ передачи на практике? Для начала — в виде proof of concept.

В своём прошлом посте про хеш-стеганографию я предложил иной подход в стеганографии — не вкраплять никакой информации в контейнер, а просто упорядочивать контейнеры в нужном порядке и тем самым передавать скрытую информацию. Два дня назад romabibi опубликовал proof of consept для хеш-стеганографии в соц.сети вКонтакте.

Доклад включает в себя общую информацию о том, что это такое ML и где оно применяется. Также включу описание нескольких алгортимов классического машинного обучения и их базовые принципы работы. Так же ознакомлю с существующими Python-фреймворками, которые позволяют строить модели ML.

Слайды: https://speakerdeck.com/gregarshinov/vviedieniie-v-mashinnoie-obuchieniie

Похоже, что с каждым годом микросервисная архитектура все больше набирает популярность. Но что это? Очередное модное веяние, которому более десятка лет, или действительно полезный подход? Что вообще такое микросервисы? Где и когда микросервисная архитектура применима? Подходит ли она для коробочных продуктов? Какие преимущества дает и какие проблемы при этом сулит?

Слайды: https://docs.google.com/presentation/d/1j4L_HzETkuL1Q7dmGW6Z7WVnPZmUrdcll724iGhY_m0/edit?usp=sharing

Искусственный интеллект проникает во все аспекты современной жизни, заменяя собой привычные интерфейсы взаимодействия с окружающим миром и даже друг с другом. До сих пор такое поведение могло быть описано только детерминированными алгоритмами, основанными на логических цепочках принятия решений. Однако, благодаря растущей популярности алгоритмов Глубокого Обучения, мы стоим на пороге новой эры — эры Software 2.0.

Слайды: https://docs.google.com/presentation/d/1wv6ZE-rkwDfLI7oOD8pKJu0o1S0N6zwjsfTQgZV7KcI/edit?usp=sharing

Событие: https://www.meetup.com/uapycon/events/247198692/

Дата: 24 февраля 2018

Никита Вострецов (ScrapingHub) - Webstruct — набор инструментов для извлечения именных сущностей из HTML

На этом докладе вы узнаете все про Webstruct. Зачем он нужен? Как использовать для решения своих задач? Что входит в набор? Как работает? И как будет развиваться дальше?

Слайды: https://speakerdeck.com/whalebothelmsman/webstruct-nabor-instrumientov-dlia-izvliechieniia-imiennykh-ghrupp

Набор пользовательских расширений для Django-проектов. Изменения описаны по ссылке https://allmychanges.com/p/python/django-extensions/#2.0.4. Скачать можно по ссылке: https://pypi.python.org/pypi/django-extensions/

http клиент/сервер для asyncio. Изменения описаны по ссылке https://allmychanges.com/p/python/aiohttp/#3.0.8. Скачать можно по ссылке: https://pypi.python.org/pypi/aiohttp