IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог


Новый материал в ленте
  numpy - 2.1.2

Модуль для работы с многомерными массивами. Скачать можно по ссылке: https://pypi.python.org/pypi/numpy/


Python Дайджест. Выпуск 222

(19.03.2018 - 25.03.2018)

поделиться выпуском 
Дайджест python,

Статьи

  Военное ведомство США должно срочно переосмыслить стратегию в области машинного обучения

Недавно стало известно, что Google (корпорация добра) занимается анализом видеоизображений с военных дронов. Этот проект называется Project Maven и был предложен в апреле 2017 года. Что интересно, сотрудничество с Google в этом проекте организовывал сам Эрик Шмидт, бывший председатель совета директоров Alphabet, и нынешний председатель Совета по оборонным инновациям DIB.

  Python’ом по машинлернингу

Сегодня только ленивый не говорит (пишет, думает) про машинное обучение, нейросети и искусственный интеллект в целом. Всего лишь в прошлом году ML сравнили с подростковым сексом — все хотят, но никто не занимается. Сегодня все озабочены тем, что ИИ нас оставит без работы. Хотя, судя по последним исследованиям Gartner, можно успокоиться, так как к 2020 году благодаря ИИ появится больше рабочих мест, чем ликвидируется. Так что, дорогой друг, учи ML, и будет тебе счастье.

  Как использовать HDF5 файлы в Python

Сохраняем большие объемы данных, а потом читаем.

  Авторизация через Telegram в Django и Python Telegram Django

В начале февраля Павел Дуров анонсировал, что у Telegram появился так называемый Telegram Login Widget. Проще говоря, теперь любой желающий может встроить авторизацию на своем сайте через Telegram, наряду с уже удобными способами входа через привычные для всех Google, Twitter, Facebook и так далее.

В этой заметке я хочу рассказать и наглядно показать как это сделать, используя Django. Исходный код свободно доступен в моем репозитории на GitHub. Пользуйтесь на здоровье.

  Хеш-стеганография в dataset-ах. На этот раз быстрая

В своём прошлом посте про хеш-стеганографию я предложил иной подход в стеганографии — не вкраплять никакой информации в контейнер, а просто упорядочивать контейнеры в нужном порядке и тем самым передавать скрытую информацию. Два дня назад romabibi опубликовал proof of consept для хеш-стеганографии в соц.сети вКонтакте.

  Несколько советов по организации Python-приложения на сервере

В этой статье я хочу поделиться несколькими удобными способами организации вашего проекта на рабочем (даже продакшен) сервере.

 

 

Я работаю, в основном, с Python/Django стеком, поэтому все примеры будут, в первую очередь, применительно к этому набору. Также ключевые технологии: Ubuntu (17.10), Python3 (3.6).

  «Cделать красиво». Визуализация обучения с Tensorboard от Google

Красота, как известно, требует жертв, но и мир обещает спасти. Достаточно свежий (2015г) визуализатор от Google призван помочь разобраться с процессами, происходящими в сетях глубокого обучения. Звучит заманчиво.

Красочный интерфейс и громкие обещания затянули на разбор этого дизайнерского шайтана, с неинтуитивно отлаживающимися глюками. API непривычно скудный и часто обновляющийся, примеры в сети однотипны (глаза уже не могут смотреть на заезженный MNIST).

  Классификация музыкальных композиций по исполнителям с помощью Скрытых Марковских Моделей

Скрытые марковские модели (Hidden Markov Models) с давних времен используются в распознавании речи. Благодаря мел-кепстральным коэффициентам (MFCC), появилась возможность откинуть несущественные для распознавания компоненты сигнала, значительно снижая размерность признаков. В интернете много простых примеров использования HMM с MFCC для распознавания простых слов.

После знакомства с этими возможностями появилось желание опробовать этот алгоритм распознавания в музыке. Так родилась идея задачи классификации музыкальных композиций по исполнителям. О попытках, какой-то магии и результатах будет рассказано в этом посте.

  Хэш-стеганография с использованием vkapi

Некоторое время назад решил разобраться, что такое стеганография, в чем её смысл и какая она бывает. И спустя несколько ссылок наткнулся на интересную статью про хэш-стеганографию. Возник вопрос — а почему бы не попробовать реализовать такой способ передачи на практике? Для начала — в виде proof of concept.

  Бинарный формат PSON

PSON (Pandora Simple Object Notation) – бинарный формат упаковки, позволяющий переводить простые типы данных, массивы и списки в последовательность байт (простую строку). PSON придуман и разработан для использования в свободной распределённой информационной системе Pandora как более простая альтернатива бинарному формату BSON.

  Движок поиска по нескольким моделям в Django Django

О том как использовать Manager для поиска по нескольким моделям

  Hessian-Free оптимизация с помощью TensorFlow

Я хочу рассказать про метод оптимизации известный под названием Hessian-Free или Truncated Newton (Усеченный Метод Ньютона) и про его реализацию с помощью библиотеки глубокого обучения — TensorFlow. Он использует преимущества методов оптимизации второго порядка и при этом нет необходимости считать матрицу вторых производных. В данной статье описан сам алгоритм HF, а так же представлена его работа для обучения сети прямого распространения на MNIST и XOR датасетах.

  Автоматическая векторизация спутниковых снимков: одна модель — два первых места

В данной статье хочу поделиться с вами историей о том, как одна и та же архитектура модели принесла сразу две победы в соревнованиях по машинному обучению на платформе topcoder с интервалом месяц.

  Небольшая библиотека для применения ИИ в Telegram чат-ботах

На волне всеобщего интереса к чат-ботам в частности и системам диалогового интеллекта вообще я какое-то время занимался связанными с этой темой проектами. Сегодня я хотел бы выложить в опенсорс одну из написанных библиотек. Оговорюсь, что в первую очередь я специализируюсь на алгоритмических аспектах разработки и поэтому буду рад конструктивной критике решений кодерского характера от более сведущих в этом вопросе специалистов.

Видео

  Григорий Аршинов - Введение в машинное обучение

Доклад включает в себя общую информацию о том, что это такое ML и где оно применяется. Также включу описание нескольких алгортимов классического машинного обучения и их базовые принципы работы. Так же ознакомлю с существующими Python-фреймворками, которые позволяют строить модели ML.

Слайды: https://speakerdeck.com/gregarshinov/vviedieniie-v-mashinnoie-obuchieniie

 

  Kyiv.py #23

Событие: https://www.meetup.com/uapycon/events/247198692/

Дата: 24 февраля 2018

  Александр Мокров - По дороге к микросервисам

Похоже, что с каждым годом микросервисная архитектура все больше набирает популярность. Но что это? Очередное модное веяние, которому более десятка лет, или действительно полезный подход? Что вообще такое микросервисы? Где и когда микросервисная архитектура применима? Подходит ли она для коробочных продуктов? Какие преимущества дает и какие проблемы при этом сулит?

Слайды: https://docs.google.com/presentation/d/1j4L_HzETkuL1Q7dmGW6Z7WVnPZmUrdcll724iGhY_m0/edit?usp=sharing

  Александр Рассадин - Искусственный интеллект или Software 2.0

Искусственный интеллект проникает во все аспекты современной жизни, заменяя собой привычные интерфейсы взаимодействия с окружающим миром и даже друг с другом. До сих пор такое поведение могло быть описано только детерминированными алгоритмами, основанными на логических цепочках принятия решений. Однако, благодаря растущей популярности алгоритмов Глубокого Обучения, мы стоим на пороге новой эры — эры Software 2.0.

Слайды: https://docs.google.com/presentation/d/1wv6ZE-rkwDfLI7oOD8pKJu0o1S0N6zwjsfTQgZV7KcI/edit?usp=sharing

  Никита Вострецов - Webstruct — набор инструментов для извлечения именных сущностей из HTML

Никита Вострецов (ScrapingHub) - Webstruct — набор инструментов для извлечения именных сущностей из HTML

На этом докладе вы узнаете все про Webstruct. Зачем он нужен? Как использовать для решения своих задач? Что входит в набор? Как работает? И как будет развиваться дальше?

Слайды: https://speakerdeck.com/whalebothelmsman/webstruct-nabor-instrumientov-dlia-izvliechieniia-imiennykh-ghrupp

Релизы

  django-extensions - 2.0.4

Набор пользовательских расширений для Django-проектов. Изменения описаны по ссылке https://allmychanges.com/p/python/django-extensions/#2.0.4. Скачать можно по ссылке: https://pypi.python.org/pypi/django-extensions/

  aiohttp - 3.0.8

http клиент/сервер для asyncio. Изменения описаны по ссылке https://allmychanges.com/p/python/aiohttp/#3.0.8. Скачать можно по ссылке: https://pypi.python.org/pypi/aiohttp