IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     18.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Статьи

Яндекс открывает технологию машинного обучения CatBoost

Яндекс выложил в open source собственную библиотеку CatBoost, разработанную с учетом многолетнего опыта компании в области машинного обучения. С ее помощью можно эффективно обучать модели на разнородных данных, в том числе таких, которые трудно представить в виде чисел (например, виды облаков или категории товаров). Исходный код, документация, бенчмарки и необходимые инструменты уже опубликованы на GitHub под лицензией Apache 2.0.

     18.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Статьи

QML: как легко получать футболки в конкурсах mail.ru по машинному обучению

В субботу завершился месячный конкурс по машинному обучению от mail.ru ML bootcamp 5. я занял в нем 14ое место. Это уже третий мой конкурс, в котором я выиграл одежду и за время участия у меня сформировался фреймворк (который я, недолго думая, назвал QML, сокращение от ника и machine learning) для помощи в подборе решения в подобных соревнованиях. На примере решения ML bootcamp 5 я опишу как им пользоваться.

     17.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Статьи

Разработка скриптов-обёрток с помощью инструмента Sparrow

В данном посте я хочу рассказать как с помощью инструмента Sparrow лёгко и просто писать собственные обёртки к существующим скриптам и утилитам, а так же зачем вам это может понадобиться.

     17.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Статьи

Электронная демократия или как собрать и обработать данные по голосованию (и явке) за реновацию в Москве

Стоило голосованию за вход или выход из программы реновации завершиться — и с сайта мэра Москвы почему-то пропали данные о явке по каждому конкретному дому, остались только голоса за и против в целом. В новостях, конечно, пишут некие цифры, но ведь хочется посмотреть их самому, поиграться со статистикой, построить графики, не правда ли? 

     17.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Статьи

Создание своего первого Flask приложения

В статье подробно разобран процесс создания первого приложения на Flask и Python

     17.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Учебные материалы

Книга «Автостопом по Python»

Мы издали книгу, составленную на основе одноименного онлайнового руководства и содержащую наработки многочисленных профессионалов и энтузиастов, знающих, что такое Python и чего вы от него хотите.

     17.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Статьи

Машинное обучение и поиск темной материи: соревнование от ЦЕРНа и Яндекса

Сегодня в рамках школы начинается открытое соревнование, участники которого будут ни много ни мало искать нейтрино. Принять участие в поисках мы приглашаем всех желающих. Им предстоит обрабатывать данные с международного эксперимента OPERA. Для этого будут предоставлены исходные данные — результаты сканирования слоев фотопленок одного «кирпича» эксперимента OPERA. Соревнование состоит из двух этапов. На первом этапе участники будут искать отдельный ливень в «кирпиче», первая вершина которого известна, на втором — несколько ливней, рассредоточенных по объему «кирпича» без дополнительной информации. Победители смогут рассказать о своих решениях ученым, работающим в ЦЕРНе.

     17.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Статьи

Чудесный мир Word Embeddings: какие они бывают и зачем нужны?

Начать стоит от печки, то есть с постановки задачи. Откуда берется сама задача word embedding?
Лирическое отступление: К сожалению, русскоязычное сообщество еще не выработало единого термина для этого понятия, поэтому мы будем использовать англоязычный.
Сам по себе embedding — это сопоставление произвольной сущности (например, узла в графе или кусочка картинки) некоторому вектору.

     17.07.2017       Выпуск 187 (17.07.2017 - 23.07.2017)       Статьи

Использование нейронных сетей для распознавания рукописных цифр Часть 1

Человеческая визуальная система — одна из самых удивительных на свете. В каждом полушарии нашего мозга есть зрительная кора, содержащая 140 млн. нейронов с десятками млрд. связей между ними, но такая кора не одна, их несколько, и вместе они образуют настоящий суперкомпьютер в нашей голове, лучшим образом адаптированный в ходе эволюции под восприятие визуальной составляющей нашего мира. Но трудность распознавания визуальных образов становится очевидной, если вы попытаетесь написать программу для распознавания, скажем, рукописных цифр.

     15.07.2017       Выпуск 186 (10.07.2017 - 16.07.2017)       Статьи

Метод BFGS или один из самых эффективных методов оптимизации. Пример реализации на Python


Метод BFGS, итерационный метод численной оптимизации, назван в честь его исследователей: Broyden, Fletcher, Goldfarb, Shanno. Относится к классу так называемых квазиньютоновских методов. В отличие от ньютоновских методов в квазиньютоновских не вычисляется напрямую гессиан функции, т.е. нет необходимости находить частные производные второго порядка. Вместо этого гессиан вычисляется приближенно, исходя из сделанных до этого шагов.

     14.07.2017       Выпуск 186 (10.07.2017 - 16.07.2017)       Статьи

Вышел Upsource 2017.2 с поддержкой внешних инспекций кода, Python, NPM и многим другим

У нас отличные новости — вышел Upsource 2017.2! В этом релизе мы добавили ряд наиболее часто запрашиваемых возможностей, и, как обычно, улучшили уже имеющуюся функциональность.
Давайте посмотрим, что попало в этот релиз.

     14.07.2017       Выпуск 186 (10.07.2017 - 16.07.2017)       Статьи

Делаем сервис по распознаванию изображений с помощью TensorFlow Serving

 

Всегда наступает то самое время, когда обученную модель нужно выпускать в production. Для этого часто приходится писать велосипеды в виде оберток библиотек машинного обучения. Но если Ваша модель реализована на Tensorflow, то у меня для Вас хорошая новость — велосипед писать не придется, т.к. можно использовать Tensorflow Serving.

     13.07.2017       Выпуск 186 (10.07.2017 - 16.07.2017)       Статьи

IceCash 2.0 Web АРМ Кассира и АИС по обмену данными с кассами под Linux на Python

Да, Линуксовая касса под GPL. В этих словах, собственно и заключается точное описание этой поделки. Это абсолютно свободный код, части которого можно легко отделить и использовать в своих разработках. Вторая версия была ответом на все нововведения в рознице. Сейчас, можно сказать, что всем этим новым требованиям касса отвечает и продолжает существовать в альтернативном пространстве самописного кодинга. 

     13.07.2017       Выпуск 186 (10.07.2017 - 16.07.2017)       Статьи

Как мы ловим Deadlock`и на PostgreSQL и чиним их

Ситуация: есть высоконагруженная мета-игра для наших танков под названием Глобальная карта. Эдакая пошаговая настолка для команд, где бои происходят в реальном танковом клиенте. В пиковые часы на карте несколько тысяч руководителей кланов производят игровые действия: атакуют друг друга, перемещают дивизии, покупают, продают, грабят корованы. Помимо этого, существует десяток сервисов, которые также могут вносить изменения в игровую ситуацию: подкидывают деньжат, штрафуют, добавляют игроков в клан и прочее.
Всё это неизбежно приводит к дедлокам. Так вот, хочу вам поведать историю о том, как мы эти периодические проблемы держим в допустимых рамках.

     12.07.2017       Выпуск 186 (10.07.2017 - 16.07.2017)       Статьи

Интервью с программистом из Тинькофф Банка Андреем Степановым о языке Python и ML

Серию интервью с докладчиками PyCon Russia продолжает разговор с разработчиком-аналитиком из Тинькофф Банка Андреем Степановым. Мы поговорили с Андреем о месте Python в инфраструктуре банка, о машинном обучении и о технологии распознавания речи. 

     11.07.2017       Выпуск 186 (10.07.2017 - 16.07.2017)       Статьи

Линейное программирование в python силами библиотеки scipy

В своей первой публикации мне хочется рассказать о том, как можно быстро и просто решить задачу линейного программирования с помощью замечательной библиотеки scipy. Для подобных задач в python есть так же pulp, но для новичков в scipy более понятный синтаксис.

Зачем может понадобиться линейное программирование на практике? Как правило, с его помощью решают задачу минимизации функции f(x) (или обратную задачу максимизации для — f(x) ).

     10.07.2017       Выпуск 186 (10.07.2017 - 16.07.2017)       Статьи

Интервью с разработчиком из Venmo Ниной Захаренко о языке Python и не только

Под катом — короткое интервью c Ниной Захаренко (Портленд, США), старшим инженером-программистом в Venmo, ранее — в Reddit и HBO. Нина рассказала, как начала писать на Python, какие проблемы есть у Python-сообщества и почему она ждет своё выступление на PyCon Russia.

     09.07.2017       Выпуск 185 (03.07.2017 - 09.07.2017)       Статьи

Программный сбор данных о котировках

Эффективные действия на бирже связаны с тщательным анализом происходящего на рынке. Что кроется за динамикой цифр, котировок? 

Отсутствие такого анализа, либо сумбурное принятие решений по сделке может привести к потерям. Мне не раз приходилось наблюдать за тем, как люди принимали решения — правильные… или не правильные — в дилинговом зале брокерской конторы. 

     09.07.2017       Выпуск 185 (03.07.2017 - 09.07.2017)       Статьи

Автоматизация IP-сети. Часть2 – Мониторинг скорости открытия Веб страниц

Продолжаем серию статей по доступной автоматизации в IP-сети. У каждого из инженеров, работающих с сетью Интернет, так или иначе периодически возникает потребность измерения скорости загрузки Веб странницы. Для этого существует множество инструментов, один из них это утилита wget. Например, для измерения скорости загрузки можно из консоли (Unix/Linux) воспользоваться такой командой: