IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     19.09.2017       Выпуск 196 (18.09.2017 - 24.09.2017)       Статьи

Прототипирование в среде Python-Arduino

Привет, Хабр! Хочу на примерах рассказать о самом простом способе создания чего то сложного. Суть страшного слова «прототипирование» сводится к использованию аналогий или шаблонов в проекте Arduino. 

Не хочу пугать длинными словами начинающих пользователей Python-Arduino, по-этому идем сразу по примерам.

     18.09.2017       Выпуск 196 (18.09.2017 - 24.09.2017)       Статьи

Режем XML по разметке XQuery

Для работы с web-сервисами традиционно используется SoapUI от SmartBear Software. Отличный инструмент и к тому же бесплатный. Но… это инструмент разработчика, тестировщика, архитектора, но никак не ориентированный на работу конечного пользователя.

     18.09.2017       Выпуск 196 (18.09.2017 - 24.09.2017)       Статьи
     18.09.2017       Выпуск 196 (18.09.2017 - 24.09.2017)       Статьи

Kaggle: как наши сеточки считали морских львов на Алеутских островах

В связи со значительным уменьшением популяции сивучей на западных Алеутских островах (принадлежащих США) за последние 30 лет ученые из NOAA Fisheries Alaska Fisheries Science Center ведут постоянный учет количества особей с помощью аэрофотоснимков с дронов. До этого времени подсчет особей производился на фотоснимках вручную. Биологам требовалось до 4 месяцев, чтобы посчитать количество сивучей на тысячах фотографий, получаемых NOAA Fisheries каждый год. Задача этого соревнования — разработать алгоритм для автоматического подсчета сивучей на аэрофотоснимках.

     18.09.2017       Выпуск 196 (18.09.2017 - 24.09.2017)       Статьи
     18.09.2017       Выпуск 196 (18.09.2017 - 24.09.2017)       Статьи

«Используй Силу машинного обучения, Люк!» или автоматическая классификация светильников по КСС

«Сила машинного обучения среди нас, методы её окружают нас и связывают. Сила вокруг меня, везде, между мной, тобой, решающим деревом, лассо, гребнем и вектором опорным»

     15.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи

И снова о кешировании в Django

Для django уже есть множество библиотек для кеширования и они уже обсуждалось на хабре, но, к сожалению, проблемы с производительностью не решить добавлением строчки в INSTALLED_APPS. В библиотеках патчащих queryset кеш инвалидируется либо слишком часто, либо слишком редко и самое главное у программиста мало контроля за этим процессом. Можно написать инвалидацию вручную, но потребуется много кода, в котором легко допустить ошибку.

     15.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи

Методы разработки потока программного обеспечения датчиков движения, работающих с Arduino

Хочу предложить реализацию двух подходов разработки программного обеспечения датчика движения, работающего совместно с платой Arduino. Ни датчик движения [1], ни Arduino [2]. в дополнительной рекламе не нуждаются. 

Сравним существующие методы программирования с точки зрения простоты и удобства использования. Предлагаем начать статью со знакомства с характеристиками выбранного датчика движения.

     15.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи

Анализируем требования рынка для data scientist

В интернете много информации, что data sciencist должен знать и уметь. Но я решил, что становиться data sciencist надо сразу, поэтому мы выясним требования к специалистам при помощи анализа текста вакансий. 

     13.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи
     13.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи

Предсказание цен на рынке с помощью prophet

Предсказываем цены на фондовом рынке

     12.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи
     12.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи
     12.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи

Яндекс.Блиц. Почему и какие алгоритмические задачи нужно уметь решать, работая в поиске

Редко когда кандидат проходит только одно техническое собеседование — обычно их несколько. Среди причин, почему человеку они могут даваться непросто, можно назвать и ту, что каждый раз приходится общаться с новыми людьми, думать о том, как они восприняли твой ответ, пытаться интерпретировать их реакцию. Мы решили попробовать использовать формат контеста, чтобы сократить количество итераций для всех участников процесса.

     11.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи
     11.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи
     11.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи

Сегментация лица на селфи без нейросетей

Оказывается, не все компьютерное зрение сегодня делается с использованием нейронных сетей. Хотя многие стартапы и заявляют, что у них дип лернинг везде, спешу вас разочаровать, они просто хотят хайпануть немножечко. Рассмотрим, например, задачу сегментации. В нашем слаке развернулась целая драма. Одна богатая и высокотехнологичная селфи-компания собрала датасет для сегментации селфи с помощью нейросетей (а это непростое и недешевое занятие). А другая, более бедная и не очень развитая решила, что можно подкупить людей, размечающих фотки, и спполучить базу. В общем, страсти в этих ваших Интернетах еще те. Недавно я наткнулся на статью, где без всяких нейросетей на устройстве делают очень даже хорошую сегментацию. Для сегментации от пользователя требуется дать алгоритму несколько подсказок, но с помощью dlib и opencv такие подсказки легко автоматизируются. В качестве бонуса мы так же сгладим вырезанное лицо и перенесем на какого-нибудь рандомного человека, тем самым поймем, как работают маски во всех этих снапчятах и маскарадах. В общем, классика еще жива, и если вы хотите немного окунуться в классическое компьютерное зрение на питоне, то добро пожаловать под кат.

     11.09.2017       Выпуск 195 (11.09.2017 - 17.09.2017)       Статьи

Машинное обучение руками «не программиста»: классификация клиентских заявок в тех.поддержку

Одним из экспериментов стала разработка алгоритма классификации клиентских заявок по текстам для дальнейшей маршрутизации на группу исполнителей. В этой статье я хочу рассказать, как "не программист" может за 1,5 месяца в фоновом режиме освоить python и написать незамысловатый ML-алгоритм, имеющий прикладную пользу.