IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     25.01.2021       Выпуск 371 (25.01.2021 - 31.01.2021)       Вопросы и обсуждения
     28.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Вопросы и обсуждения
     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи
     18.02.2020       Выпуск 322 (17.02.2020 - 23.02.2020)       Статьи
     09.12.2019       Выпуск 312 (09.12.2019 - 15.12.2019)       Релизы

pymongo - 3.10.0

Python интерфейс для MongoDB. Изменения описаны по ссылке https://allmychanges.com/p/python/pymongo/#3.10.0. Скачать можно по ссылке: http://pypi.python.org/pypi/pymongo/

     23.07.2019       Выпуск 292 (22.07.2019 - 28.07.2019)       Статьи

Деплоим ML проект, используя Flask как REST API, и делаем доступным через приложение на Flutter

Машинное обучение уже везде и, пожалуй, почти невозможно найти софт, не использующий его прямо или косвенно. Давайте создадим небольшое приложение, способное загружать изображения на сервер для последующего распознавания с помощью ML. А после сделаем их доступными через мобильное приложение с текстовым поиском по содержимому.

 

Мы будем использовать Flask для нашего REST API, Flutter для мобильного приложения и Keras для машинного обучения. В качестве базы данных для хранения информации о содержимом изображений используем MongoDB, а для получения информации возьмём уже натренированную модель ResNet50. При необходимости мы сможем заменить модель, используя методы save_model() и load_model(), доступные в Keras. Последний потребует около 100 Мб при первоначальной загрузке модели. Почитать о других доступных моделях можно в документации.

     21.02.2019       Выпуск 270 (18.02.2019 - 24.02.2019)       Статьи
     10.11.2018       Выпуск 255 (05.11.2018 - 11.11.2018)       Статьи

Совершеннолетняя журналистика: от России до Кремля

Анализ публикаций Lenta.ru за 18 лет (с сентября 1999 по декабрь 2017 гг.) средствами python, sklearn, scipy, XGBoost, pymorphy2, nltk, gensim, MongoDB, Keras и TensorFlow.

     23.07.2018       Выпуск 240 (23.07.2018 - 29.07.2018)       Релизы

pymongo - 3.7.1

Python интерфейс для MongoDB. Изменения описаны по ссылке https://allmychanges.com/p/python/pymongo/#3.7.1. Скачать можно по ссылке: http://pypi.python.org/pypi/pymongo/

     19.07.2018       Выпуск 239 (16.07.2018 - 22.07.2018)       Релизы
     13.07.2018       Выпуск 238 (09.07.2018 - 15.07.2018)       Вопросы и обсуждения
     11.07.2018       Выпуск 238 (09.07.2018 - 15.07.2018)       Релизы
     03.07.2018       Выпуск 237 (02.07.2018 - 08.07.2018)       Релизы

pymongo - 3.8.0

Python интерфейс для MongoDB. Изменения описаны по ссылке https://allmychanges.com/p/python/pymongo/#3.8.0. Скачать можно по ссылке: http://pypi.python.org/pypi/pymongo/

     27.06.2018       Выпуск 236 (25.06.2018 - 01.07.2018)       Релизы
     26.02.2018       Выпуск 219 (26.02.2018 - 04.03.2018)       Релизы

pymongo - 3.6.1

Python интерфейс для MongoDB. Изменения описаны по ссылке https://allmychanges.com/p/python/pymongo/#3.6.1. Скачать можно по ссылке: http://pypi.python.org/pypi/pymongo/

     21.11.2017       Выпуск 205 (20.11.2017 - 26.11.2017)       Релизы

pymongo - 3.6.0

Python интерфейс для MongoDB. Изменения описаны по ссылке https://allmychanges.com/p/python/pymongo/#3.6.0. Скачать можно по ссылке: http://pypi.python.org/pypi/pymongo/

     18.10.2017       Выпуск 200 (16.10.2017 - 22.10.2017)       Вакансии

Python разработчик в Ivideon (до 230к и выше руб)

Ivideon (http://ivideon.com/) - это популярный облачный сервис для домашнего и бизнес-видеонаблюдения.

Наша highload-платформа постоянно обрабатывает, хранит и стримит видео с десятков тысяч камер по всему миру. У нас собственные подсистемы кодирования видео, биллинг, распределённое хранилище архива и ещё десятки микросервисов для разных задач. Всё это работает на стеке Python/Tornado, C++/Asio, MongoDB, Redis, Hg (BitBucket).

В нашу backend-команду мы ищем сильного разработчика, который поможет нам развивать сервисы стриминга видео.

Нужно хорошо разбираться в:
1. Программировании в целом (алгоритмы/структуры данных);
2. Проектировании и технологиях разработки (архитектурные паттерны/тестирование/документирование);
3. Сетевом программировании и распределённых системах;
4. Серверных Linux;
5. Грамотном выражении своих идей.

У нас в облаке софт на смеси C++ и Python, поэтому нужен приличный уровень владения хотя бы чем-то одним, в идеале - обоими, но это дело наживное. Ещё существенный момент - нужен не просто кодер, а человек, который сможет под задачу сам придумать архитектуру решения + реализовать.

Что придется разрабатывать:
Компоненты облака, занимающиеся обработкой видео: геобалансировку, стриминг, облачное кодирование, архив, видеоаналитику и т.д.

Формальные требования:

- Знание современного Python (PEP-8, 2.7 vs 3.x);
- Опыт разработки под Linux и высокий общий уровень владения этой системой (bash, популярные утилиты);
- Опыт работы с сетью (TCP, HTTP + REST);
- Знание классических алгоритмов и структур данных;
- Опыт работы с системами контроля версий (мы используем Mercurial).
- Опыт разработки с использованием одного из распространенных веб-фреймворков (Tornado, Flask, Django);
- Опыт работы с SQL- и NoSQL-базами (идеально - MongoDB);
- Плюсом будет владение C++ и опыт коммерческой разработки на нём;
- Опыт работы с project management-системами и багтрекерами.
- Знание паттернов и принципов проектирования;
- Плюсом будет опыт работы с видео-кодеками, передачей видео по сети или VoIP.

Кратко про нас и что предлагаем:

- Самому проекту уже более 10 лет, работаем по всему миру (тот же сайт и личный кабинет у нас уже доступен на 8 языках), есть представители в США и Европе.
- Команда облачного направление - 6 человек (хотим найти ещё парочку), it отдел - 45 человек, всего в компании нас более 170.
- По количеству пользователей сейчас приближаемся к 2.5 млн.
У нас большое облако на сервис-ориентированной архитектуре, решающее спектр задач от биллинга пользователей до элементов internet of things. 
- Ключевые подсистемы: публичный API, стриминговая платформа, облачный архив, видеоаналитика, биллинг, бэкофисные сервисы. Также команда облака поддерживает свои CI и test automation-платформу. Используем Python+Tornado, C++, Linux, MongoDB.
- Гибкий график. Работа в офисе в Москве на ст. м. Варшавская. От метро до офиса курсирует бесплатный автобус (2 минуты в пути) или 10 минут пешком;
- Удобная кухня в офисе с чаем/кофе и запасами печенек, тортиков, сладостей, фруктов и прочего;
- Настольный теннис для любителей активного отдыха и массажное кресло для всех остальных, часто играем в настольные игры и начали формировать команду для соревнований по пейнтболу;
- Молодой амбициозный коллектив, демократичная, дружеская атмосфера и очень адекватное руководство;
- Способствуем развитию и профессиональному росту сотрудников, помогаем с покупкой необходимой профессиональной литературы;
- Оформляем по ТК РФ с первого дня. Всё белое. Зарплатная вилка, в которой идеально было бы найти специалиста - до 230 000 рублей, но готовы обсуждать и выше.

Контакты:


Почта - m.kuzmin@ivideon.com
Telegram - https://telegram.me/maxim_kuzmin
Skype - kuzmin.maks

     12.10.2017       Выпуск 199 (09.10.2017 - 15.10.2017)       Статьи

Обзор фреймворка Luigi для построения последовательностей выполнения задач

Luigi — фреймворк на языке Python для построения сложных последовательностей по выполнению зависимых задач. Довольно большая часть фреймворка направлена на преобразования данных из различных источников (MySql, Mongo, redis, hdfs) и с помощью различных инструментов (от запуска процесса до выполнения задач разных типов на кластере Hadoop). Разработан в компании Spotify и открыт в виде open source инструмента в 2012 году.

     28.08.2017       Выпуск 193 (28.08.2017 - 03.09.2017)       Релизы

pymongo - 2.9.5

Python интерфейс для MongoDB. Изменения описаны по ссылке https://allmychanges.com/p/python/pymongo/#2.9.5. Скачать можно по ссылке: http://pypi.python.org/pypi/pymongo/

     29.04.2017       Выпуск 175 (24.04.2017 - 30.04.2017)       Вопросы и обсуждения