Какой язык программирования учить для работы с данными?

У начинающего специалиста по данным (data scientist) есть возможность выбрать один из множества языков программирования, который поможет ему быстрее освоить данную науку. 

Тем не менее, никто точно не скажет вам, какой язык программирования лучше всего подходит для этой цели. Ваш успех как специалиста в данной области будет зависить от множества факторов и сегодня мы постараемся их рассмотреть, а в конце статьи вы сможете проголосовать за тот язык программирования, который вы считаете наиболее подходящим для работы с данными.

Тестируем асинхронный код с помощью PyTest (перевод)

PyTest — отличный пакет для тестирования на Python, и с давних пор один из моих любимых пакетов в целом. Он значительно облегчает написание тестов и обладает широкими возможностями по составлению отчетов о непройденных тестах.

Тем не менее, на момент версии 2.7, он менее эффективен в тестировании (asyncio) подпрограмм. Поэтому не стоит пытаться их тестировать таким способом:

PyTorch — ваш новый фреймворк глубокого обучения

PyTorch — современная библиотека глубокого обучения, развивающаяся под крылом Facebook. Она не похожа на другие популярные библиотеки, такие как Caffe, Theano и TensorFlow. Она позволяет исследователям воплощать в жизнь свои самые смелые фантазии, а инженерам с лёгкостью эти фантазии имплементировать.

“Восстание МашинLearning” или совмещаем хобби по Data Science и анализу спектров лампочек

Итак, на протяжении уже нескольких лет я в свободное время копошусь в вопросах, связанных с освещением и больше всего мне интересны спектры разных источников света, как «пращуры» производных от них характеристик. Но не так давно у меня совершенно случайно появилось еще одно хобби — это машинное обучение и анализ данных, в этом вопросе я абсолютный новичок, и чтобы было веселей делюсь периодически с вами своим обретенным опытом и набитыми «шишками»

Лепим тулбар на PyQt, экспортируем данные в Excel и HTML

В предыдущей части я рассказывал о создании модуля для запуска SQL-запросов и оболочки, в которой эти модули запускаются. После недолгой работы с запросами возникает очевидный вопрос — а как воспользоваться результатом выборки, кроме как посмотреть на экране?

Для этого стоит сделать дополнительные инструменты экспорта и копирования данных. Экспортировать будем в файл в формате Excel, а копировать в системный буфер в формате HTML.

Оптимизация процесса поиска нарушителей земельного законодательства

Суть идеи заключается в том, что есть земельные участки на которых можно строить только частные жилые дома (Индивидуальное жилое строительство), и при этом запрещается использовать эти помещения для коммерческой деятельности. Хотя в России это никого не останавливало, и получается, что сотрудники должны ходить и проверять, что дом построен как жилой, а используется как ларек. В итоге ходить нужно долго и много плюс постоянно нужен доступ к информации для уточнения что же это за дом. Ну или же в офисе выбирать адреса для проверки и потом запрячь верблюдов, пополнить запасы воды и отправляться в удивительное путешествие.

Простые модели экономической динамики на Python

В моих публикациях [1,2] экономические задачи рассматривались в статике без учёта времени. В задачах оптимизации экономической динамики анализируются изменение экономических параметров и их взаимосвязей во времени. В моделях экономической динамики время может рассматриваться как дискретное изменяющееся скачком, например, за год. Для описания таких процессов используются разностные уравнения. При непрерывном изменении во времени для описания параметров модели используются дифференциальные уравнения.

Спектроскоп-калейдоскоп

Это заметка о том, что на основании алгоритма генерации спектров (о котором было рассказано в статье «Спектроскоп Салтана...») создан тестовый сервис, обратиться к которому может любой желающий.

Прозрачность безопасности для среды исполнения Python

Коротко о свежем PEP 551, которое проходит обсуждение в данный момент

Python, Django и корпоративные информационные системы

Видео со встречи сообщества PyNSK.
Докладчик: Анатолий Щербаков

О докладе:

Софт для автоматизации бизнеса составляет значительную часть всего существующего на планете программного обеспечения. Рассмотрим требования к нему и особенности его разработки. Оценим, насколько Python для этого подходит, и облегчают ли фреймворки жизнь в кровавом энтерпрайзе.

Слайды: https://www.slideshare.net/PyNSK/python-django-79202374

Настрой контент под пользователя! или условия отображения контента

Видео со встречи сообщества PyNSK.
Докладчик: Александр Сапронов

О докладе:

Как показать релевантный текст для пользователя? Собрать данные, написать разные тексты, а потом написать кучу IF'ов?

В докладе я расскажу, как мы, в Welltory, делаем настройку контента под пользователя. 
Поведаю о том, как content writer'ы могут писать 100 вариантов текстов на одно событие в системе. 
И конечно, расскажу с чего начать вам.

Слайды: https://www.slideshare.net/PyNSK/ss-79202372

Python инструменты для нагрузочного тестирования

Видео со встречи сообщества PyNSK.
Докладчик: Иван Гребенщиков

О докладе:

Нагрузочное тестирование - это инструмент поиска границ возможностей вашего софта. Корректно изучить поведение системы под нагрузкой - непростая задача.

В докладе я расскажу об использовании yandex.tank с BFG и locustio для нагрузочного тестирования.

Слайды: https://www.slideshare.net/PyNSK/python-79202375

Быстрый тест производительности Python для вычислительных задач

Совсем недавно вышла новая версия 0.34 библиотеки оптимизирующего JIT компилятора Numba для Python. И там ура! появилась долгожданная семантика аннотаций и набор методов для организации параллельных вычислений. За основу была взята технология Intel Parallel Accelerator.

В данной статье я хочу поделиться результатами первого тестирования скорости вычислений на основе этой библиотеки для некоторой современной машины с четырехядерным процессором.

Настраиваем Django + virtualenv + nginx + gunicorn + PostgreSQL + memcached + letsencrypt на Ubuntu 16.04

Артем Малышев - Как написать свой debugger

Слайды: http://proofit404.github.io/talks/homemade-debugger/slides/#/

Наверное, только очень талантливый программист не нуждается в средствах отладки. Поменять значение переменных, посмотреть шаг за шагом ход исполнения программы, разложить всё по полочкам будет тяжело без Pdb. О том, как эти инструменты устроены, какие внутренние механизмы Python VM задействуют и от каких ограничений платформы страдают, и будет мой доклад.

Никита Ладошкин - Электронный почтальон

Слайды: https://nikiladonya.github.io/email.html

В b2b сфере популярный способ коммуникации и взаимодействия — это электронная почта. Поэтому программистам довольно часто приходится с ней работать. Об этом я и попробую рассказать, охватив аспекты интеграции, встраивания в поток, парсинга писем с помощью вездесущего Python.

Submit the cool project: библиотека-костяк utbone для юнит-тестирования

Хочу предоставить твоему вниманию свой проект для юнит-тестирования. Точнее — инструмента, чтобы задуматься о тестах получше, вместо траты лишнего внимания на создание файлов, объявления импортов, классов и тест-кейсов.

В статье можно найти описание проекта, как его установить и пользоваться, и примеры.

Django + Elm. Аутентификация через JSON Web Token

Решение прямой и двойственной задачи линейного программирования средствами Python

Следует отметить, что методы решения задач линейного программирования относятся не к экономике, а к математике и вычислительной технике. При этом экономисту нужно обеспечить максимально комфортные условия диалога с соответствующим программным обеспечением. В свою очередь такие условия могут обеспечивать только динамично развивающиеся и интерактивные среды разработки, имеющие в своём арсенале набор необходимых для решения таких задач библиотек. Одной из каких сред разработки программного обеспечения безусловно является Python.

Точим себе инструмент на PyQt

Мне нужен был инструмент. Острый, практичный, универсальный. Отвечающий всем моим требованиям и расширяемый по моему желанию. 

Но простой и удобный. Тут надо отметить, что на основной работе я не разработчик, поэтому постоянной среды программирования на рабочем компе не имею и, когда это требуется, пишу на чем придется — bat, JScript, VBA в MSOffice (да, это Windows, корпоративные системы, тут нет bash и perl «из коробки»), макросы в разном ПО и т.д. Все это помогает решить текущую задачу, но уровень и возможности маленько не те, что хотелось бы иметь.

Короче, мне нужна интегрированная среда со встроенным языком программирования, в которой я мог разбирать и конвертировать файлы, лазить в базы данных, получать отчеты, вызывать веб-сервисы, плодить запросы в джире и т.д., и т.п.