Визуализация данных для киноманов: скрапим рекомендации фильмов и делаем интерактивный граф

Однажды я наткнулся на интерактивную карту lastfm и решил обязательно сделать подобный проект для фильмов. Под катом история о том, как собрать данные, построить граф и создать своё интерактивное демо на примере данных с кинопоиска и imdb. Мы рассмотрим фреймворк для скрапинга Scrapy, пробежимся по методам визуализации больших графов и разберёмся с инструментами для интерактивного отображения больших графов в браузер

Как предсказать победителя премии Оскар по данным социальных сетей или как я провел выходной

Было снежное воскресенье, притом еще и Прощенное, и с утра было принято решение сбросить с себя одеяло и начать подготовку своего отъетого за время масленицы тела к летнему пляжному сезону. Питер не очень благосклонен в данный сезон к занятиям спортом на улице, абонемент в спортзал закончился, так что после 5 км лыжного кросса энергия требовала выхода на свободу. Конечно же, просто залипнуть в Интернет не получилось, и вспомнилась идея предсказания победителя премии «Оскар» в 2018 году, результаты которой будут известны совсем скоро 4-го марта. Данная идея была сформирована в общении с одним интересным человеком, так что спасибо ему за идею.

Open-source СУБД глазами обычного программиста. Евгений Климов

В докладе будет попытка рассказать про хождение по граблям в различных СУБД, с которыми докладчик работал на протяжении своей карьеры. Попробуем ответить на вопросы:
* Какие особенности работы СУБД должен знать программист, чтобы лучше ориентироваться в ситуации „ой, у нас все сломалось“?
* Как вообще выбрать базу данных для нового проекта?
* Как лучше комбинировать разные СУБД?
* Стоит ли переносить бизнес-логику в СУБД?
* ORM vs Plain SQL vs NoSQL для простых смертных

Кроссдоменная безопасность в браузере. Иван Громов

Все видели кнопки оплаты платежных систем в Интернете. Рассмотрим как они устроены. Челлендж в том, чтобы не отправлять пользователя на сайт оплаты с номером заказа, а сделать всё на сайте магазина. Для этого мы вооружимся кросс-доменными запросами и iframe-ами. Также рассмотрим, что нужно учесть на стороне сервера, чтобы это заработало.

Apache Airflow: как не растерять свою бигдату. Дмитрий Никонов

Дмитрий рассказал о замечательном инструменте Apache Airflow, рассмотрел его основные плюшки и показал, как организовать зоопарк разнородных процессов, обрабатывающих разнородные данные, в единый конвейер и при этом не умереть в продакшене.

Практика использования setuptools. Дмитрий Федосеев

В своём докладе Дмитрий рассказал как использовать пакет setuptools для подготовки ПО к распространению, использованию утилит easy_install и pip, привел удачные примеры оформления ПО в виде пакетов.

Введение в нейронные сети с использованием Python. Ян Анисимов

В докладе рассматриваются основные концепции и модели нейронных сетей. Показаны практические примеры их применения. Описываются основные фреймворки, которые используются в глубинном обучении. Даются их основные преимущества и недостатки. Даны примеры кода простых нейронных сетей, решающих прикладные задачи.

Как сделать ваш код в 80 раз быстрее

PyPy способен ускорить код в 2 раза, что радует очень многих людей. Хочу поделиться короткой, личной историей, доказывающей, что PyPy способен на большее.

ДИСКЛЕЙМЕР: это не чудодейственное средство на все случаи жизни, да, сработало конкретно в этом случае, но может оказаться не таким эффективным во многих других. Однако метод все равно интересный. Более того, шаги, описанные здесь, я применял во время разработки в том же порядке, что делает статью жизненным примером оптимизации PyPy.

Мега-Учебник Flask, Часть XI: Чуть-чуть косметики (издание 2018)

Это одиннадцатая часть Мега-Учебника Flask, в которой я расскажу вам, как заменить базовые шаблоны HTML новым набором, основанным на структуре пользовательского интерфейса Bootstrap.

Автоэнкодер в задачах кластеризации политических событий

Уже несколько лет подряд алгоритмы машинного обучения находят применение в различных областях. Одной из таких областей может стать и аналитика различных событий в политической сфере, например: прогнозирование результатов голосования, разработка механизмов кластеризации принятых решений, анализ деятельности политических акторов. В этой статье я постараюсь поделиться результатом одного из исследований в этой области.

Из спутниковых снимков в графы (cоревнование SpaceNet Road Detector) — попадание топ-10 и код (перевод)

Это Вегас с предоставленной разметкой, тестовым датасетом и вероятно белые квадраты — это отложенная валидация (приват). Выглядит прикольно. Правда эта панорама лучшая из всех четырех городов, так вышло из-за данных, но об этом чуть ниже.

Datalore: открываем бета-версию приложения для анализа данных на Python

В рядах инструментов JetBrains пополнение. Мы запускаем открытую бета-версию Datalore — умной веб-среды для анализа и визуализации данных на языке Python.

Машинное обучение уверенно захватывает мир: алгоритмы интеллектуального анализа данных стоят за современными коммерческими разработками и исследованиями. Мы разработали приложение, с которым решать задачи машинного обучения легко и приятно: все необходимые инструменты data science доступны из коробки, а умный редактор кода на Python облегчает процесс анализа данных.

Разработка игры под Android на Python на базе Kivy. От А до Я: подводные камни и неочевидные решения. Часть 1 Kivy

Некоторое время тому назад я решил попробовать написать что-то на Python под Android. Такой странный для многих выбор обусловлен тем, что я люблю Python и люблю Android, а ещё люблю делать необычное (ну хорошо, не самое обычное). В качестве фреймворка был выбран Kivy — фактически, безальтернативный вариант, но он мне очень понравился. Однако, по нему не так уж много информации (нет, документация отличная, но иногда её недостаточно), особенно на русском языке, а некоторые вещи хоть и можно реализовать, но их то ли никто раньше не делал, то ли не счёл нужным поделиться информацией. Ну а я счёл :) И этот пост тому результатом.

Спецкурс «Научный Python»

Kivy — маленький фрукт с большим будущим Kivy

Ceгoдняшняя небольшая cтaтья, впpoчeм, кaк вceгдa, кoнeчнo жe, o зaмeчaтeльнoм и пpocтoм, кaк тpи кoпeйки, фpeймвopкe для кpoccплaтфopмeннoй paзpaбoтки Kivy.

B дaннoм мaтepиaлe бyдyт paзвeяны мифы o тoм, чтo Kivy нe гoдитcя для paзpaбoтки cлoжныx пpилoжeний, бyдyт oпpoвepгнyты пpeдвзятыe мнения, кoтopыe пpeдcтaвляют paзpaбoтчикaм и зaкaзчикaм Kivy, кaк мaлo пoдxoдящий и кpивoй инcтpyмeнт для cepьeзнoй paбoты и coвceм нeгoдным для production.

Ceгoдняшняя cтaтья бoльнo yдapит пo кocтылям других фреймворков, зacтaвит их пoшaтнyтьcя, ocoзнaть, чтo oни yжe oтнюдь нe eдинcтвeнные и пoдвинyтьcя нaзaд в peйтингe кpoccплaтфopмeннoй paзpaбoтки, cпpaвeдливo ycтyпaя мecтo Kivy, как более быстрому в плане разработки, не менее надежному и более выгодному инструменту!

Мега-Учебник Flask, Часть X: Поддержка электронной почты (издание 2018) Flask

Это десятая часть серии Mask-Tutorial Flask, в которой я расскажу вам, как приложение может отправлять электронные письма вашим пользователям и как создать функцию восстановления пароля при поддержке адреса электронной почты.

Serverless приложение с реализацией CI/CD на базе AWS и Bitbucket Pipelines

В статье рассказывается о развертывании Django приложения в облаке AWS с помощью Bitbucket Pipelines. Тем, кому интересна эта тема, добро пожаловать под кат.

Соревнование Pri-matrix Factorization на DrivenData с 1ТБ данных — как мы заняли 3 место (перевод)

Представляю вашему вниманию перевод статьи "Animal detection in the jungle — 1TB+ of data, 90%+ accuracy and 3rd place in the competition".

Или чему мы научились, как выигрывать призы в таких соревнованиях, полезные советы + некоторые мелочи

Профессиональный курс “Разработчик Python” в OTUS.

Изучай Python на настоящих задачах!
Освой за 5 месяцев основные инструменты и практики разработчика, и получи приглашение на собеседование в топовую IT компанию. (Avito компенсирует обучение в случае трудоустройства)
Получай опыт напрямую от разработчиков Mail_ru Group и Sunlight и становись специалистом.

pdbe — помощник встроенного Python-дебаггера и процесса отладки

Инструмент для встроенного в Пайтон дебаггера pbd — pdbe. С ним можно дебажить старые проекты, когда не знаешь с чего начать их изучение (например, какие-то фреймворки типа Джанго) или же отдельные части вашего приложения.
А также работать с вашей отладкой в стиле Git (сохранять в коммиты состояние вашей отладки).