Собрали в одном месте самые важные ссылки
консультируем про IT, Python
A Directed Acyclic Graph (DAG) is a common data structure used to contain a series of related items that must have certain order or dependency. Topological sorting is used to help find where you might start processing to get in order handling of the items in a DAG.
(11.12.2017 - 17.12.2017)
Сегодня мы расскажем о том, как нашей команде из Smart Engines удалось победить на международном конкурсе по бинаризации документов DIBCO17, проводимом в рамках конференции ICDAR. Данный конкурс проводится регулярно и уже имеет солидную историю (он проводится 9 лет), за время которой было предложено множество невероятно интересных и безумных (в хорошем смысле) алгоритмов бинаризации. Несмотря на то, что в своих проектах по распознаванию документов при помощи мобильных устройств мы по возможности не используем подобные алгоритмы, команде показалось, что нам есть что предложить мировому сообществу, и в этом году мы впервые приняли решение участвовать в конкурсе.
Airflow — это opensource-библиотека для разработки ETL/ELT-процессов. Отдельные задачи объединяются в периодически выполняемые цепочки задач — даги (DAG — Directed Acyclic Graph).
Как правило, 80 % проекта на Airflow — это стандартные DAG’и. В моей статье речь пойдёт об оставшихся 20 %, которые требуют сложных ветвлений, коммуникации между задачами — словом, о DAG’ах, нуждающихся в нетривиальных алгоритмах.
Уже несколько лет Docker был на слуху у меня, но никак не доводилось с ним поработать. А тут как раз менеджменту захотелось поменять свой стек. Начали говорить такие слова как Docker, контейнеры и облака. Чем не повод изучить что-то новое? Я работаю DevOps инженером на радио. Мой список технологий очень прост: Octopus Deploy + TeamCity + и тележка самописных приложений. Работает безотказно.
Порой у каждого из нас возникает вопрос, который не даёт нам покоя. И как правило ответ на такой вопрос можно получить лишь проанализировав опыт большого количества людей. У меня возник такой вопрос: «Какие факторы влияют на IQ и является ли он хоть чуточку преимуществом?». Конечно, читатель может воскликнуть, что всем давно уже все известно и можно прочитать статьи на эту тему. В какой-то степени вы окажитесь правы, но увы, статьи на тему IQ оказались крайне противоречивыми и навязали мне еще большее количество вопросов. Поэтому я и решил провести своё скромное исследование на эту тему.
После долгого перерыва, блудная питоновка снова в деле! 14 ноября состаялась очередная встреча минского сообщества Python-разработичков Python Meetup. В этот раз доклады представили:
— Как я нечаянно стал главным по питону в Порту / Роман Иманкулов, Doist
— The test which will save your day / Иван Стяжкин, DataRobot
— Django и Aiohttp / Юлия Темушева, Wargaming
— Блицдоклад: распространенные ошибки программирования на Python / Юрий Красовский
Взламываем самый популярный Wordpress CAPTCHA Plug-in.
Парсинг и отображение на карте точек
В одной из систем, к которым я имею отношение, doc-файлы складываются в базу данных.
Мне стало интересно, можно ли пристроить в свою программку, работающую с базой, просмотр этих файлов.
"Почему возникла потребность в масштабировании Scrum? Чем нам помог фреймворк LeSS? С какими проблемами мы столкнулись и как их преодолели?"
Слайды: http://www.moscowpython.ru/meetup/50/scrum-scale/
"Python имеет всеми нами любимый пакетный менеджер pip, но прогресс не стоит на месте и сообщество сделало новый удобный иструмент pipenv. Давайте посмотрим на него и ответим пора ли на него переходить?"
Слайды: http://www.moscowpython.ru/meetup/50/pip-what/
"На MoscowPython 33 я уже рассказывал в общих чертах про состояние property-тестирования в Python и коротко про Hypothesis. Предлагаю продолжить, но уже по существу. В этом докладе я на примерах покажу, как эффективно применять Hypothesis, находить неочевидные баги и повышать качество ваших тестов".
Слайды: http://www.moscowpython.ru/meetup/50/practical-hypothesis/
Небольшой проект для a/b тестирования, вводится два пути к html файлам, и если тестирование запущено, каждому пользователю будет показан один из файлов. Если больше пользователей заполняли форму или совершали нужное действие на одной из двух вариантов страниц, будет показан какой коэффициент успеха имеет страница, и будет ясно какая из низ будет лучше восприниматься пользователями.
Best Shift-Left Testing Tools to Improve Your QA
statsmodels: Statistical Modeling and Econometrics in Python
markitdown: Convert Files and Office Documents to Markdown
Царство грибов. Симуляция мицелия на p5py. Битвы гифов. Часть первая
SVG-виджеты для tcl/tk. Финальный аккорд. Часть IV
Implementing Approximate Nearest Neighbor Search with KD-Trees
Пишем свой PyTorch на NumPy. Часть 1
django-liveconfigs - управление настройками в django
Мэтчинг персонажей. Level Hard
Стратификация: как не облажаться с A/B тестами
Матрица ошибок confusion_matrix() в scikit-learn