Собрали в одном месте самые важные ссылкичитайте нас в Twitter
Building data pipelines are a consolidated task, there are a vast number of tools that automate and help developers to create data pipelines with few clicks on the cloud. It might solve non-complex or well-defined standard problems. This presentation is a demystification of years of experience and painful mistakes using Python as a core to create reliable data pipelines and manage insanely amount of valuable data. Let's cover how each piece fits into this puzzle: data acquisition, ingestion, transformation, storage, workflow management and serving. Also, we'll walk through best practices and possible issues. We'll cover PySpark vs Dask and Pandas, Airflow, and Apache Arrow as a new approach.
В гостях у Moscow Python Podcast Tech Lead компании Яндекс Сергей Захарченко. Поговорили о том, как быть и что делать, если нужно перейти со второй на третью версию Python и почему это может быть нужно.
Буду рассказывать о ложной дихотомии ORM и запросов в голом SQL. Расскажу, как Django с одной стороны и aiohttp+asyncpg с другой позволяли нам катиться как угорелые
Будут затронуты следующие темы: основная идея трейсинга микросервисов в контексте APM (application performance management), основные понятия в трейсинге на примере OpenTracing и Jaeger; краткий обзор существующих инструментов, библиотек для трейсинга. Как обеспечить 80% трейсинга и почти не писать код; особенности подготовки к трейсингу кода многопоточных и асинхронных (Tornado и Asyncio) приложений; советы по тестированию кода с трейсингом; краткий обзор будущего трейсинга — OpenTelemetry
В гостях у Moscow Python Podcast разработчик в Яндекс.Диск и куратор курсов Learn Python Ася Воронцова. Поговорили о необходимости знаний алгоритмов разработчиком, когда они требуются и от том, почему в крупных компаниях на собеседовании могут спрашивать знание алгоритмов.
Поговорили о плюсах и минусах микросервисной и монолитной архитектуры, а также обсудили технологии и навыки, необходимые разработчику, помимо знания Python.
Объекты в CPython занимают в памяти больше места, чем могли бы. Можно ли это исправить, в каких случаях и как
Стейдж-окружение требует данных, которые обладают характеристикам данных продакшена. В идеале это семплированная и санитаризированная копия БД приложения с лайва — без ПД пользователей и критичной бизнес-информации. Скрипты санитаризации дампов очень быстро превращаются в плоходокументируемое императивное спагетти, которое никто не любит поддерживать. Я расскажу подход, который основан на декларативном описании трансформаций данных прямо в классе моделей, dumpdata на стероидах, а также то как же этот дамп накатить на стейдж-окружение
Cофтверное платформенное решение для автоматизации операционных задач в ИТ и публикации автоматизированных задач в корпоративных каналах коммуникации (Slack, почта, Telegram, и др.). Опыт использования в операторе мобильной связи
* Краткий обзор тайп-чекинга в питоне, mypy, pep484. * Как я писал библиотеку django-stubs. * С какими проблемами столкнулся в процессе. * Что еще планируется сделать. * DEP (Django Enhancement Proposal) по поводу добавления типов в core.
Никита покажет множество функций Github Actions, поделится собственными впечатлениями и болями от первых месяцев использования, покажет, как сделать собственные инструменты. Это выступление будет интересно тем, кто любит автоматизацию и порядок: тимлиды, сеньоры, опсы и люди, принимающие решения. Какую основную мысль вынесут люди после? Процесс автоматизации в корне изменился. Он стал доступным и простым. Существуют способы, как улучшить процесс свой работы за несколько дней.
Из цикла «Как бы мне?… в Питоне» https://pypi.org/project/systemd-logging/
Из цикла «Как бы мне?… в Питоне» https://pypi.org/project/uwsgiconf/
Из цикла «Как бы мне?… в Питоне» https://pypi.python.org/pypi/pytest-datafixtures
В гостях у Moscow Python Podcast Илья Лебедев, технический директор компании BestDoctor и евангелист Moscow Python. Обсудили как безболезненно перейти на удаленную работу и о инструментах организации процессов.
Из цикла «Как бы мне?… в Питоне»
В гостях у Moscow Python Podcast разработчик Х5 Retail Group Алексей Штырняев. Обсудили нововведения в Python 3.9
В гостях у Moscow Python Podcast Андрей Ермилов и Максим Белоусов, разработчики компании Rambler. Поговорили о извилистом пути Python, и не только, разработчиков
В гостях у Moscow Python Podcast Андрей Гаврилов, Big Data Python developer в EPAM. Поговорили о сложностях связанных с распределенными вычислениями в Big Data и Data science