Собрали в одном месте самые важные ссылкии сделали Тренажер IT-инцидентов для DevOps/SRE
Как мы тестируем дата-пайплайны в рекламе Яндекса В рекламных технологиях Яндекса мы создаём конвейеры обработки данных для аналитики, подготовки датасетов и обучения ML-моделей. Сбои в работе этих конвейеров могут приводить к серьёзным финансовым потерям, поэтому мы вкладываем много сил в обеспечение их надёжности. Одной из целей разработки нашей платформы управления данными Logos было решение этой задачи. В докладе я поделюсь нашим опытом многоуровневого тестирования дата-пайплайнов. Вы узнаете о различных подходах к тестированию данных, их преимуществах и недостатках. Я расскажу, как мы формируем тестовые выборки данных, как верифицируем результаты тестовых расчётов, а также как устроена приёмка дата-пайплайнов в рамках релизного процесса.
Делаем из питона го. Зачем? Давайте признаем, что синхронный код писать проще: он прост, как доска. Но иногда хочется добавить какую-то многозадачность в свой код, особенно если у вас I/O-bound приложение. Асинхронность в питоне решает эту проблему, но при этом создаёт дополнительные сложности, например, классическую проблему сине-зелёных функций. А если ещё и изначально проект был на синхронном питоне, то не переписывать же его с нуля? А может, будем писать почти как в go с горутинами? Ровно так мы и делаем на нашем проекте. Расскажем, как мы к этому пришли и кому за это мы продали душу.
Зачем Яндексу своя бинарная сборка python В Яндексе используется своя система сборки, которая появилась более 10 лет назад. Она умеет собирать Python в замкнутые бинарные программы под все популярные платформы. В докладе рассмотрим разные способы дистрибуции Python сервисов и инструментов, выясним, что же такое бинарная сборка, какие она накладывает ограничения и даёт возможности.
Почему в CPython tuple на самом деле мутабельный?
Бывает так, что приходишь на проект, а тестов нет. Или тесты плохо работают, или пока ждёшь их завершения — успеваешь выпить чаю и написать ещё одну фичу, которую опять надо тестировать. Каюсь, таким разработчиком был и я. Как-то раз я написал тесты так, что перестал хотеть их запускать через месяц. Я считаю, так быть не должно. Поэтому расскажу, каким требованиям должны отвечать тесты, какие для этого есть инструменты и как повысить тестируемость вашего кода.
Мини-воркшоп о том, как решать задачу создания мультиагентных систем в комплексе. Мы пройдем по всему пути создания мультиагентного решения на примере бота техподдержки GigaChat
Расскажу, как обеспечить соблюдение командных конвенций и порядок в хранилище тестовых артефактов с помощью синтаксического анализа. Также поделюсь опытом написания и внедрения собственного линтера для проекта с пятьюстами тестовыми сценариями, который значительно упростил работу ревьюеров и улучшил читабельность отчетности.
Расскажу про успешный опыт ускорения многопоточного приложения написанного на pandas. Покажу сравнение синтаксиса и производительности polars с другими решениями. Дам полезные советы по миграции
Подход к ведению словаря терминов используемых в коде Python-проекта. Как он может помочь в уменьшении когнитивной нагрузки при чтении кода и помочь новому разработчику быстрее погрузиться в контекст проекта.
Расскажу, как использую принципы Domain-Driven Design (DDD) в своей работе. Вы узнаете, как мы оформляем доменную логику и как это помогает создавать качественный и гибкий код.
Разберемся, как усовершенствовать ваш model-as-a-service. Пройдем путь от понятной упаковки модели в Fastapi приложение до enterprise-ready сценариев машинного обучения. Также узнаем, какие инструменты и подходы применяются в онлайн-моделях и выясним, существует ли значительная разница между традиционными CPU-bound приложениями и моделями машинного обучения.
Поделимся опытом реализации ТГ Бота с ИИ модулем, который позволил автоматизировать процесс контроля качества заполнения документации. Данный ТГ Бот позволил компании экономить до 40 человеко-часов ежемесячно.
Почти у всех есть мониторинг. Часто он становится надёжным инструментом обнаружения неисправностей и их предотвращения на ранней стадии. Не менее часто в качестве мониторинга выступает APM на бесплатном плане с отчётами «из коробки», где что-то меряется, какие-то алерты падают в чат, никто на них не реагирует, и в один прекрасный солнечный день приложение ложится так, что поднимать его приходится до поздней ночи.
Расскажем о том, мы в KION готовим Geo по IP, как обогащаем продуктовые события (6000RPS), как используем в витринах гео информацию. Как мы это делаем быстро и вкусно, используя только Python, FastAPI и Mongo. Как подготавливаем и томим геоинформацию в Monge чтобы отвечать очень быстро.
В своем докладе я расскажу, как с помощью Streamlit можно легко превращать данные в интерактивные дашборды. Вы узнаете, как быстро создавать веб-приложения для анализа данных и прототипирования.