IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     10.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи
     10.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

История о том, как фронтендер YaLM 100B на одной RTX 3070 TI запускал

В июне Яндекс опубликовал нейросеть YaLM 100B. Нейросеть умеет генерировать тексты. А это очень мощная вещь, можно попробовать массу всего полезного (и не очень) создать с ее помощью, от сюжетов для книг, игр и приложений, заканчивая рерайтом статей или того хуже, дорвеями.Эта штука имеет лицензию Apache 2.0. Но чтобы запустить нужно ~ 200GB GPU  видеопамяти!И еще есть нюанс, проверить нейронку в работе, не так-то просто. Яндекс не предоставили ни демок, ни инструкций, как запустить бюджетно YaLM 100B. Пока все ждут урезанную или онлайн версию, я познакомился с ней поближе. Об этом и лонгрид. Спойлер, дальше рассказ пойдёт о том, через что я прошёл и результаты. Исходников не будет. Поехали!

     10.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

От Albumentations к Image Search

По этой ссылке приложение для поиска по датасетуOpen Images (1.7M картинок).

Загружаете свою картинку - получаете 5 похожих.

     09.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

Собираем генератор данных на Blender. Часть 4: Сборка проекта и рендеринг

В предыдущих статьях мы научились работать с объектами, настраивать свет и камеры, редактировать материалы (aka. текстуры) через api. В заключительной части знакомства с Blender мы рассмотрим две темы: сборка проекта из разных файлов и запуск рендеринга через консоль. В Friflex мы используем Blender в работе над idChess (интеллектуальной платформой для распознавания и трансляции шахматных партий) и другими проектами по оцифровке спорта.

     09.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

Группы асинхронных задач в Python 3.11

Вчера на официальном сайте был опубликован первый релиз-кандидат Python 3.11, который принесет важные оптимизации и доработки в возможности языка. Релиз планируется в октябре этого года, но уже сейчас можно поэкспериментировать с новыми возможностями и сегодня мы поговорим о группах исключений и асинхронных задач. Первые позволяют одновременно выбрасывать и обрабатывать несколько исключений, в то время как вторые позволяют объединять задачи в общий event loop и координированно управлять группами задач.

     09.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

#1 Нейронные сети для начинающих. Решение задачи классификации Ирисов Фишера

Это первая статья серии введения в нейронные сети, «Нейронные сети для начинающих». Здесь и далее мы постараемся разобраться с таким понятием — как нейронные сети, что они вообще из себя представляют и как с ними «подружиться», на практике решая простые задачи.

     09.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

Учимся использовать Yandex SpeechKit с помощью Python за 5 минут

Год назад для собственных нужд я написал обертку Yandex SpeechKit на Python, она получилась настолько простая и универсальная, что грех не поделиться : )

     08.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи
     08.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

4х повышение разрешения изображения с использованием ESRGAN

4х повышение разрешения изображения с использованием ESRGANВ данной статье разобрано применение предобученной нейронной сети ESRGAN для увеличения разрешения изображения в четыре раза c использованием tensorflow hub.

     08.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

Восстановление (импутация) данных с помощью Python

На данный момент Python является самым популярным языком программирования, который применяется для анализа данных или в машинном обучении. Сильными сторонами Python являются его модульность и возможность интегрироваться с другими языками программирования.

В науке о данных разведочный анализ данных (exploratory data analysis, EDA) является самым важным этапом в проекте и занимает около 70-80% времени всего проекта. Такой анализ позволяет изучить какие-то свойства данных, найти в них закономерности, аномалии, очистить их, подготовить и построить начальные модели для дальнейшей работы. На этом этапе можно определить вид распределения, оценить основные его параметры, обнаружить выбросы, построить матрицу корреляции признаков и т.д.

     08.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Конференции, события, встречи разработчиков

PyCon Russia 2022: два дня докладов, песни под гитару и костер в центре Москвы

Товарищи! PyCon Russia 2022, о необходимости которого все время говорили большевики питонисты, совершился! 30 и 31 июля в Москве состоялась самая долгожданная, уютная и душевная конференция для python-разработчиков и специалистов data science и ml. Мы выдохнули и спешим рассказать, как это было. 

     08.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

Устаревшие Python-библиотеки, с которыми пора попрощаться

В Python, с каждым релизом, добавляют новые модули, появляются новые и улучшенные способы решения различных задач. Все мы привыкли пользоваться старыми добрыми Python-библиотеками, привыкли к определённым способам работы. Но пришло время обновиться, время воспользоваться новыми и улучшенными модулями и их возможностями.

     08.08.2022       Выпуск 451 (08.08.2022 - 14.08.2022)       Статьи

“Да кто это написал?!!”, или решение сложных задач простыми средствами

Каждый день тысячи программистов трудятся не покладая рук. Они пишут код, контактируют между собой и, как и любой человек, совершают ошибки. Проблемы в коде могут повысить уровень рисков и стать критическими для компании. И с целью выявления таких ошибок специалисты проводят анализ кода.

     07.08.2022       Выпуск 450 (01.08.2022 - 07.08.2022)       Статьи

Обработка изображений с помощью библиотеки Python Pillow

Данный туториал является переводом статьи, написанной Stephen Grupetta. Все изображения и коды скопированы без изменений. В конце вы найдете примечания относительно данной информации, а также ссылку на github с работающим кодом. Если код, приведенный автором не запускается, переходите в примечания и, возможно, сможете найти решение вашей ошибки.

     07.08.2022       Выпуск 450 (01.08.2022 - 07.08.2022)       Статьи
     07.08.2022       Выпуск 450 (01.08.2022 - 07.08.2022)       Статьи

Поиск открытого API сайта или Ускоряем парсинг в 10 раз

Цель статьи — описать алгоритм действий поиска открытого API сайта.
Целевая аудитория статьи — программисты, которым интересен парсинг и анализ уязвимостей сайтов.
В статье рассмотрим пример поиска API сайта edadeal.ru, познакомимся с протоколом google protobuf и сравним скорость различных подходов парсинга

     06.08.2022       Выпуск 450 (01.08.2022 - 07.08.2022)       Статьи

Распознавание поднятых пальцев на Python+OpenCV

В данной статье хочу рассмотреть банальный и не сложный проект, а именно подсчет количества поднятых пальцев.Все исходники можно найти на моем Github.Код будем рассматривать с самого начала, но лучше всего ознакомиться с моими предыдущими статьями.

     05.08.2022       Выпуск 450 (01.08.2022 - 07.08.2022)       Статьи

Программирование на Python и установка Docker для Sipeed Lichee RV RISC-V

В первой части познакомились с процессором Allwinner D1 на RISC-V архитектуре, рассмотрели возможности, поработали с одноплатным компьютером Sipeed Lichee RV. Старый образ операционной системы содержал многие недоработки, которые не позволяли полностью оценить работу одноплатника. В продолжение рассмотрения Lichee RV, возьмем новый образ Ubuntu, построенный на последнем ядре Linux 5.19, окончательный выпуск которого ожидается в конце июля 2022 года. Поработаем с GPIO из Python`а и установим Docker. Теперь полноценно протестируем новый образ, проверим на что способна плата и начнем уже программировать на Python.

     03.08.2022       Выпуск 450 (01.08.2022 - 07.08.2022)       Статьи

Как стажёр оптимизировал запросы и нашел баг в Django

Недавно я нашел баг в Django, создал тикет с исправлением и его приняли.В статье расскажу подробнее — над чем работал, в чем была ошибка и почему ее сложно встретить. А также еще про один баг, который по классике оказался фичей 😊.

     03.08.2022       Выпуск 450 (01.08.2022 - 07.08.2022)       Статьи

Feature Engineering или стероиды для ML моделей

Часто при построении ML моделей мало просто взять сильную модель. Оказывается, иногда грамотная предобработка данных существенно важнее. Сегодня речь пойдёт про feature engineering. Рассмотрим несколько кейсов на эту тему более подробно. Данные будут упрощённые, но обещаю, от этого примеры не станут менее интересными 😉.