IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     05.10.2022       Выпуск 459 (03.10.2022 - 09.10.2022)       Статьи

Дообучение EasyOCR

Перед тобой статья-путеводитель по дообучению EasyOCR

Несмотря на то что EasyOCR очень хорошо себя показывает при распознание текста, её все таки необходимо дообучать для поднятия точности распознания (например № нет в символах распознания).

 

     04.10.2022       Выпуск 459 (03.10.2022 - 09.10.2022)       Статьи

Визуализация биомолекул с помощью nglview

Сегодня, одной из интересных задач компьютерного моделирования в биологии является изучение поведения биомолекул в различных растворах: динамика их структуры в ходе некоторого процесса и взаимодействие с другими молекулами. Эти задачи очень важны не только в фундаментальной науке, но и в фармацевтике. Например, перед проведением клинических испытаний разработанный препарат в первую очередь проходит этап молекулярного моделирования, на основе которого можно сделать вывод о том, как лекарство поведет себя в живом организме. К тому же, изучение молекулярной динамики может быть не только серьезным, но и интересным.Одним из популярных и полезных инструментов для визуализации и анализа молекулярного моделирования является библиотека nglview, написанная на Python. Она представляет собой интерактивный виджет IPython/Jupyter, который позволяет визуализировать молекулярную структуру и траектории движения атомов.

     04.10.2022       Выпуск 459 (03.10.2022 - 09.10.2022)       Статьи

Обучение YOLOv4 в Google Colab

Этот учебник поможет вам легко создать yolov4 в облаке с включенным графическим процессором, чтобы вы могли выполнять обнаружение объектов за миллисекунды!

     03.10.2022       Выпуск 459 (03.10.2022 - 09.10.2022)       Статьи

Диагностика портов DGS-1210

В моей работе часто возникает необходимость быстро продиагностировать физические порты на коммутаторах. Способ который я предлагаю ускоряет процесс диагностики и делает его более наглядным по сравнению с прописыванием команд на коммутаторе. Тестирование производится на Linux

     03.10.2022       Выпуск 459 (03.10.2022 - 09.10.2022)       Статьи

Автоматическая озвучка субтитров на YouTube

Около полугода назад я наткнулся на статью с практически аналогичным названием . Сама идея мне показалась интересной и захотелось сделать нечто похожее только с использованием компьютерного зрения, и вот что у меня получилось

     02.10.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Как с нуля построить свою блокчейн сеть

Блокчейн — децентрализованная база данных, хранящая информацию о всех операциях в виде цепи блоков. Особенностью сети является то, что записи находятся не на одном сервере, а на сотнях, из-за чего незаметно подделать их или удалить невозможно. Блокчейн — надежная и безопасная технология, которую можно использовать для обмена данными, деньгами и даже документами.

     01.10.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Еще один пример обхода капчи или делаем бизнес действительно прозрачным

Не для кого не секрет, что капча является популярным средством, чтобы снизить нагрузку на сайт и предотвратить скачивание информации роботами. Сегодня, когда капча применяется практически на каждом сайте, рассмотрим кейс с ее обходом на сервисе "Прозрачный бизнес".

     30.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Как повысить безопасность приложений с помощью фабрик строк в psycopg

psycopg — это адаптер базы данных PostgreSQL для Python, то есть одной из его основных задач является автоматическая подстройка типов при составлении запросов и получении ответов между PostgreSQL и Python. И хотя это преобразование отлично применяется к встроенным типам, psycopg также предоставляет нативный способ обрабатывать специализированные типы данных с помощью фабрик строк.

     30.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

15 нейросетей в один Telegram-бот: история успеха и реализация помощника для создателей контента

Я занимаюсь NLP в сфере Data Science и хочу поделиться результатами разработки Telegram-бота, у которого под капотом уже 15 нейросетей. Речь идёт о TurboText_bot. Он будет полезен всем, кто причастен к созданию контента. К таким можно отнести блогеров, журналистов, копирайтеров и многих других специалистов.. Даже бабушек у подъезда, ведь бот способен генерировать и обрабатывать новости.

     29.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Python для биологов

Каждый, кто слышит словосочетание "язык программирования", наверняка представляет себе код или скрипт, который выполняет строгий порядок действий для решения сложной технической задачи. Если спросить прохожего, для каких целей используются языки программирования, первое, что придет ему на ум - разработка, а любой гуманитарий скажет, что это скучно и совершенно не интересно. Однако, мне хотелось бы развеять эти стереотипы. Учитывая современные тенденции роста научно-технического прогресса, важно отметить, что программирование перестало быть чисто "техническим" инструментом.

     28.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Умный в гору не пойдет

Поделюсь с Вами одним численным алгоритмом вычислительной математики для построения оптимального пути движения на сложной поверхности. Под оптимальностью понимается построение такого маршрута, который проходит по карте местности, огибая все локальные экстремумы (возвышенности и впадины), обеспечивая таким образом некоторую степень минимизации перепада высот и длину всего маршрута.

 

     28.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи
     28.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Тестирование миграции данных на python с pytest-bdd и testcontainers

В рамках проекта цифровой модернизации для одного из наших клиентов возникла задача миграции данных из одной модели хранения в другую. Для тестирования такого решения мы обратились к практикам BDD (Behaviour Driven Development) и виртуализации зависимостей с помощью docker контейнеров. В данном посте рассмотрен рецепт как можно организовать тестирование подобного решения с помощью pytest-bdd и testcontainers на python. Весь исходный код доступен по ссылке.

     27.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Регрессионный анализ в DataScience. Простая линейная регрессия. Библиотека statsmodels

Про регрессионный анализ вообще, и его применение в DataScience написано очень много. Есть множество учебников, монографий, справочников и статей по прикладной статистике, огромное количество информации в интернете, примеров расчетов. Можно найти множество кейсов, реализованных с использованием средств Python. Казалось бы - что тут еще можно добавить?

 

     27.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Руководство по программированию сокетов на Python. От введения до работающего примера

К концу руководства вы освоите основные функции и методы модуля Python socket, научитесь применять пользовательский класс для отправки сообщений и данных между конечными точками и работать со всем этим в собственных клиент-серверных приложениях.

     26.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Бамбук, Mito-лист и Деталь, или как подготовиться ко встрече с пандами

Как часто вы сталкиваетесь с необходимостью выгрузить в MS Excel более миллиона строк? Все фильтры на выгрузку уже были наложены ранее, но, увы, она до сих пор «не проходит по габаритам». Перед нами встает дилемма – делить, или … воспользоваться готовыми решениями для python, не изучая python! Речь сегодня пойдет о трех библиотеках, которые позволяют писать код и при этом не писать его, а также оперировать внушительными объемами данных с минимальными знаниями английского языка или синтаксиса пресловутых «панд» (здесь и далее «панды»: pandas –  open-source библиотека для python для работы с табличными данными – прим. автора). Для примера будем использовать объявления о продаже автомобилей Toyota с известного сайта.

     26.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Java из Python и обратно на Android

Продолжение статьи C/C++ из Python (ctypes) на Android. Теперь поговорим о том как использовать Java из Python, ведь для android это родной язык и почти все работающие библиотеки и нужные вещи написаны на ней. Научимся создавать классы, вызывать методы, возвращать результат и дергать callback-и. На Linux аналогично работает.

     26.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Taichi и 100-кратное ускорение Python-кода

Python стал самым популярным языком во многих быстроразвивающихся областях, таких, как глубокое обучение и различные направления анализа и обработки данных. Но при этом за удобство работы с Python-кодом, за высокий уровень его читабельности, приходится платить производительностью. Конечно, все мы время от времени жалуемся на скорость работы программ, и Python, безусловно, не стоит винить во всех грехах. Несмотря на это, справедливым будет заявление о том, что природа Python, интерпретируемого языка, не способствует высокой производительности кода, особенно когда речь идёт о «тяжёлых» вычислениях (один из признаков таких вычислений — наличие в программе нескольких вложенных циклов).

     26.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Видео

Moscow Python Podcast. Open Source и Data Science (level: all)

В гостях у Moscow Python Podcast руководитель разработки Data Science компании Avito Олег Бугримов.

     26.09.2022       Выпуск 458 (26.09.2022 - 02.10.2022)       Статьи

Важно ли DS аналитику знать про software development?

Множество курсов, призванных подготовить DS специалистов «за полгода», создают впечатление, что уж сертифицированным датамайнером стать достаточно просто. А что? Немного основ DS языка, немного по структуре данных, немного по различным преобразованиям данных, немного SQL, немного математики (в ML не погружаемся, только знакомимся), немного визуализации, немного HTML+JS+CSS. Специалист готов? На практике оказывается, что маловато будет.