Собрали в одном месте самые важные ссылкичитайте авторский блог
You have a file with data you want to process with Pandas, and you want to make sure you won’t run out of memory. How do you estimate memory usage given the file size? At times you may see estimates like these: “Have 5 to 10 times as much RAM as the size of your dataset”, or “several times the size of your dataset”, or 2×-3× the size of the dataset. All of these estimates can both under- and over-estimate memory usage, depending on the situation. In fact, I will go so far as to say that estimating memory usage is just not worth doing. In particular, this article will: Demonstrate the very broad range of memory usage you will see just from loading the data, before any processing is done. Cover alternative approaches to estimation: measurement and streaming.
Ultralytics недавно выпустила семейство моделей обнаружения объектов YOLOv8. Эти модели превосходят предыдущие версии моделей YOLO как по скорости, так и по точности в наборе данных COCO. Но как насчет производительности на пользовательских наборах данных? Чтобы ответить на этот вопрос, мы будем обучать модели YOLOv8 на пользовательском наборе данных. В частности, мы будем обучать его на крупномасштабном наборе данных для обнаружения выбоин.
Модуль для работы с многомерными массивами. Изменения описаны по ссылке https://pypi.org/project/numpy/1.24.2/. Скачать можно по ссылке: http://pypi.python.org/pypi/numpy/
Простой, быстрый, расширяемый JSON кодер / декодер для Python. Изменения описаны по ссылке https://pypi.org/project/simplejson/3.18.3/. Скачать можно по ссылке: http://pypi.python.org/pypi/simplejson/
Статический анализатор Python-кода. Изменения описаны по ссылке https://pypi.org/project/pylint/2.16.1/. Скачать можно по ссылке: http://pypi.python.org/pypi/pylint/
Гибкий фреймворк для написания web-пауков (парсеров). Изменения описаны по ссылке https://pypi.org/project/scrapy/2.8.0/. Скачать можно по ссылке: https://pypi.python.org/pypi/scrapy
В статье хочу поговорить на тему «качества кода» — а именно об инструментах, которые помогают выявлять потенциальные ошибки и другие проблемы как можно раньше, в идеале еще до того, как они попадут в кодовую базу, не говоря уже о попадании в релиз.
Библиотека работы с базами данных. Изменения описаны по ссылке https://pypi.org/project/sqlalchemy/2.0.1/. Скачать можно по ссылке: http://pypi.python.org/pypi/SQLAlchemy/
Однажды, зайдя в чат дома между катками доты, я увидел бота, который дает возможность кикать пользователей путем голосования в чате. Нехитрое изобретение. Решив повторить тогда я впервые познакомился с Telegram Bot API. В частности с библиотекой telebot. И тут первое что хотел бы отметить. На момент написания того самого первого бота, в данной библиотеке использовалась функция polling(), для поддержки бота в сети при простое. Однако она была не идеальной и через буквально 10 минут простоя бот всё же полностью терял соединение и не принимал запросы.
Мощный web-фреймворк. Изменения описаны по ссылке https://pypi.org/project/django/3.2.17/. Скачать можно по ссылке: http://pypi.python.org/pypi/Django/
За всё время мы тысячу раз сталкивались с запросом “дайте какое-нибудь простое решение с API, которым нам можно было бы пользоваться”. Дело, конечно, хорошее, но функциональность у нашей системы очень богатая. Единый API, который подходил бы всем нашим заказчикам со своими разными задачами и разными сценариями использования, был бы переусложнен. В этой статье мы покажем пример того, как с помощью Docker, Python и нашего SDK самому реализовать простейшее решение для распознавания документов.
Python Дайджест собирает IT-новости уже 9 лет, рассказывает о концепциях, проектах, релизах. Кодовая база за это время мало изменилась и уже деградировала. Более 5 лет не хватало сил и времени, чтобы привести проект в актуальное состояние. Django с 1.9 обновилась уже до 4.1 версии, Python 3.4 не актуален, да даже обновить пакет через pip не получается, потому что сломан. В 4 частях расскажу от первого лица, как 9-летний проект из состояния outdated вернулся в actual состояние и снова набрал 100 баллов в PageSpeed. Начну с обновления до актуального Python и Django.
Я хочу показать, как компилировать бинарные модули расширения (.so) из python-файлов, чем они будут отличаться и как с ними работать. Делать это мы будем при помощи компилятора Nuitka. Он наиболее известен тем, что с его помощью можно создавать исполняемые файлы (.exe) для Windows. Однако, кроме того, он позволяет создавать и бинарные модули python. Всех, кому это интересно, прошу под кат.
Очередной выпуск англоязычного подкаста Python Bytes
XML/HTML парсер. Изменения описаны по ссылке https://pypi.org/project/beautifulsoup4/4.11.2/. Скачать можно по ссылке: https://pypi.python.org/pypi/beautifulsoup4/
В сфере data science подготовка данных является обязательным этапом работы перед построением моделей. Один из них — кодирование категориальных данных, т.к. значимая часть информации в реальной жизни относится именно к категориальным строковым значениям, а подавляющее большинство моделей умеют работать исключительно с числовыми значениями. Кодирование — это и есть процесс преобразования категориальных данных в числовой формат.
Утилита для управления модулями в Python. Изменения описаны по ссылке https://pypi.org/project/pip/23.0/. Скачать можно по ссылке: http://pypi.python.org/pypi/pip/