PySpark для аналитика. Как правильно просить ресурсы и как понять, сколько нужно брать

Эта статья будет полезна аналитикам, дата-инженерам и специалистам по обработке больших данных, а также тимлидам команд, которые работают с Apache Spark для решения задач аналитики и машинного обучения. Вы узнаете, как правильно задавать параметры Spark-сессии, чтобы получить ресурсы.

Притворяемся языковой моделью: учимся генерировать текст на Python с помощью цепи Маркова

Разберем что такое большие языковые модели, рассмотрим принцип генерации текста, и напишем свой генератор текста на Python, используя цепи Маркова.

Как ускорить бинарный поиск

Я решил рассказать о том, как ускорить обычный бинаный поиск в сотни раз и искать данные в обычном текстовом файле БЫСТРЕЕ, чем при использовании класических баз данных. Сейчас я попробую решить задачу бинарного поиска без них, расскажу об основных способах оптимизации, а в конце проведу сравнение. Это вполне реальная задача, с которой я столкнутся при разработке собственного проекта, а поэтому мне есть что вам рассказать.

Особенности работы с русской кодировкой при загрузке файлов через aiohttp

В ходе исследования непонятного бага с битой кодировкой в именах загружаемых файлов мы столкнулись с непредвиденным поведением популярной библиотеки aiohttp. Решая эту проблему, мы получили полезный опыт, которым хочу с вами поделиться.

pylint - 2.17.4

Статический анализатор Python-кода. Скачать можно по ссылке: https://pypi.python.org/pypi/pylint/

Шпаргалка: fixture в pytest

В данной статье представлены примеры использования фикстур (fixture) для фреймворка автоматического тестирования pytest. Фикстуры представляют собой функции, которые можно использовать для решения различных задач при проведении автоматизированного тестирования.

python-build-standalone - Redistributable Builds of Python

msgspec - Write/Validate JSON, MessagePack, YAML, & TOML

Apache eCharts for Python

Apache eCharts is a web-based charting library built using TypeScript. This post shows you how to use eCharts through a Python wrapper.

Creating a Mastodon Bot With Python

Python⇒Speed: Goodbye to Flake8 and PyLint: faster linting with Ruff

django-two-factor-auth - 1.15.2

Полноценная двухфакторная аутентификации для Django.. Скачать можно по ссылке: https://pypi.python.org/pypi/django-two-factor-auth/

pika - 1.3.2

Библиотека работы с AMQP. Скачать можно по ссылке: https://pypi.python.org/pypi/pika/

IPython - 8.12.2

Интерактивная оболочка для языка программирования Python. Скачать можно по ссылке: https://pypi.python.org/pypi/IPython

django-taggit - 4.0.0

Приложение для поддержки тегов в Django. Приложение будет крайне полезно на сайте с новостями, которые необходимо помечать тегами, так же можно легко реализовать сортировку по тегам.. Скачать можно по ссылке: https://pypi.python.org/pypi/django-taggit/

requests - 2.30.0

Простая библиотека для создания HTTP запросов. Скачать можно по ссылке: https://pypi.python.org/pypi/requests/

django-grappelli - 3.0.6

Альтернативный базирующийся на сетке дизайн админ панели Django. Скачать можно по ссылке: https://pypi.python.org/pypi/django-grappelli/

Django - 4.2.1

Мощный web-фреймворк. Скачать можно по ссылке: https://pypi.python.org/pypi/Django/

SOLID Principles: Improve Object-Oriented Design

Проверка GIL в python

Когда-то давно я узнал что в python есть Threading. Потом я узнал про GIL. Вариантов как его обойти - масса, но я решил провести небольшое исследование и написать про то, в каких случаях стоит использовать и какие библиотеки многопоточности. Я встречал на хабре статью про GIL, там описано это всё более подробно и более глубоко. Но мне, на тот момент только начавшему разбираться в многопоточности было сложно разобраться в том что там к чему, поэтому я решил сделать своё исследование, а спустя долго время и написать о нём здесь (естественно переписав всё исследование почти с нуля)