Сервис для системного администратора. Часть 1

Задачи системного администратора — разнообразны. Работа в консоли — создание пользователей, тестирование, установка и конфигурация пакетов на серверах, просмотр логов и трафика, настройка сети и туннелей. Работа с железом — установка оборудования и документацией, написание планов работ, описание работы сервисов.

Удалённое исполнение системных команд по запросу через сокеты на Python 3. Протокол передачи данных

В предыдущей статье я рассказал как создать сервер и клиент на Python 3, используя встроенные сокеты. Но у этого приложения было много недостатков, которые я попытаюсь исправить в этой и последующих статьях.

Так какими же недостатками обладает наше приложение?

• Отсылается один единственный пакет, длина которого не может превышать заранее заданной границы в 1 Кбайт.
• Приложение без проверки передаёт аргумент, принятый из сети, в оболочку (URL).
• Недостаток функциональности. Мы не можем, например, скачать все изображения с Хабра, или скачать отдельный хаб.

Сегодня я расскажу как решить первую проблему, а заодно и немного о TCP.

Удалённое исполнение системных команд по запросу через сокеты на Python 3 или как я сайты скачивал

Не так давно качество мобильного интернета в моём городе стало постепенно ухудшаться из-за возрастающей на сети операторов нагрузки и некоторые сайты, требующие большое количество соединений (зависимые файлы страницы) стали загружаться ну ОЧЕНЬ медленно. По вечерам скорость опускается на столько, что некоторые сайты могут полностью загружаться в течении нескольких десятков секунд.

Есть несколько способов решения данной проблемы, но я решил выбрать немного необычный для нашего времени способ. Я решил скачивать сайты. Конечно, данных способ не подходит для крупных сайтов, вроде Хабра, тут разумнее использовать парсер, но можно скачать и отдельный хаб, список пользователей, или только свои публикации с помощью HTTrack Website Copier, применив фильтры. Например, чтобы скачать хаб Python с Хабра нужно применить фильтр "+habrahabr.ru/hub/python/*".
 

Событийно-ориентированный бэктестинг на Python шаг за шагом. Часть 4

В предыдущих статьях мы говорили о том, что такое событийно-ориентированная система бэктестинга, разобрали иерархию классов, необходимую для ее функционирования, обсудили то, как подобные системы используют рыночные данные, а также осуществляют отслеживание позиций и генерацию приказов на покупку. Сегодня речь пойдет об исполнении ордеров с помощью создания иерархии классов, которая будет представлять симулированный механизм обработки приказов, связанный с брокерской системой или другим интерфейсом доступа на рынок. Также мы рассмотрим метрики для оценки производительности тестируемой стратегии. 

Делаем Slack оповещения используя Amazon Dash Button

Статья описывает, как связать амазоновскую кнопку с вашем Python-кодом

27 языков для улучшения вашего навыка программирования на Python

R vs Python: лицом к лицу утилиты для анализа

Уже было десятки статей-сравнения. В этот раз мы будем сравнивать исходники, сколько надо пошевелить руками для реализации одинаковых целей.

Парсим изображения с помощью Python и Scrapy

В этом посте вы узнаете, как с помощью Python спарсить все изображения обложек журнала Time.

Создаем интерактивную карту криминала на Folium

Этот пост описывает, как использовать Folium, чтобы визуализировать набор данных о преступности в Сан-Франциско. А затем как задеплоить код как сервис с помощью Domino

pywhat - подборка неочевидных и вводящих в заблуждение языковых консрукций

Не только в Ruby и JavaScript есть неочевидные вещи. Python тоже не отстает.

20 лучших курсов и обучающих материалов для изучения Python

Пишем графическую программу на Python с tkinter

В работе со студентами и учениками я заметила, что при изучении какого-либо языка программирования большой интерес вызывает работа с графикой. Даже те студенты, которые скучали на заданиях про числа Фибоначчи, и уже казалось бы у них пропадал интерес к изучению языка, активизировались на темах, связанных с графикой.

Поэтому предлагаю потренироваться в написании небольшой графической програмки на Python с использованием tkinter (кроссплатформенная библиотека для разработки графического интерфейса на языке Python).

Код в этой статье написан для Python 3.5. 

Создаем Накладную на Python и xtopdf

В статье приведен готовый код, который может создать PDF файл накладной

Функциональные тесты: Django + Selenium WebDriver и 3 варианта на Ваш выбор

«В жизни каждого django-разработчика наступает момент, когда он решительно рвет со своим прошлым, лишенным функционального тестирования!» Об этом и поговорим. 

Рекомендательная система на .Net или первые шаги с MyMediaLite

Пошел я как-то на курсы по BigData, по рекомендации друзей и мне посчастливилось поучаствовать в соревновании. Не буду рассказывать об обучении на курсе, а расскажу о библиотеке MyMediaLite на .Net и о том, как я ее использовал. 

Используем Gabbi и Hypothesis для тестирования Django

Это вводная статья про использование  Gabbi и Hypothesis для тестирования Django-проектов

Random Forests на Python

Random Forests это один из самых популярных методов в машинном обучении. По ссылке вводная статья в этот метод.

Самые популярные "кулинарные книги" на GitHub

По ссылке найдете список ссылок на "кукбуки" - куча примеров по различным областям применения Python

Линейное программирование на Python с CVXOPT

Статья описывает как начать использовать Python для задач линейного программирования. Приведено сравнение с PuLP

Пробуем JSON в Django и PostgreSQL (и сравниваем с MongoDB)

В Django 1.9 будет добавлено поле JSONField, его можно использовать с базой данных PostgreSQL >= 9.4. Давайте попробуем с ним поработать и оценить, насколько оно удобно.

В данный момент доступна альфа версия django 1.9, финальная запланирована на декабрь 2015. Установить альфа версию можно так:

pip install --pre django

Итак представим, что у нас есть интернет магазин, в котором мы предлагаем товары разных типов. Например, ноутбуки и футболки. Очевидно, что у таких товаров будет разный набор параметров: у футболок будет размер, цвет, а у ноутбуков - размер экрана, частота процессора, объем жесткого диска и прочее. Один из подходов для работы с такими данными в SQL - Entity–attribute–value model (EAV).