Академический Документы
Профессиональный Документы
Культура Документы
ru/post/59419/
Войти Регистрация
Пользователь
Python*
Введение
Как системный администратор, вы сталкиваетесь с многочисленными проблемами. Управление пользователями, дисковым пространством,
процессами, устройствами и бэкапами могут стать причиной потери волос, юмора или вменяемости у многих администраторов. Shell скрипты могут
выручить, но они зачастую имеют множество ограничений. В этом случае полнофункциональный скриптовый язык, такой как Python, способен
превратить утомительную задачу в легкую и, смею сказать, веселую.
Примеры в этой статье демонстрируют различные возможности Python, которые вы можете использовать на практике. Если Вы работаете с
помощью них — вы на правильном пути к пониманию силы Python.
О модулях
Модуль – важное понятие в языке Python. По существу, модуль – это ресурс, который вы подключаете к программе, чтобы затем использовать его.
Этот процесс можно сравнить с тем, что вы достанете из ящика лист бумаги и положите его на свой стол, подготовив тем самым к дальнейшему
использованию. Модули подключаются при помощи команды import, которая присутствует в начале каждого примера. Модули доступны для связи с
базами данных, сетевого программирования, сервисов операционных систем и сотен других полезных областей.
Python — полнофункциональный, надежный язык программирования и, по существу, имеет массу свойств. Изучение его может стать задачей
эпических масштабов. Однако, помните, что многие способности, такие как GUI инструментарий, имеют для системного администратора низкую
ценность. Вот почему в этой статье используются специфичные примеры: они демонстрируют навыки, необходимые для эффективного написания
скриптов управления системой.
Немного о примерах:
Каждый пример использует try: и except: с блоком кода внутри. Это осуществляет элементарную обработку ошибок. Python имеет обширную
поддержку для обработки всех видов исключений, но, в рамках примеров этой статьи, я обошелся простой проверкой.
Эти примеры тестировались с помощью Python 2.5, запущенном на Linux® box, но они должны работать на любой Unix/Linux машине.
Вы несомненно задумаетесь об улучшении этих скриптов. Это хорошо! Натура Python-скриптов заключается в том, что они могут быть легко
модифицированы и настроены без необходимости перекомпиляции.
Первый пример (Листинг 1) осуществляет поиск файлов, в соответствии с шаблоном (который вводит пользователь) и выводит результат на экран
вместе с правами доступа для каждого файла. Во-первых, вы можете подумать, что эта программа не делает ничего большего, чем вызов команды
find; однако она отображает результаты особым образом и ваши варианты отображения этого расширенного поиска безграничны.
Скрипт по существу решает три задачи:
1. Получает шаблон поиска от пользователя
2. Выполняет поиск
3. Показывает результаты пользователю
При написании скрипта постоянно задавайте себе вопрос, «Выполнение какой задачи данный код обеспечивает?» Задавая себе этот вопрос, вы
повышаете внимание в вашей работе и ее эффективность.
$ python example1.py
Enter the file pattern to search for:
j*.py
$ python example1.py
Введите шаблон поиска:
j*.py
Файлы:
jim.py
jim2.py~
================================
Permissions for file jim.py :
USR имеет R права доступа
USR имеет W права доступа
USR не имеет X прав доступа
GRP имеет R права доступа
GRP не имеет W прав доступа
GRP не имеет X прав доступа
OTH имеет R права доступа
OTH не имеет W прав доступа
OTH не имеет X прав доступа
Permissions for file jim2.py :
USR имеет R права доступа
USR имеет W права доступа
USR не имеет X прав доступа
GRP имеет R права доступа
GRP не имеет W прав доступа
GRP не имеет X прав доступа
OTH имеет R права доступа
OTH не имеет W прав доступа
OTH не имеет X прав доступа
Предыдущий пример для своей работы запрашивал у пользователя поисковый шаблон. Другой способ получить от пользователя информацию —
аргумент в командной строке. Программа в Листинге 3 показывает как сделать это в Python: код берет имя файла tar, как аргумент командной
строки и затем предложит пользователю несколько опций.Этот пример так же показывает новый способ решения проблемы. Первый пример
использовал модуль команд для запуска find и захвата вывода. Этот подход можно назвать неуклюжим и не очень «питоновским». Этот пример
использует для открытия tar файла модуль tarfile, преимущество которого в том, что он позволяет Вам использовать атрибуты и методы Python при
манипуляции с файлами. При помощи многих модулей Python, вы можете делать вещи, недоступные через командную строку.Этой хороший пример
использования меню в Python. Программа выполняет различные действия в зависимости от вашего выбора:
Если вы нажмете 1, программа предложит выбрать файл в архиве для извлечения в текущую директорию и затем извлечет файл.
Если вы нажмете 2, программа предложит выбрать файл и затем покажет информацию о нем.
Если вы нажмете 3, программа выведет список всех файлов в архиве.
Одной из важнейших обязанностей системного администратора является проверка запущенных процессов. Скрипт в Листинге 5 даст вам несколько
идей. Программа использует преимущества возможностей Unix: команда grep использует вывод, генерированный другой командой. Это позволит
вам уменьшить объем данных, которые в дальнейшем будет анализировать Python.
Программа так же использует модуль string. Изучите этот модуль — вы будете часто его использовать.
$ python example3.py
Введите имя программы для проверки: xterm
Путь: pts/0
Владелец: goga
ID процесса: 26509
ID родительского процесса: 26493
Время запуска: 17:28
Пример 4. Проверка имен пользователей и паролей на соблюдение политики безопасности.Управление безопасностью важная часть работы для
каждого системного администратора. Python делает эту работу проще, как показывает последний пример.Программа в Листинге 7 использует
модуль pwd для доступа к базе данных паролей. Она проверяет имена пользователей и пароли на соблюдение политики безопасности (в данном
случае, имена должны быть как минимум 6 символов в длину, пароли — 8 символов).Есть два предостережения:
Эта программа работает только если у вас есть полные права для доступа к /etc/passwd.
Если вы используете теневые пароли, скрипт работать не будет (однако, в Питон 2.5 есть модуль spwd, который решит эту проблему).
$ python example4.py
Следующие пользователи имеют имена менее чем из 6 символов::
Guest
Следующие пользователи имеют пароли менее чем из 8 символов:
Guest
johnsmith
joewilson
suejones
Другое применение скриптов.Вы можете использовать Python по ряду направлений для управления системой. Одна из лучших вещей, которую вы
можете сделать — проанализировать свою работу, определить какие задачи вы выполняете неоднократно и изучить модули Python, которые
помогут вам решить эти задачи — почти наверняка, таковые найдутся.Некоторые области, где Python может быть отличным помощником:
Управление серверами: проверка патчей для конкретного приложения и их автоматическое обновление.
Журналирование: автоматическая отправка e-mail при появлении в логах особого вида ошибки.
Сеть: создание Telnet соединения к серверу и слежение за статусом соединения.
Тестирование web-приложений: использование свободно доступных инструментов для эмуляции веб-браузера и проверки веб-приложения на
функциональность и производительность.
Это всего лишь несколько примеров — я уверен вы сможете добавить к ним свои собственные полезные идеи.
Резюме
С его легкостью в изучении, его умением управлять файлами, процессами, строками и числами, и его почти бесконечным массивом
вспомогательных модулей, Python — это скриптовый язык, который выглядит так, будто был создан специально для системных администраторов.
Python — это ценный инструмент в инструментарии любого системного администратора.
карма рейтинг
Andrey M. @Amka 15,7 0,0
Пользователь
Сайт Github
Разработка
+25 15,6k 43 75
+37 12,9k 25 16
+55 10,9k 59 37
Комментарии (63)
ant0n 12 мая 2009 в 22:27 +18
Мне кажется примеры притянуты за уши. Ну не удобно админу смотреть на права доступа в виде
Мне кажется автор показал этим, что с помощью питона сисадмин может изменить привычный ход вещей.
К тому же ввод параметров через интерфейс — это самое неудобное, что можно придумать.
history для того и дана, чтобы облегчать работу, а здесь — сплошные никому не нужные рюшечки.
Да, питон — сила. Недавно столкнулся с тем, что надо было автоматизировать работу с железкой по телнету, которой нужно было посылать цифры, соответственно
пунктам меню. Сначала пал выбор на Expect, однако несмотря на то, что на локальной машине под XP все было идеально, на 2003 сервере работать отказалось.
Гугление привело к тому, что подобного не нашел и встала необходимость изучить язык Expect'а. Затем empty, но тоже что-то не сложилось. И тут пришел совет
коллеги насчет модуля telnetlib… и проблема решена, очень просто и надежно :)
Может я не в тему, но мне нужна помощь в выборе книги по питону (хорошо дружу с PHP, осваиваю ООП, ООА, паттерны, поэтому серия для чайников не интересует).
Великий язык, нужно осваивать.
diveintopython.org
Dive into Python. Очень хорошая книга, на мой взгляд. С хорошими примерами. Насколько я помню, она open source и переведена на много языков.
www.diveintopython.org/
Лучше официальной документации не найти. Там в начале есть довольно большой раздел Tutorial и описание языка, а дальше все равно придется осваивать
стандартную библиотеку по этой документации.
именно для таких не нужен, а вот когда нужно автоматизировать что то посложнее типа отсылки писем, заливки файлов по фтп и т.д. то он таки нужен.
Для ТАКИХ задач не то чтобы Python не нужен, такие задачи вообще не нужны.
Похоже автор статьи — начинающий *nix-админ и он еще не понял что все базовые утилиты очень удобны и ничего с ними делать не надо.
А вот для чего-нибудь более сложного, например, переместить файлы по какому-нибудь признаку, допустим размеру в разные директории и поменять
соответсвенно пути в БД — самое оно.
find -size +1M | while read file; do let «dir=`du -b $file`/1024/1024/10»; test -d $dir || mkdir $dir; mv $file $dir; done
Не могу представить себе задачу админа, которую нужно писать на питоне на несколько десятков строк, и которую нельзя написать на sh в пару строк.
по количеству символов 2 строки баша не сильно меньше будут. Код пытона будет сильно удобочитаемее и удобнее для правки.
А бд править?
Автор просто показал дверь, каждый сам решает войти в нее или нет:)
Если сможете показать задачу серверного администрирования которую нельзя решить на баше а можно только на питоне — я сожру свою шляпу
Подойдет
cat /some/logs/* | grep 'some what i need' > file; log2bin file file.bin; scp file.bin remote.host
>Если сможете показать задачу серверного администрирования которую нельзя решить на баше а можно только на питоне — я сожру свою шляпу
Говоря «на баше» Вы немного лукавите. На баше — это на баше + grep/awk/sed/cat… + специфические для задачи утилитки (например, snmpget). Каждая из
утилиток — отдельный процесс со всеми вытекающими накладными расходами. В скрипте на питоне процесс будет всего один (если сами их не нафоркаете,
конечно).
Сравним… Модули — библиотеки. Считываются с диска и загружаются в память процесса питона один раз. Утилитки — отдельные программы. Считываются
каждый раз с диска, каждый раз им нужно выделять память, создавать пайпы для общения с ними…
Вот, к примеру:
facha@fuzzy:~$ time ./printtime.sh
real 0m2.226s
user 0m1.044s
sys 0m1.156s
Дальше код этих мегаскриптов (дисклеймер: если хабр его покоцает — я не виноват):
printtime.sh
#!/bin/sh
for i in `seq 1000`; do echo `date +%s`; done
printtime.py
#!/usr/bin/env python
import time
for i in range(1000): print time.time()
При этом файлов много, а сервер нагружен, так что каждый раз делать echo «update ...» | psql не катит, т.к. такое будет выполняться раза в два дольше.
2. собрать логи фронтенд http сервера с нескольких машин (по ftp/sftp), обработать их, вывести:
а) запросы(url), которые в сумме выполнялись наибольшее время (в логе есть поле — upstream response time)
б) наиболее медленные запросы
в) наиболее медленные запросы с учетом исключений (нам пофигу сколько времени генерируется /rss — юзеры этого не замечают)
каждому при этом вывести количество вызовов, среднее время,…
и т.д.
1) Слишком сумбурно, но скажу что скрипт может генерировать еще один скрипт который выполнится пакетно :)
2) apache не используется
1) А он не читать а работать сделан. Про то что есть генератор парсеров и на выходе дает нечитабельный вариант — забыли?
2) Ну и ненадо апача. Про то что можно писать лог в fifo который выдергивается на удаленный сервер — большая тайна?
Да будет так.
Спасибо, исправил.
не редкость, когда на серверах даже bash не устанавливают (спасает только set -o emacs), а вы pyton предлагаете.
Это подход шелл-программиста. И все остальное прекрасно можно было сделать на баше например. На питоне для этого есть свои методы обхода директорий, свой
glob для подстановок. Примеры имеют право на жизнь. Но опять же хорошо что в том же linux шебанговые скрипты не суидны — в этих полно дырок с безопасностью
из-за использования шелла.
В общем вердикт: администратору для этих задач вполне хватит bash (и полистать тот же ABS). Некоторые вот используют ipython в качестве основного шелла. Да,
этот вариант имеет право на жизнь, но он не всегда оптимален.
Ну и в защиту автора: я сам грешу такими вещами, вот например скрипт для просмотра отспавненных django fcgi приложений у меня на сервере:
$ cat /usr/local/bin/djangostat.py
#!/usr/bin/env python
def ksort(x,y):
a, b = float(x['pmem']), float(y['pmem'])
if a>b:
return -1
elif a<b:
return 1
else:
return 0
def procs():
ll = commands.getoutput('ps aux|grep python').split('\n')
return [i.split() for i in ll]
def dstat(pp):
l = []
for p in pp:
if len(p)<13:
#print 'BA1', p
continue
if p[12] != 'runfcgi':
#print 'BA2', p
continue
s = p[11].split('/')
if len(s) < 3:
#print 'BA3', s
continue
m = {
'uid': p[0],
'pid': p[1],
'pcpu': p[2],
'pmem': p[3],
'vsz': p[4],
'rss': p[5],
'dom': s[3],
'app': s[5],
}
l.append(m)
return l
def pformat(v):
if len(v)>3:
return v[:-3]+'.'+v[-3:]
else:
return v
def printstat(s):
s.sort(ksort)
for i in s:
print "[%10s] {%5s} %20s %14s: CPU%%:%s MEM%%: %s VSZ/RSS: %s/%s Kb" % (
i['uid'], i['pid'], i['dom'], i['app'], i['pcpu'], i['pmem'], pformat(i['vsz']), pformat(i['rss']),
)
if __name__ == '__main__':
printstat(dstat(procs()))
Вот если бы эти примеры принимали параметры с конвеера, или хотя бы как аргумент командной строки…
Примеры с IBM.COM))
if len(password) < 8
Так вот прямо и вытащили пароль, ага. Максимум, что этот модуль выдаст вместо пароль в современных линуксах — это «x» (или "*"), начиная с питона 2.5 есть
модуль spwd, который умеет вытаскивать хеши.
Но и он поставленную задачу не решает.
Что работает? Приведенный скрипт показал, что Ваш пароль короче 8 символов, а он и правда короче? «x» тоже короче 8 символов.
ЗЫ. Ubuntu 8.10 — через модуль pwd пароли не достаются
Я сейчас вижу смысл Python в написании утилит с простым гуи для пользователей, выполняющих какие-то обслуживающие функции (например в учебных классах для
преподавателей — перенос учебных баз пропустившим, чистка для новых слушателей и т.п.), разные обработчики, работающие не через веб-интерфейс
(дополнительная обработка статистики прокси, сайтов, результаты тестирования)… + скрипты по массовому обслуживанию однотипных компьютеров в сети…
+14 900 17 3
GT
+6 1,4k 4 0
+17 3,5k 14 5
GT
+8 2,5k 5 15
+16 1,7k 24 1
Песочница Конфиденциальность