№1 октябрь 2002

журнал для профессиональных системных администраторов,

вебмастеров и программистов

Сканер портов: пример реализации

Программирование сокетов

Настройка почтового сервера: postfix+imap+mysql

Что такое SAMBA?
Python+администрирование

Философия Perl
«Стеммер» — программа морфологического анализа
Оптимизация работы с памятью в Perl
Java – магия отражения
 БЕСПЛАТНАЯ
РЕКЛАМА
БЕСПЛАТНОГО
ПРОДУКТА
WWW.KERNEL.ORG
 Давайте знакомиться — «Системный администратор». В октябре вышел
в свет первый номер нового журнала, который, как я надеюсь, облегчит жизнь
не только системным администраторам, но и программистам сетевых и сервер-
ных приложений, вебмастерам, любознательным студентам и всем тем, кто не
мыслит своей жизни без Интернета.
В этом номере Вы найдете полезные советы, касающиеся программирова-
ния на языках Perl и Java. Ведущий разработчик системы «Рамблер» Андрей
Коваленко делится своим опытом в области морфологического анализа. Дани-
ил Алиевский откроет секреты магии Java в статье «Java - магия отражений». С
помощью материала Вячеслава Калошина Вы сможете своими руками устано-
вить и настроить удобный почтовый сервер. Проектировщикам и студентам стар-
ших курсов будет интересна рубрика «Образование» — в ней представлен об-
ширный теоретический материал-исследование, посвященный проектированию
реляционных баз данных. Роман Сузи решает некоторые задачи администри-
рования с помощью языка Python.
Современные дамы настроены не менее решительно: удастся ли им отвое-
вать место в нише компьютерных «гуру», давно и весьма основательно занятой
мужчинами? Обо всем об этом — на страницах первого номера. Впрочем, все
что Вы будете читать - это результат творческой деятельности авторов. А воп-
рос, почему они используют тот или иной продукт, Вы можете задать им лично
на форуме нашего сайта www.samag.ru . Не сомневаюсь, что и Вам есть чем
поделиться, поэтому ждем Ваших статей и интересных материалов.

Успехов!
Искренне Ваш,
Александр Михалев
СОДЕРЖАНИЕ СОДЕРЖАНИЕ

АДМИНИСТРИРОВАНИЕ ПРОГРАММИРОВАНИЕ
Хеви Хардвэр Работа с текстом, или философия Perl
Установка и настройка коммутаторов Коновалов Евгений
CISCO CATALYST серий 2900XL и 3500 34-41
Всеволод Стахов
8-13 Эффективное использование памяти
в Perl при работе с большими строками
Удобная почтовая система Даниил Алиевский
Вячеслав Калошин 42-45
В статье «Удобная почтовая система»
подробно описывается установка и настройка «Стеммер»
почтового сервера на базе связки postfix+imap Морфологический анализ для
через СУБД mySQL. небольших поисковых систем
14-19 Андрей Коваленко
46-49
Миграция с Windows на Linux
Дмитрий Галышев Java - магия отражений
Автор материала «Миграция c Windows на Linux» Даниил Алиевский
рассматривает последовательность действий, не- 50-57
обходимо для переноса файлового сервера из
Windows NT на Linux и требования к установке ColdFusion или, возможно, лучшее
SAMBA-сервера. решение для создания динамических
20-23 сайтов
Александр Меженков
Что такое SAMBA? 58-61
Сергей Еремчук
24-27 Программирование сервисов в Windows
2000
Python в администрировании сервера: Всеволод Стахов
почему бы и нет? 62-66
Роман Сузи
28-32

2
СОДЕРЖАНИЕ СОДЕРЖАНИЕ

СЕТИ ОБРАЗОВАНИЕ
Анализатор сетевого трафика Взаимные функциональные
Владимир Мешков зависимости
68-71 Андрей Филиппович
Сканер портов: пример реализации «Взаимные функциональные зависимости» —
Владимир Мешков исследование проведено по наиболее распростра-
«Сканер портов» - Целью данной статьи является ненным учебникам, посвященным проектированию
описание принципов функционирования и внутрен- реляционных баз данных. Рассматриваются ошиб-
него устройства простого сканера портов TCP про- ки и нетривиальные моменты, освещаемые
токола. в подобной литературе.
72-76
84-89
Программирование сокетов
Всеволод Стахов CommerceML - стандарт обмена
78-82 коммерческой информацией
в формате XML
Елена Ртищева
90-93
Женщина и компьютер
ТЕНДЕНЦИИ Уступите место женщине
4-5 Евгения Саблина
94
Почему мало женщин в
компьютерных компаниях
FAQ PERL Вячеслав Михалев
95
6, 77
Анонс
96
№1, октябрь 2002 3
 тенденции
Дырка в PGP 7.1
В PGP обнаружилась очень не-
приятная дырочка: при обработке
длинных имен файлов в шифрован-
ном архиве происходит переполне-
ние буфера, со всеми вытекающи-
ми последствиями. Патчик к 7.1.0
и 7.1.1 выпустила Network
Associates. На сайте PGP.COM, ко-
торой NA недавно продала всю ли-
нейку продуктов PGP, и которая
уже анонсировала новую версию
(см. http://www.bugtraq.ru/rsn/
archive/2002/08/18.html) 8.0 пока
тихо.
Источник: CNet [http://
news.com.com/2100-1001-
956815.html?tag=cd_mh ]
Не доверяй никому
Обнаруженная недавно пробле-
ма с ошибочной реализацией SSL
в браузерах Internet Explorer и
Konqueror (последний, впрочем,
уже исправился) в равной мере от-
носится и к другому продукту, ис-
пользующему тот же engine - MS
Outlook.
Отсутствие каких-либо предуп-
реждений о несоответствии серти-
фиката (который, в принципе, ва-
лидный, но принадлежит другому),
позволяет относительно легко под-
делывать цифровые подписи под
сообщениями. Если Microsoft в бли-
жайшее время серьезно не займет-
ся этой проблемой, следует ожи-
дать взрыва злоупотреблений на
этой почве, ведь с использовани-
ем этой уязвимости уже написана
специальная программа - sslsniff,
которая живет по адресу http://
www.thoughtcrime.org/ie.html.
http://www.theregister.co.uk/
content/55/26924.html ]
Linux на SmatrPhone
Linux портирован на SmatrPhone
китайской компанией CMS. Причем
это вполне законченный коммер-
ческий продукт.
http://linuxworld.com.au/
news.php3?nid=1797&tid=1nY
4
Обновлен стандарт
безопасности
Впервые за последние 10 лет был
подвергнут серьезному пересмотру
стандарт безопасности, разработан-
ный Организацией по Экономичес-
кому Сотрудничеству и Развитию
(Organisation for Economic
Cooperation and Development, OECD).
В новом варианте 7799 много вни-
мания уделено вопросам обучения и
изначальной интеграции процедур
безопасности в информационные си-
стемы, а также оценке рисков.
Jeremy Ward, представитель
Confederation of British Industry (CBI)
назвал новый документ «зеленым
светом на информационной супер-
магистрали». Что же, надо почитать,
чего там такого революционного.
Источник: vnunet [ http://
www.vnunet.com/News/1134825 ]
овая программа:
mod_samoylyk - модуль
для динамического
конфигурирования
виртуальных хостов
Модуль для переадресации вир-
туальных хостов с возможностью
установки uid и gid пользователя для
suexec (примерно cgiwrap + suexec
= mod_samoylyk). Описание пользо-
вательских хостов находятся в не-
зависимой базе, при добавлении
или изменении виртуального хоста
перезапуск apache не требуется,
каждый виртуальный хост исполь-
зует примерно 0,3 кб памяти
(VirtualHost в apache сьедает 10,5 кб)
Качать отсюда http://
www.samoylyk.com/modules/
mod_samoylyk.tar.gz
Microsoft латает дырку в
SSL
Вышел бюллетень по недавно об-
наруженной уязвимости в реализа-
ции SSL и патч, исправляющий ее.
Источник: Microsoft [http://
www.microsoft.com/technet/treeview/
default.asp?url=/technet/security/
bulletin/MS02-050.asp ]
Украина переходит на
свободные программы
15 августа на рассмотрение
Верховной Рады Украины подан
проект Закона «Об использова-
нии Открытого (Свободного) про-
граммного обеспечения в госу-
дарственных учреждениях и в го-
сударственном секторе хозяй-
ствования». Все госучреждения и
учреждения и предприятия госу-
дарственного сектора народного
хозяйства должны использовать
только «открытое» ПО, под кото-
рым имеются в виду программы c
открытым исходным кодом, рас-
пространяемые по лицензии GPL,
а также по лицензиям типа
Apache или BSD. Использование
коммерческого программного
обеспечения допускается только
в исключительных случаях и в по-
рядке, изложенном в ст. 6 зако-
нопроекта. При этом, одним из
обязательных требований являет-
ся способнос ть данного про-
граммного обеспечения сохра-
нять информацию в свободных
(открытых) форматах.
Забавно, но при этом сам
текст законопроек та [ht tp://
oracle2.rada.gov.ua/pls/zweb/
webproc34?id=&pf3511=
12883&pf35401=23268 ] набран в
MS Word.
Источник: Верховная Рада Ук-
раины [http://oracle2.rada.gov.ua/
pls/zweb/webproc34?id=&pf3511=
12883&pf35401=23268 ]
Новая программа: ogle -
DVD проигрыватель
(GPL) для Solaris, Linux и
BSD
Проигрыватель DVD видеодис-
ков с поддержкой DVD-меню, по-
зволяет проигрывать криптованые
DVD диски, возможность произво-
дить скриншоты, реализована воз-
можность поиска. Поддерживае-
мые форматы: AC-3, MPEG[2],
LPCM.
http://www.dtek.chalmers.se/
groups/dvd/

Network Associates
купила разработчика
«трояна» DragNet
После улаживания финансово-
го вопроса с акционерами
McAfee.com по возвращению конт-
роля, калифорнийская компания
сетевой безопасности Network
Associates заявила о приобретении
Traxess Inc. из штата Юта.
Основной продукт Traxess —
«DragNet» - программа, которая от-
сылает и воспроизводит нажатия
клавиш с одного компьютера на
другой. Идея программы-шпиона
состоит в контроле действий со-
трудников со стороны службы бе-
зопасности компании. Программа
предназначена для работы в гига-
битных сетях и использует запатен-
тованные технологии, позволяю-
щие «шпиону» загружать вторую
копию файлов вплоть до больших
MP3-файлов или потокового видео,
чтобы можно было увидеть, как
именно неправильно сотрудник ис-
пользует рабочий компьютер.
Председатель Traxess говорит, что
он рад передать продукт, создава-
шийся годами, в такие надежные и,
главное, популярные руки, как
Network Associates.
Network Associates тоже преус-
пела в создании аналогичных про-
грамм, среди которых - платформа
Sniffer («Нюхач» — термин, обозна-
чающий программу перехвата тра-
фика), а точнее — Архитектура Уп-
равления Корпоративным Сниф-
фером — для работы с любыми ви-
дами трафика в высокоскоростных
сетях.
Установка и настройка
Linux на ноутбуке
В руководстве по установке Red
Hat 7.3 на ноутбуке Compaq
Presario 711CL затрагиваются та-
кие моменты как настройка ACPI
подсистемы управления питанием,
мониторинг уровня заряда батарей,
настройка звука и подключение
USB устройств.
ht tp://www.linuxjournal.com/
article.php?sid=6291&mode=thread&order=0Ao
№1, октябрь 2002
Microsoft IIS6: веб-
сервер строгого режима
Проектируя IIS6, разработчики
из Microsoft действовали самоот-
верженно.
Философией софтверного ги-
ганта всегда было создание про-
дуктов, максимально доступных,
максимально «скриптабельных» и
максимально мощных. Теперь все
не так. После двух лет нападок со
стороны секьюрити- консультантов
и интернет-вандалов разработчики
Microsoft решили, что, когда дело
касается интернета, лучшая часть
отваги — это осторожность. Теперь
они думают лишь о том, как поме-
шать пользователям добраться до
разных функций.
Новая программа:
ScanDoc - построение
документации через
сканирование C++
исходников
Программа позволяет проскани-
ровать исходники на C++ и постро-
ить основываясь на комментариях
внутри исходников проиндексиро-
ванную документацию для функций
и блоков сканируемой программы.
http://scandoc.sourceforge.net/
Регулярные выражения
в Perl 6
Продолжение серии статей, посвя-
щенных технологиям Perl 6, цель дан-
ной статьи - знакомство с новыми воз-
можностями построения регулярных
выражений (regex).
http://www.perl.com/pub/a/2002/08/
22/exegesis5.html
MPlayer 0.90-pre7
Удален старый код вроде
libvo2, подчищен libmpcodecs, до-
бавлена поддержка аудио-кодека
sipr и поддержка realvideo, сдела-
ны новые фильтры, переписан ви-
деозахват и многое другое.
ht tp://www.mplayerhq.hu/
homepage
тенденции
Опасные игры
Закон, принятый правитель-
ством Греции, запрещаетэлектрон-
ные игры — даже на мобильном те-
лефоне — под страхом внушитель-
ного штрафа или длительного тю-
ремного заключения.
Можно попасть в тюрьму за
убийство... монстра в видеоигре.
Источник: Zdnet.ru [ http://
zdnet.ru/?ID=287110 ]
Wine Tools -
Wine Tools 1.13
Вышла новая версия Wine
Tools — Wine Tools 1.13. Данная
программа (или скорее набор про-
грамм) умеет:
— Инсталлировать приложения.
— Деинсталлировать их.
— Создавать виртуальный
Windows диск.
— Редактировать конфигурацион-
ный файл Wine.
http://www.franksworld.net/wine/
winetools/s
Linux постепенно
отвоевывает позиции ...
Если верить статье, то все боль-
ше IT специалистов подумывают о
переводе серверов на Linux. 31 про-
цент перевел сервера с Windows,
24 — c других Unix и 14 — с других
операционных систем.
Правда, 46 процентов пока не
владеют серверами на основе Linux
или не собираются переводить —
так что есть куда расти.
http://news.com.com/2100-1001-
956496.html?tag=fd_topM
Ряд статей для людей,
использующих ОС AIX
Журнал SysAdmin Magazine от-
крыл online доступ к некоторым ин-
тересным статьям по OC AIX опуб-
ликованным в 2001 году.
http://www.samag.com/articles/
2001/0106/supplement/
5
 FAQ PERL
Чем отличается
синтаксис скриптов на
UNIX и WIN платформах?
Юниксовые скрипты плохо вос-
принимает досовский перевод стро-
ки — CR LF. Если открыть такой
файл в vi в конце строк будут ^M.
Удалить их можно, например таким
скриптом:
#!/bin/bash
install -d -m 0775 orig
cp $1 orig/$1.orig.“date +%m-%d-%H.%M“
sed -e «s/^M//g» $1 >oooo
mv -f oooo $1
Как мне получить
зашифрованный
пароль?
Стандартной функцией crypt(),
например вот так:
# Calculate salt value for crypt
function
@saltair= split
,»ABCDEFGHIJKLMNOPQRSTUVWXYZ
abcedfghijklmnopqrstuvwxyz0123456789.»;
sub get_salt {
srand();
$iOff = int(rand($#saltair));
$iOff2 = int(rand($#saltair));
return join(«»,$saltair[$iOff],
$saltair[$iOff2]);
}
$crypted_passwd =
crypt($plain_passwd,get_salt());
А как мне проверить
соответствие
введенного пароля
зашифрованному?
Первых два символа пароля со-
джержат шифровальный ключ.
Если, взяв их, зашифровать прове-
ряемый пароль, то зашифрованные
строки должны совпасть. Пример:
if (crypt($entered_passwd,
subst($crypted_passwd,0,2))
eq $crypted_passwd) {
# Ïàðîëü âåðåí
} else {
# Ïàðîëü íå âåðåí
} составил Дмитрий Горяинов
6
Как сделать так, чтобы Как сделать так, чтобы
скрипт работал в программа
фоновом режиме, как гарантированно
демон? работала только в одном
экземпляре?
Варианта два. Первый - восполь-
зоваться модулем Proc::Daemon, Способ первый, принятый в
второй — сделать все самому, при- мире Unix:
мерно так:
$pidfile = “/var/run/mydaemon.pid”;
use strict;
require “sys/syscall.ph”; if (-e $pidfile) {
# aha, pid file is here, but process
# Óñòàíàâëèâàåì ïóòü ïî óìîë÷àíèþ could be dead
$ENV{PATH} = “/bin:/usr/bin”; by now
my $myfile=file_name($0);
# ×èñòî äëÿ ïðèêîëà unless (open(PIDFILE,$pidfile)) {
$0=’mydaemon’; # too dangerous to start because
I can’t read old
# Îòäåëÿåìñÿ îò ðîäèòåëÿ PID
fork() && exit; exit 1;
}
# Îòêëþ÷àåìñÿ îò òåðìèíàëà my $oldpid=<PIDFILE>;
close STDOUT; close STDERR; close close PIDFILE;
# see if there is a process with
STDIN; such pid
# Äåëàåì êîðåíü òåêóæèì êàòàëîãîì if ($oldpid > 1 && kill(0,$oldpid))
{
chdir “/”; # another proccess is running
already
# Ñîçäàåì íîâóþ ñåññèþ è ñòàíîâèìñÿ exit 1;
ëèäåðîì } else {
# ãðóïïû ïðîöåññîâ, ÷òîá íàñ ñëó÷àéíî
íå ïðèáèëè # that process is long dead
}
// syscall(&SYS_setsid); }
# Ïåðåõâàòûâàåì ñèãíàëû, äëÿ êîððåê- # write pid file
òíîãî âûõîäà open (PID, «>$pidfile») or die;
$SIG{“INT”} = $SIG{“QUIT”} =
$SIG{“TERM”} = “quit”; print PID $$;
close(PID);
$SIG{“HUP”} = “ignore”;
# Äåëàåì íàøè òåìíûå äåëà # do some work
...
...
# Âûõîäèì # remove pid file
unlink $pidfile;
quit(); exit(0);
sub quit {
# Ïîìåùàåì ñþäà êîä äëÿ êîððåêòíîãî Способ второй, основанный на
# ïðåêðàùåíèÿ ðàáîòû блокировании файлов:
...
exit(0);
} # make a lock
$lockfilename=»/tmp/mydaemon.lock»;
unless (open
Если Вы хотите написать демо- (LOCKFILE,»>$lockfilename»)) {
die «cannot open lock file\n»;
на, реализующего работу через }
сеть, рекомендуем ознакомиться с unless (flock
(LOCKFILE,LOCK_EX|LOCK_NB)){
модулем Net::Daemon. print «my copy is already
running\n»;
exit(0);
}
# do some work
...
Как защитить мою # unlock lock file
программу, чтобы никто close(LOCKFILE);
не смог её прочитать? unlink($lockfilename);
Perl-сценарий представляет со-
бой открыто распространяемый
код. по материалам www.xpoint.ru
АДМИНИСТРИРОВАНИЕ
 администрирование

ХЕВИ ХАРДВЭР Интеллектуальные свитчи (по-

русски коммутаторы) Cisco
Catalyst серий 2900XL и 3500
предназначены для крупных
корпоративных сетей. Они
представляют собой коммутаторы
высокого класса с
микропроцессорным
управлением, флэш-памятью,
объёмом 4 Мб и DRAM-памятью
объёмом 8мб. На данных
устройствах обычно установлена
специализированная
операционная система Cisco IOS.

УСТАНОВКА И НАСТРОЙКА
КОММУТАТОРОВ CISCO CATALYST СЕРИЙ
2900XL И 3500 ВСЕВОЛОД СТАХОВ
В данной статье я буду преимуще-
ственно говорить о версии 12.0.x.
(отличия версий, в основном, в веб-
интерфейсе и поддержке тех или
иных технологий). На каждый из
коммутаторов может быть установ-
лено программное обеспечение
стандартного (Standard Edition) и
расширенного типа (Enterprise
Edition).
В enterprise edition входят: под-
держка магистралей 802.1Q, прото-
кол TACACS+ для единой авториза-
ции на свитчах, модифицированная
технология ускоренного выбора
Spanning Tree (Cisco Uplink Fast) и
др. Здесь я преимущественно буду
описывать настройку свитчей с по-
мощью интерфейса командной стро-
ки (CLI). Данные свитчи предостав-
ляют множество сервисных возмож-
ностей. Кроме этого, они идеально
подходят для крупных сетей, так как
имеют высокую пропускную способ-
ность — до 3-х миллионов пакетов
в секунду, большие таблицы адре-
сов (ARP cache) — 2048 mac адре-
сов для Catalyst 2900XL и 8192 для
Catalyst 3500, поддерживают клас-
теризацию и виртуальные сети
(VLAN), предоставляют аппаратную
безопасность портов (к порту может
быть подключено только устройство
с определённым mac адресом), под-
держивают протокол SNMP для уп-
равления, используют удалённое уп-
равление через веб-интерфейс и
через командную строку (т.е. через
telnet или модемный порт). Кроме
этого, имеется возможность монито-
ринга портов, т.е. трафик с одного
порта (или портов) отслеживается
на другом. Многим покажется полез-
ной возможность ограничивать ши-
роковещательный трафик на портах,
предотвращая тем самым чрезмер-
ную загрузку сети подобными паке-
тами. Исходя из всего этого, можно
утверж дать, что выбор свитчей
Cisco Catalyst является идеальным
для крупных и средних сетей, так как
несмотря на высокую стоимость
(>1500$), они предлагают широкий
выбор сервисных функций и обеспе-
чивают хорошую пропускную спо-
собность. Наиболее привлекатель-
ными возможностями данных свит-
чей являются: организация вирту-
альных сетей (в дальнейшем VLAN),
полностью изолированных друг от
друга, но синхронизированных меж-
ду свитчами в сети, и возможность
кластеризации для единого входа в
систему управления свитчами и на-
глядного изображения топологии
сети (для веб-интерфейса). Перс-
пективным является использование
многопортового свитча в качестве
центрального элемента сети (в звез-
дообразной архитектуре). Хотя свит-
чи поставляются с подробной доку-
ментацией, но она вся на английс-
ком языке и нередко не сообщает
некоторых вещей, а иногда, напро-
тив, бывает слишком избыточной.
Для начала хотел бы рассказать о
первоначальной настройке свитча.
Итак, Quick Start.

8

Присоединение
консольного кабеля
n Подключите поставляемый плос-
кий провод в разъём на задней па-
нели коммутатора с маркой
console.
n Подключите другой конец кабеля
к com-порту компьютера через со-
ответствующий переходник и запу-
стите программу-эмулятор терми-
нала (например, HyperTerminal или
ZOC).
Порт консоли имеет следующие
характеристики:
n а) 9600 бод;
n b) Нет чётности;
n c) 8 бит данных;
n d) 1 бит остановки.
Важное замечание для кластера
(объединения нескольких коммутато-
ров): если вы хотите использовать
коммутатор в качестве члена класте-
ра, то можно не присваивать ему IP
адрес и не запускать построитель кла-
стера. В случае командного свитча,
вам необходимо выполнить следую-
щий пункт.
n Присвоение IP коммутатору
В первый раз, когда вы запускае-
те свитч, то он запрашивает IP адрес.
Если вы назначаете ему оный, что
весьма желательно, то он может кон-
фигурироваться через Telnet.
Необходимые
требования к IP
Перед установкой необходимо
знать следующую информацию о
сети:
n IP адрес свитча.
n Маска подсети.
n Шлюз по умолчанию (его может и
не быть).
n Ну и пароль для свитча (хотя, ско-
рее всего лучше это придумать са-
мому).
Первый запуск
Выполняйте следующие действия
для присвоения коммутатору IP адре-
са:
Шаг 1. Нажмите Y при первой под-
сказке системы:
Continue with configuration dialog?
[yes/no]: y
№1, октябрь 2002
Шаг 2. Введите IP адрес:
Enter IP address:
Шаг 3. Введите маску подсети и
нажмите Enter:
Enter IP netmask:
Шаг 4. Введите, есть ли у вас
шлюз по умолчанию N/Y, если есть,
то наберите его IP адрес после нажа-
тия Y:
Would you like to enter a default
gateway address? [yes]: y
Шаг 5. Введите IP адрес шлюза:
IP address of the default gateway:
Шаг 6. Введите имя хоста комму-
татора:
Enter a host name:
Шаг 7. Введите пароль. Кроме это-
го, затем на вопрос о пароле для
Telnet ответьте Y и введите пароль для
доступа через Telnet, так как иначе
возможны странности работы с telnet.
У меня, к примеру, подключение
Telnet к свитчу обрывалось по причи-
не: пароль нужен, но не определён:
Enter enable secret:
Создался следующий файл конфи-
гурации:
Initial configuration:
interface VLAN1
ip address 172.16.01.24 255.255.0.0
ip default-gateway 172.16.01.01
enable secret 5 $1$M3pS$cXtAlkyR3/
6Cn8/
snmp community private rw
snmp community public ro
end
Use this configuration? [yes/no]:
Шаг 8. Если всё нормально - жми-
те Y; нет - N (только учтите, что па-
роль хранится в зашифрованном
виде).
Открытие Cisco Visual
Switch Manager Software
После того, как вы присвоили IP
коммутатору, то вы можете конфигу-
администрирование
рировать его через веб-интерфейс с
помощью Cisco Visual Switch или че-
рез консоль (Telnet или модемный
порт). Выбор средства настройки —
ваш выбор, но учтите, что веб-интер-
фейс обладает сильной «тормознуто-
стью», так как основан целиком на
апплетах Java (не забудьте включить
поддержку Java в браузере). Кроме
этого Cisco Visual Switch работает
только в браузерах Microsoft IE и
Netscape (хотя у меня в Netscape 6.0
ничего не работало). К достоинствам
этого типа настройки можно отнести
наглядность, простоту и возможность
получить помощь по всем пунктам.
Интерфейс командной строки являет-
ся немного сложным для тех, кто ред-
ко работает с консолью, но настрой-
ка через командную строку является
очень быстрой и предоставляет до-
полнительные возможности. Альтер-
нативным способом настройки явля-
ется веб-консоль. В ней показывают-
ся в виде гиперссылок допустимые
команды CLI, и вы можете собрать
нужную последовательность команд
как бы из кирпичиков.
Далее, можно настроить VLAN,
вообще термин VLAN — виртуальная
локальная сеть. Такая сеть отличает-
ся от физической LAN лишь тем, что
организуется разделение пакетов в
единой локальной сети так, как если
бы это были разные подсети. Таким
образом, с помощью VLAN можно
организовать деление локальной
сети на отдельные участки. При этом
существует возможность регулиро-
вать взаимодействие VLAN весьма
широко.
Типы VLAN
Нет нужды говорить, что суще-
ствует несколько типов организации
VLAN в сети. Самый простой из них -
статический. Вы назначаете каждому
порту какой-либо номер VLAN, и тра-
фик будет передаваться только на те
порты, что принадлежат тому же
9
 администрирование
VLAN (при этом необязательно, что-
бы они были на том же свитче). При
этом абсолютно исключается возмож-
ность взаимодействия с «чужим» пор-
том. А сами коммутаторы соединяют-
ся между собой посредством особых
каналов связи - trunk магистралей. По
таким магистралям проходят данные
всех VLAN. Но, к сожалению, trunk
порт должен быть point-to-point (о двух
концах) и может подключаться толь-
ко к свитчам и роутерам, поддержи-
вающим VLAN, так как к пакету до-
бавляется 4-х байтный тег, содержа-
щий информацию о VLAN и её при-
оритете. Таким образом, организация
сетевого доменного сервера стано-
вится возможной только при исполь-
зовании роутера. Но сейчас есть вы-
ход в использовании ОС Linux, кото-
рая поддерживает данный протокол
на уровне драйвера ядра, VLAN фи-
гурируют в качестве виртуальных се-
тевых устройств. Здесь нужно только
указать правильный тип инкапсуляции
пакетов - IEEE 802.1q (по умолчанию
используется тип ISL). При этом, если
все VLAN находятся в одной подсети,
то маршрутизация будет проходить
только на уровне статических путей.
Данной теме посвящено достаточное
количество документации, и пакет
10
vlan-utils присутствует во многих со-
временных дистрибутивах Linux
(Mandrake и ALT Linux). С ядра 2.4.9
опция компиляции CONFIGURE_802Q
присутствует на странице NET как эк-
спериментальная, поэтому вы долж-
ны поставить соответствующую оп-
цию CONFIGURE_EXPERIMENTAL(в
ядрах 2.5 эта опция уже не экспери-
ментальная), затем make dep —>
make bzImage. Настройка VLAN со
стороны Linux тоже не должна вызы-
вать трудностей. Для настройки слу-
жит утилита vconfig из пакета vlan-
utils. Для получения этой утилиты, а
также патчей для ядра откройте http:/
/scry.wanfear.com/~greear/vlan.html.
Патч для ядра описан в FAQ на дан-
ной странице, я же ограничусь приме-
ром настройки 2 VLAN на Linux маши-
не:
vconfig set_name_type [name-type] -
òèï íàèìåíîâàíèÿ âèðòóàëüíûõ óñòðîéñòâ,
ìîæåò ïðèíèìàòü ñëåäóþùèå çíà÷åíèÿ:
VLAN_PLUS_VID
èìÿ óñòðîéñòâà áóäåò âûãëÿäåòü òàê:
vlan0005
VLAN_PLUS_VID_NO_PAD
èìÿ óñòðîéñòâà áóäåò âûãëÿäåòü òàê:
vlan5
DEV_PLUS_VID
èìÿ óñòðîéñòâà áóäåò âûãëÿäåòü òàê:
eth0.0005
DEV_PLUS_VID_NO_PAD(ïî óìîë÷àíèþ)
èìÿ óñòðîéñòâà áóäåò âûãëÿäåòü òàê:
eth0.5
Включаем интерфейс физической
сетевой карты, но без IP адреса (в до-
кументации сказано, что если у реаль-
ной сетевой карты есть IP адрес, то vlan
работать не будут, но у меня это про-
шло без особых проблем, главное, что-
бы все сетевые устройсва были в РАЗ-
НЫХ ПОДСЕТЯХ, причём это касается
и виртуальных LAN, иначе вообще ни-
чего работать не будет — проверял):
# ifconfig eth0 0.0.0.0 up
Каждый VLAN добавим на нужный
интерфейс (не добавляйте VLAN по
умолчанию, так как пакеты этого VLAN
идут без инкапсуляции):
# vconfig add eth0 2
# vconfig add eth0 3
Всё, мы прописали VLAN’ы, кото-
рые будут использоваться на интер-
фейсе, нужно присваивать им Ip ад-
реса (тип имени см. выше) в разных
подсетях:
# ifconfig -a
# ifconfig -i vlan0002 192.168.2.1
broadcast 192.168.2.255 netmask
255.255.255.0 up
# ifconfig -i vlan0003 192.168.3.1
broadcast 192.168.3.255 netmask
255.255.255.0 up
Технические параметры
Производительность
Êîììóòàöèîííàÿ øèíà 8.8 Ãáèò/ñåê
Ñêîðîñòü êîììóòàöèè 64-áàéòîâûõ ïà-
êåòîâ
Catalyst 2950-12: 1.8 Ìïàêåò/ñåê
Catalyst 2950-24: 3.6 Ìïàêåò/ñåê
Catalyst 2950T-24: 6.6 Ìïàêåò/ñåê
Catalyst 2950C-24: 3.9 Ìïàêåò/ñåê
Ìàêñèìàëüíàÿ ñêîðîñòü êîììóòàöèè 4.4
Ãáèò/ñåê
8 Máàéòíàÿ ðàñïðåäåëåííàÿ àðõèòåêòó-
ðà ïàìÿòè äëÿ âñåõ
ïîðòîâ
16 Máàéò DRAM è 8 MÁàéò ôëýø ïàìÿòü
Ïîääåðæêà 8,192 MAC àäðåñîâ
Ñòàíäàðòû
IEEE 802.1x support (planned future
software support)
IEEE 802.3x full duplex on 10BaseT,
100BaseTX, and
1000BaseT ports
IEEE 802.1D Spanning-Tree Protocol
IEEE 802.1p CoS
IEEE 802.1Q VLAN
IEEE 802.3ab 1000BaseT specification
IEEE 802.3u 100BaseTX specification
IEEE 802.3 10BaseT specification
Äàííûå âçÿòû ñ ñàéòà amt.ru

Если вы планируете использовать
маршрутизацию в сети, то добавьте
следующее:
# echo 1 > /proc/sys/net/ipv4/
ip_forward
Для удаления VLAN используйте
синтаксис:
# vconfig rem vlan0002
Подобные скрипты удобно пропи-
сать в файле /etc/init.d/network.
Кстати, учтите, что MTU в trunk
магистралях не 1500, а 1504 из-за
того самого тега.
Trunk магистрали поддерживаются
всеми типами свитчей, которые умеют
делать VLAN. Другое преимущество -
использование особого протокола
CISCO, обеспечивающего централизо-
ванное управление всей системой
VLAN - VTP (vlan trunk protokol). Напри-
мер, вы можете на сервере VTP отклю-
чить или включить определённую VLAN.
Широковещательный трафик по умол-
чанию не распространяется между
VLAN. MultiVLAN очень интересный тип
организации VLAN. Он состоит в опре-
делении для порта нескольких допусти-
мых VLAN (например, для экономистов
это могут быть VLAN Economics и Server
для доступа к общим серверам и.т.д.).
Такой тип подходит для организации
сети с помощью одного центрального
Catalyst свитча и нескольких других
свитчей или хабов, к нему подключён-
ных. Общий сервер также должен под-
ключаться к центральному Catalyst
свитчу к multiVLAN порту для общения
со всеми рабочими станциями. Широ-
ковещательные же пакеты будут рас-
пространяться по всей сети (разумно
включить фильтры шторма). Но при
выборе типа VLAN, учтите, что на од-
ном свитче не может быть разных ти-
пов организации VLAN, из-за особен-
ности протоколов (невозможна синхро-
низация внутреннего формата VLAN
пакетов и trunk магистралей, т.к. в пос-
ледних можно указывать лишь один
номер VLAN). Ни в коем случае не со-
единяйте свитчи Catalyst multiVLAN пор-
тами, т.к. это приведёт к тому, что дру-
гой свитч, получивший пакет с
multiVLAN порта, не сможет определить
к какому VLAN он относится и присво-
ит ему VLAN по умолчанию (1 VLAN).
№1, октябрь 2002
Итак, вы подсоединили нуль-мо-
демный кабель или запустили сеанс
telnet. Во-первых, на приглашение
HOST_NAME> надо ответить enable
и ввести пароль к свитчу для полу-
чения доступа к конфигурации. Для
просмотра сведений о свитче набе-
рите show running-config. Подсказка
по интерфейсу CLI. Здесь есть такие
удобства как автодополнение кноп-
кой TAB — наберите начало коман-
ды, например show ru<TAB>, и оно
расширится в show running-config.
Можно в любой момент получить
справку по любому вопросу: просто
нажмите ? и вам будут предложены
возможные параметры команды, на-
пример, show ?. Для повторения пре-
дыдущих или следующих команд
можно использовать курсоры вверх
или вниз. Для пролистывания текста
при запросе —more— нажимайте
пробел для опускания текста вниз на
строк у. Итак, вы набрали show
running-config, после этого отобразит-
ся информация о текущих настрой-
ках. Вначале общая информация о
свитче (адрес, имя, адреса шлюз
и.т.д.), а затем информация о портах.
Здесь особое внимание я бы хотел
обратить на информацию о режиме
VLAN порта: switchport mode %%%%.
Access - ðåæèì ñòàòè÷åñêîé VLAN;
Multi - ìóëüòèVLAN ïîðò;
Trunk - ðåæèì trunk ìàãèñòðàëè;
Dynamic - VPMS ðåæèì.
Следующий параметр switchport по-
казывает особые параметры для дан-
ного типа порта. Например для access
это единственный идентификатор
VLAN, для multi - список допустимых
VLAN, разделённых «,» или «—» для
указания промежутка VLAN. Таким об-
администрирование
разом, после сделанных изменений
неплохо было бы смотреть, что имен-
но произошло.
Для постоянного сохранения пара-
метров настройки наберите write
memory. Для перезагрузки свитча ис-
пользуйте команду reload. И заканчи-
вая эту тему, подскажу, как сбросить
настройки свитча после неудачных
опытов:
>enable
#rename flash:config.text
flash:ÄÐÓÃÎÅ_ÈÌß.text
#reload
Если вы забыли пароль, то дело
ещё хуже. Для смены пароля нужно:
n Выключить питание свитча.
n Подсоединить нуль-модемный ка-
бель.
n При включении питания удержи-
вать кнопку mode.
n При появившейся подсказке на-
брать flash_init (инициализация
файловой системы).
n rename flash:config.text flash:
ДРУГОЕ_ИМЯ.text
n Перезагрузите свитч.
Кстати, по опыту знаю, что всегда
надо писать flash:, хотя где-то имена
файлов принято искать вначале на
flash:, но это не везде срабатывает.
Однажды я попытался обновить опе-
рационную систему, сгрузил файл
ядра и написал boot имя_файла (за-
был flash:) - последствия были печаль-
ными: свитч отказывался найти ядро
и не загружался, а так как он был в
труднодоступном месте, то всё было
ещё печальнее.
Вы сразу же приступите к началь-
ному конфигурационному диалогу.
Для выхода из вложенных режимов
11
 администрирование
конфигурации нажимайте exit. Для
полного выхода наберите два раза
exit. Итак, приступим к настройке
VLAN. Предполагаю, что вы уже на-
ходитесь в режиме конфигурации:
(config)# interface FastEthernet x/x
(íóæíûé âàì ïîðò), çàòåì âû â ðåæèìå
êîíôèãóðàöèè ïîðòà - (config-if)#
Теперь вам доступны любые дос-
тупные изменения конфигурации пор-
та. Наименование порта происходит
по следующей схеме:
n Тип порта (FastEthernet (100 Мб),
Ethernet (10 Мб), Gigabit (1 Гб)).
n Номер модуля (0 для встроенных
портов и далее 1, 2, 3 для допол-
нительных модулей).
n Номер порта в модуле.
Для получения списка допустимых
команд, как обычно, можно нажать ?.
Подробнее остановлюсь на команде
switchport mode, определяющей ре-
жим работы порта для VLAN. Допус-
тимые значения access (статический
доступ), multi (мультидоступ) и trunk
(режим туннельной магистрали). Для
конфигурации конкретного режима
нужно применять:
switchport access vlan ID - åäèíñòâåí-
íàÿ vlan
switchport multi vlan ID, ID, ID èëè
switchport multi vlan ID-ID, ID-ID, ID
- ñïèñîê äîïóñòèìûõ vlan
switchport trunk allowed vlan LISTID
- äîïóñòèìûå äëÿ ìàãèñòðàëè vlan(ïî óìîë-
÷àíèþ 1-1005)
prunning vlan LISTID - ôèëüòðàöèÿ
øèðîêîâåùàòåëüíîãî òðàôèêà ìåæäó vlan
encapsulation - òèï ïàêåòà(disl èëè
dot1q - IEEE 802.1q)
native vlan ID - äëÿ trunk ìàãèñòðà-
ëè òèïà IEEE 802.1q íîìåð vlan, äëÿ êî-
òîðîé íå èçìåíÿåòñÿ ôîðìàò ïàêåòà (ïî
óìîë÷àíèþ 1 vlan)
Для отмены каких-либо значений
воспользуйтесь командой no
switchport ... и применяйте те же ко-
манды, что и для включения опций, но
применяйте их в обратном порядке, то
есть:
no switchport multi vlan ...
no switchport mode multi
Не забудьте посмотреть результа-
ты вашей работы:
(config-if)#exit
(config)#exit
#show running-config
#write memory - åñëè íàäî çàïèñàòü
íàñòðîéêè
12
Для осмысленной настройки VLAN
можно использовать базу данных VLAN:
#vlan database
(vlan)#
(vlan)#show - äëÿ ïîêàçà ñîñòîÿíèÿ
vlan íà äàííîì ñâèò÷å:
Далее можно поменять настройки
конкретной VLAN:
(vlan)#vlan ID ? - ñïèñîê âîçìîæ-
íûõ íàñòðîåê:
Например, name - настройка имени
для данной vlan. Довольно удобно да-
вать VLAN осмысленные имена, но нуж-
но иметь в виду, что если на разных
свитчах одни и те же vlan будут иметь
разные имена, то это может вызвать
путаницу в дальнейшем обслуживании.
VTP — протокол trunk магистра-
лей — позволяет централизовать уп-
равление vlan с сервера VTP. Инфор-
мация от сервера распространяется
к клиентам через trunk магистрали.
В ней содержится полная информа-
ция о VLAN, сконфигурированных на
сервере. Клиент, в соответствии с
этой конфигурацией, выполняет син-
хронизацию своей конфигурации.
Для настройки VTP в режим сер-
вера выполните следующее:
n В основном режиме войдите в раз-
дел конфигурации VLAN.
vlan database
n Введите имя домена VTP(1 — 32
символов).
vtp domain domain-name
n (Необязательно) Установите па-
роль для домена(1-64 символа).
vtp password password-value
n Установите нужный режим VTP
для данного свитча (клиент/сер-
вер).
vtp server(client)
n Возвращаемся в основной режим.
exit
n Проверяем настройки VTP.
show vtp status
Пример настройки VTP сервера:
# vlan database
(vlan)# vtp domain Avitek
Óñòàíîâêà èìåíè äîìåíà Avitek
(vlan)# vtp domain Avitek password LAVA
Óñòàíîâêà ïàðîëÿ äëÿ äàííîãî äîìåíà.
(vlan)# vtp server
Âêëþ÷åíèå ðåæèìà VTP ñåðâåðà.
(vlan)# exit
Íàñòðîéêè ïðèìåíåíû.
Âûõîäèì....
# show vtp status
VTP Version : 2
Configuration Revision : 0
Maximum VLANs supported locally : 68
Number of existing VLANs : 6
Семейства
коммутаторов Cisco
Catalyst 2900XL/3500XL
Семейство коммутаторов 2-го
уровня Catalyst 2900XL представле-
но пятью различными моделями:
1) WS-C2912-XL — содержит 12
универсальных портов 10/100
Mbps Ethernet с автоматическим
определением скорости и режи-
ма передачи;
2) WS-C2924-XL — содержит 24

универсальных порта 10/100
Mbps Ethernet с автоматическим
определением скорости и режи-
ма передачи;
3) WS-C2924M-XL — содержит 24
универсальных порта 10/100
Mbps Ethernet с автоматическим
определением скорости и режи-
ма передачи, а также два слота
для установки дополнительных
интерфейсных карт;
4) WS-C2924С-XL — содержит 22
универсальных порта 10/100
Mbps Ethernet с автоматическим
определением скорости и режи-
ма передачи, а также два опти-
ческих порта 100 Mbps Fast
Ethernet;
5) WS-C2912MF-XL — содержит 12
оптических портов 100 Mbps
Ethernet, а также два слота для
установки дополнительных ин-
терфейсных карт.
В состав семейства коммутато-
ров Catalyst 3500XL входит три мо-
дели:
1) WS-C3512-XL — содержит 12
универсальных портов 10/100
Mbps Ethernet с автоматическим
определением скорости и режи-
ма передачи, а также два порта
Gigabit Ethernet;
2) WS-C3524-XL — содержит 24
универсальных порта 10/100
Mbps Ethernet с автоматическим
определением скорости и режи-
ма передачи, а также два порта
Gigabit Ethernet;
3) WS-C3508G-XL — содержит 8
портов Gigabit Ethernet.
Комму таторы этих семейс тв
предназначены для работы в каче-
стве сетевого оборудования рабо-
чих групп среднего и малого разме-
ра и имеют для своего класса очень
высокую производительность — до
3-х миллионов пакетов в секунду, ко-
торая обеспечивается мощным мо-
дулем коммутации архитектурой
коммутатора, использующей разде-
ляемую память, беспрецендентные
механизмы управления и контроля
за работой устройства и т.п. Высо-
кая производительнос ть серии
2900XL подтверждена в серии испы-
таний таких тестовых лабораторий
как Mier, ZDnet и др.
№1, октябрь 2002
Коммутаторы семейств 2900XL,
3500XL, а также Catalyst 1900/2820
могут объединяться в стеки (до 16
устройств) при помощи соединений
Fast Ethernet, Fast EtherChannel (аг-
грегирование Fast Ethernet по 2 или
4 канала), а также Gigabit Ethernet и
Gigabit EtherChannel. Максимальное
количество портов, которое может
быть установлено в одном стеке рав-
но 380. Такой стек является единым
объектом сетевого управления, ко-
торое может выполняться как при
помощи командного языка CLI с кон-
соли или при помощи протокола
telnet, так и при помощи специали-
зированных систем управления типа
CWSI (Cisco Works for Switched
Internetworks), так и при помощи
WEB-технологии c любой рабочей
станции, оснащенной программами
просмотра Netscape или Internet
Explorer.
Как и все коммутаторы, входя-
щие в семейство Catalyst устройства
2900/3500 обеспечивают построе-
ние виртуальных сетей (в варианте
программного обеспечения
Enterprise), режим безопасности,
при котором к коммутатору могут
быть подключены только станции с
указанными MAC-адресами, 4 груп-
пы RMON, специальный порт для
контроля трафика, проходящего че-
рез группу портов или в заданном
VLANе и др.
Модульные модели коммутато-
ров (WS-C2924M-XL, WS-C2912FM-
XL) позволяют устанавливать допол-
нительные 4-х портовые модули 10/
100 Mbps Ethernet (витая пара), 2-х
и 4-х портовые 100 Mbps Ethernet
(оптика мультимод), однопортовые
модули Gigabit Ethernet (мультимод,
мономод), а также однопортовые
модули ATM 155 Mbps (витая пара,
мультимод, мономод). Мономодовые
модули для ATM и Gigabit Ethernet
могут быть выполнены в различных
вариантах дальности, при этом пре-
дельная длина оптических каналов
может достигать 70 км. Трансиверы
Gigabit Ethernet (GBIC — Gigabit
Interface Converter), устанавливае-
мые в комму таторах семейства
Catalyst 3500XL, а также в соответ-
ствующих модулях для коммутато-
ров семейства Catalyst 2900XL явля-
ются сменными, что позволяет гиб-
администрирование
ко и эффективно конфигурировать
коммутаторы для подключения к
каналам требуемого типа.
На каждый из коммутаторов мо-
жет быть установлено программное
обеспечение стандартного (Standard
Edition) и расширенного типа
(Enterprise Edition). Расширенная ре-
дакция дополнительно поддержива-
ет транкинг (ISL/802.1Q), протокол
TACACS+ для регламентации досту-
па к коммутаторам, модифициро-
ванную технологию ускоренного вы-
бора Spanning Tree (Cisco Uplink
Fast) и др.
Технические
спецификации
Производительность:
1) 3.2 Gbps — коммутирующих мо-
дуль (для моделей Catalyst
2900XL);
2) 10.0 Gbps — коммутирующих мо-
дуль (для моделей Catalyst
3500XL);
3) 3.0 million-pps пропускная спо-
собность (64-х байтовые пакеты,
Catalyst 2900XL);
4) 7.5 million-pps пропускная спо-
собность (64-х байтовые пакеты,
Catalyst 3500XL);
5) 4-MB разделяемая память;
6) 8-MB DRAM and 4 MB Флэш-па-
мять;
7) 2048 MAC-адресов (Catalyst
2900XL);
8) 8192 MAC-адресов (Catalyst
3500XL).
Управление:
SNMP Management Information
Base (MIB) II, SNMP MIB extensions,
Bridging MIB (RFC 1493).
Поддерживаемые стандарты:
1) IEEE 802.3x full duplex;
2) IEEE 802.1D Spanning-Tree
Protocol;
3) IEEE 802.1Q VLAN;
4) IEEE 802.3z, IEEE 802.3x;
5) IEEE 802.3u 100BaseTX and
100BaseFX specification;
6) IEEE 802.3 10BaseT specification;
7) IEEE 802.3z, IEEE 802.3x
1000BaseX specification;
8) 1000BaseX (GBIC) —
1000BaseSX, 1000BaseLX/LH,
1000BaseZX.
13
администрирование

УДОБНАЯ
ПОЧТОВАЯ СИСТЕМА ВЯЧЕСЛАВ КАЛОШИН
Итак, задача - завести почтовую систему, в которой вся информация о
пользователях, доменах и прочем лежала бы в базе данных. Зачем это нужно?
Лично для меня это стало актуально после того, как в поддерживаемых мной
системах пользователи начали плодиться как кролики. Заводить на каждого свой
аккаунт, смотреть, чтобы они не пересекались и не пользовались чужими
доменами и так далее. Наконец, мне все надоело и я решил сделать ЭТО.
До сих пор возникает множество воп- на других системах. Все необходимые вирус. Нет такой толпы глюков, на ко-
росов по установке и настройке почто- программы и пакеты вы сможете найти торые бы я периодически не напары-
вой системы на основе Postfix, Cyrus- в окрестностях freshmeat.net. вался, глядя на AVP. Тем более, что он
SASL, MySQL, Courier-IMAP, Dr.Web, Если вы желаете задать мне воп- даже с тривиальной лицензией спокой-
SquirrelMail. рос, задавайте по мылу: но выполняет работу почтового фильт-
Если использовать приведенный multik@multik.ru, но прежде прочтите ра. Правда, с купленной лицензией бу-
ниже опус в качестве банальной инструк- хотя бы PostfixFAQ на www.postfix.org — дет гораздо спокойнее — вирусы даже
ции, у вас должна получиться легко мас- ответы на 90% вопросов, на которые я в архивах не пройдут. Но — если нет
штабируемая и управляемая система, ко- не отвечаю, есть там. Еще одно усло- лицензии, то — нет.
торая без проблем — как со стороны ад- вие — сначала обдумайте и прочтите — SquirrelMail — это просто един-
мина, так и со стороны железа — спо- все сообщения системы в /var/log/ ственная система Web-based почты, ко-
койно будет тянуть по 5-10 тысяч почто- messages и /var/log/maillog — обычно торая не вызывает брезгливой реакции
вых пользователей. При этом нет раз- там есть исчерпывающая информация, при первом, главное, при последующих
ницы: сколько почтовых доменов заве- почему не работает что-либо. взглядах. Плюс, она приемлемо рабо-
дено в системе, как называются пользо- Для нормальных: Просто мне тает с русским языком.
ватели и так далее. Ибо с системными ОЧЕНЬ надоели письма вида: «А чего Теперь устанавливаем SASL. К со-
они никак не коррелируют. оно не работает, когда я сделал все так, жалению, установить его из RPM не по-
Пользователи же получат стандар- как ты написал?». лучится. Все, что я видел до этого, со-
тный набор сервисов: SMTP с аутенти- И последнее — специально для тех, брано либо не так, либо не туда. В об-
фикацией, pop и imap сервисы, доступ кто задается вопросом: «Почему я выб- щем, неработоспособное. Но вы може-
к почте через браузер, плюс, чистую от рал postfix? Ведь есть стандарт-де-фак- те попытать удачу.
вирусов почту. то sendmail. Есть еще exim,qmail и куча
Теперь оговорки. Данный текст на- других почтовых серверов». Отвечаю: # tar zxvf cyrus-sasl-1.5.27.tar.gz
писан в расчете на тех, кто уже пони- — Sendmail я вынужден сразу ски- # cd cyrus-sasl-1.5.27.
мает механизмы, происходящие внут- нуть со счетов. То, что описывается
ри Linux. Если вы неделю как постави- ниже, sendmail не способен выполнить. Заберите патч для поддержки
ли Linux и желаете с помощью этого до- Или способен, но с очень большими уси- MySQL и LDAP отсюда: http://
кумента поставить свой hotmail.com, то лиями администратора системы. Я, по- www.surf.org.uk/downloads/sasl-1.5.27-
я ни за что, как обычно, не отвечаю. Все чему-то органически не могу смотреть ldap-ssl-filter-mysql-patch4.tgz.
логи и прочее были взяты с моей рабо- на творение djb. Ну а exim я просто не Распакуйте полученный архив и по-
чей системы. Я ничего не выдумывал и видел. ложите sasl-ldap+mysql.patch в корень
не придумывал — это все работает ре- — Courier-IMAP выбран по другой дерева исходников SASL.
ально. причине: где-то с полгода назад он ока-
В качестве базовой системы исполь- зался единственным IMAP сервером, # patch -b -p1 < sasl-ldap+mysql.patch
# autoheader
зовался RedHat 7.2. Но аналогично по- который смог собраться на моей маши- # autoconf
строенные системы работают и на не и работать под нагрузкой, не требуя # automake -i.
RedHat6.2, и ASPLinux 7.2. Поэтому не к себе внимания.
вижу причин, почему бы им не работать — Dr.WEB — просто хороший анти- Вот и все, патч установлен. Да-

14

вайте сконфигурируем SASL.
# ./configure —with-mysql=/usr/
include/mysql —enable-login.
Соберем и установим его:
# make
# make install
# ln -s /usr/local/lib/sasl /usr/lib/
sasl
# echo /usr/lib/sasl >> /etc/
ld.so.conf
# ldconfig
# cd ..
Устанавливаем методы аутенти-
фикации:
# cat > /usr/local/lib/sasl/smtpd.conf
pwcheck_method: mysql
mysql_user: postfix
mysql_passwd: postfix
mysql_host: localhost
mysql_database: mail
mysql_table: aliases
mysql_uidcol: alias
mysql_pwdcol: password
^D
Теперь пришла очередь postfix.
Здесь ситуация та же. В принципе по
сети бродит много rpm, которые со-
держат в себе откомпилированный
postfix с поддержкой MySQL. Я пред-
почитаю собрать его сам, и быть
«чуть-чуть» уверенным в том, что я
знаю, что собрал.
# tar zxvf postfix-1.1.11.tar.gz
# cd postfix-1.1.11.
Следующие строчки — это одна
команда. Ее следует вводить в один
прием.
# make -f Makefile.init makefiles
«CCARGS=-DHAS_MYSQL -DUSE_SASL_AUTH
-I/usr/include/mysql
-I/usr/local/include
-L /usr/local/lib -lsasl
-lmysqlclient»
Собираем и устанавливаем:
# make
# adduser postfix
# groupadd postdrop
# make install
Вот ответы, которые я дал инстал-
лятору:
install _ root: [/]
tempdir: [/usr/src/post/postfix-
1.1.11] /tmp
config_directory: [/etc/postfix]
daemon_directory: [/usr/libexec/
postfix]
command_directory: [/usr/sbin]
queue_directory: [/var/spool/postfix]
sendmail_path: [/usr/sbin/sendmail]
newaliases_path: [/usr/bin/newaliases]
mailq_path: [/usr/bin/mailq]
mail_owner: [postfix]
администрирование
setgid_group: [postdrop]
manpage_directory: [/usr/local/man]
sample_directory: [/etc/postfix]
readme_directory: [no]
Ура. Postfix встал. Теперь наша за-
дача его отконфигурировать.
# cd /etc/postfix/
# mcedit main.cf
Весто mcedit может быть vi, emacs
или любой другой предпочитаемый
вами текстовый редактор — это не-
критично.
Редактируем главный файл кон-
фигурации postfix, обращая внимание
на следующие строчки:
broken_sasl_auth_clients = yes
smtpd_sasl_auth_enable = yes
transport_maps = mysql:/etc/postfix/
transport.cf
virtual_mailbox_base = /
virtual_uid_maps = mysql:/etc/postfix/
ids.cf
virtual_gid_maps = mysql:/etc/postfix/
gids.cf
virtual_mailbox_maps = mysql:/etc/
postfix/aliases.cf
virtual_maps = mysql:/etc/postfix/
remote_aliases.cf
relay_domains = $transport_maps
smtpd_recipient_restrictions =
p e r m i t _ m y n e t w o r k s ,
permit_sasl_authenticated,check_relay_domains
disable_vrfy_command = yes

Установка и настройка MySQL
из исходных текстов
Для установки MySQL, необходимо:
n иметь gcc выше, чем 2.8.1 (egcc 1.0.2), рекомендуется
2.95.2;
n создать директорию для сборки, распаковать в нее
mysql-3.23.32.tar.gz/mysql-3.23.37.tar.gz (взять на
http://download.sourceforge.net/mirrors/mysql/);
n для версии ранее 3.23.34 распаковать туда db-
3.2.3h.tar.gz (это специальная версия bdb для MySQL)
n создать группу mysql;
n создать пользователя mysql (в группе mysql) (зачем ему
bash?);
n ./configure —prefix=/usr/local/mysql — localstatedir=/
usr/local/mysql/data — with-unix-socket-path=путь —
with-mysqld-user=mysql — disable-large-files — with-
libwrap — without-debug — with-charset=cp1251 —
with-extra-charsets=all;
n make (70MB/91MB);
n если upgrade, то остановить mysql, сохранить базы дан-
ных и my.cfg (не забыть потом удалить!);
n make install (как root)(16 MB, из них 5МБ - тест):
• /usr/local/mysql/lib/mysql — эту директорию указывать
для libtool, либо занести в /etc/ld.so.conf.
n при первой установке: scripts/mysql_install_db (как
root — создание таблиц с правами доступа, дает все
права пользователю root без пароля и позволяет де-
лать все с базами test и test_*, кроме раздачи при-
вилегий);
n chown -R root:mysql /usr/local/mysql (как root);
n chown -R mysql /usr/local/mysql/data (и отдельную ди-
ректорию для mysql.sockets с правами чтения для
всех; mysql не нужны права на запись для my.cnf);
n support-files/mysql.server в /etc/rc.d/init.d для автома-
тического запуска и дать ему права на исполнение
и сделать линк K00mysql из rc0.d и rc6.d на него,
S99mysql из rc2.d, rc3.d и rc5.d на него;
n скопировать my-medium.cnf в /usr/local/mysql/data/
my.cnf и слегка отредактировать [mysqld]:
• socket=имя-файла под Unix-socket (и в раздел [client]
тоже);
• skip-locking (не блокировать доступ к данным от ДРУ-
ГИХ процессов);
• log-bin #журнал изменений для репликации;
• log-slow-queries;
• log-update #журнал изменений;
• skip-networking #если не нужен доступ по TCP/IP (а еще
лучше использовать ssh + port forward);
• safe-show-database;
• skip-show-database.
n тестовый запуск: /usr/local/mysql/bin/safe_mysqld —
user=mysql (как root)(или сразу /etc/rc.d/rc3.d/S99mysql
start);

№1, октябрь 2002 15

администрирование
n /usr/local/mysql/bin/mysqladmin — u root — p password n — enable-static (10% быстрее)[yes];
“пароль” (при запросе пароля нажать Enter); n — with-mit-threads (для linux 2.2 не надо);
n /usr/local/mysql/bin/mysqladmin — u root — h n — with-pthread (для linx 2.2 не надо);
localhost.localdomain -p password “пароль” (надо ли?); n — with-named-thread-libs=где;
n установка интерфейса с Perl: n — with-named-curses-libs=где;
• взять на www.mysql.com модули Data-Dumper, DBI и n — with-named-z-libs=где;
Msql-Mysql-modules; n — enable-thread-safe-client (если клиентская програм-
• каждый распаковать в отдельную директорию (Msql- ма использует потоки);
Mysql-modules последним); n— enable-assembler;
• зайти в нее; n— with-raid;
• perl Makefile.PL (опционально хочет RPC::PlServer, n— with-unix-socket-path=куда-класть-unix-socket;
RPC::PlClient, Storable, Net::Daemon); n— with-tcp-port=порт [3306];
• make; n— with-mysqld-user=имя-пользователя-для-mysqld;
• make test (mysqld должен работать); n— disable-large-files;
• make install (как root). n— with-libwrap;
n тестирование: n— without-debug (15% быстрее);
• зайти в sql-bench; n— without-server;
• ./run-all-tests — user=test (нужны права для записи в n— without-docs;
директорию output, час времени и 200 МБ на диске) n— without-bench;
(connect/disconnect временами грохает mysqld!); n— without-readline (использовать системный readline
• можно удалить sql-bench и mysql-test. вместо встроенного);
n настроить права доступа (как минимум, убрать ано- n — with-charset=кодировка-по-умолчанию (cp1251,
нимный доступ). koi8_ru, latin1, ...);
n — with-extra-charsets=список-дополнительных-кодиро-
Опции ./configure вок (включая - none, complex, all);
n — prefix=куда-устанавливать (множество мелочных оп- n — with-berkeley-db;
ций по установке); n — with-innodb;
n — enable-maintainer-mode [no]; n — with-gemini (Gemini DB).
n — enable-shared (делать разделяемые библиотеки)[yes]; Остальное смотрите на сайте www.mysql.com

Что они означают и каково их дей- # cat > remote_aliases.cf дется разбираться, что не понрави-
ствие, вы можете прочитать в доку- user = postfix лось системе.
password = postfix
ментации по postfix или в FAQ.Теперь dbname = mail Теперь необходимо создать
разбираемся, где и что у нас лежит. table = remote_aliases пользователя и все необходимые таб-
select_field = rcpt
where_field = alias лицы с помощью вызова mysql — p:
# cat > transport.cf hosts = localhost
user = postfix ^D
password = postfix mysql> create database mail;
dbname = mail Обратите внимание на отсутствие Query OK, 1 row affected (0.62 sec)
table = transport mysql> grant insert, select, delete,
select_field = transport лишних пробелов и других невидимых update on mail.* to postfix@localhost
where_field = domain знаков в концах строчек — это важно! identified by «postfix»;
hosts = localhost Query OK, 0 rows affected (0.72 sec)
^D Как, наверное, стало понятно из mysql> use mail;
# cat > ids.cf вышеприведенных файлов, я указал Database changed
user = postfix
password = postfix postfix искать MySQL на localhost, под- mysql> create table transport (domain
dbname = mail ключаться пользователем postfix с па- varchar(255) PRIMARY KEY, transport
table = aliases char(8));
select_field = id ролем postfix, использовать базу дан- Здесь будет храниться информация о
where_field = alias ных mail. Конечно, эти данные всего
hosts = localhost доменах, обслуживаемых postfix.
^D лишь для примера — вы должны или
# cat > gids.cf их изменить или понять чем грозит ис- mysql> create table aliases (id int(6),
user = postfix gid int(6), alias varchar(255) PRIMARY
password = postfix пользование паролей, сходными с ло-
KEY, maildir varchar(255), password
dbname = mail гинами. Понятно, что эти файлы не- varchar(128), infovarchar(128));
table = aliases
select_field = gid зачем читать всем (намек на правиль- Здесь информация о почтовых пользо-
where_field = alias ный chmod). вателях системы.
hosts = localhost
^D. Проверяем, все ли в порядке.
# cat > aliases.cf mysql> create table remote_aliases
user = postfix (alias varchar(255) PRIMARY KEY,
password = postfix # postfix check. rcptvarchar(255));
dbname = mail А здесь информация о почтовых пере-
table = aliases
select_field = maildir Команда должна отработать без адресациях и прочем. Небольшие списки
where_field = alias каких-либо сообщений об ошибках. рассылки тоже можно включать сюда.
hosts = localhost
^D Если все-таки она что-то вывела, при-

16
 администрирование
Проверьте, имеет ли пользователь В /var/log/messages должны по- # authlib/authinfo
postfix доступ к MySQL. явиться аналогичные строчки: AUTHENTICATION_MODULES=«authdaemon»
AUTHDAEMONMODULELIST=«authcustom
# mysql -u postfix -p authcram authmysql authuserdb authpam»
Jun 28 16:24:21 multik postfix/ SASL_AUTHENTICATION_MODULES=«CRAM-
smtpd[21863]: connect frommultik.ip- SHA1 CRAM-MD5 PLAIN LOGIN»
Запускаем postfix. tel.int[127.0.0.1]
Jun 28 16:24:23 multik postfix/
# postfix start smtpd[21863]: 252BFEEAE6: Обращаем внимание на наличие
postfix/postfix-script: starting the client=multik.ip-tel.int[127.0.0.1]
Postfix mail system Jun 28 16:24:32 multik postfix/ authmysql. Иначе разбираемся, поче-
cleanup[21919]: 252BFEEAE6:message- му не так.
id=<20020628122423.252BFEEAE6@mail.test.ru>
И в консоли MySQL добавляем до- Jun 28 16:24:32 multik postfix/ Выходим из-под пользователя
мен test.ru. qmgr[21762]: 252BFEEAE6: courier и устанавливаем демонов:
from=<multik@test.ru>,size=340, nrcpt=1
(queue active)
Jun 28 16:24:32 multik postfix/ # exit
mysql> insert into transport values virtual[21921]: 252BFEEAE6: # make install
(“test.ru”,’virtual:’); to=<multik@test.ru>,relay=virtual, # make install_configure
delay=9, status=sent (maildir)
И пользователя multik@test.ru. Об- А теперь отдадим дань конфигури-
ратите внимание на путь к почтовому Если мы посмотрим в почтовый рованию:
каталогу пользователя и на заверша- спул, то увидим, что письмо принято
ющий «/» в конце строки. и дожидается своей очереди. # cd /usr/lib/courier-imap/etc/
# cp authdaemonrc.dist authdaemonrc
mysql> insert into aliases # ls -lR /var/spool/vmail
values(1000,12,’multik@test.ru’,’/var/ /var/spool/vmail:
spool/vmail/test.ru_multik/ Редактируем authdaemonrc — на-
èòîãî 4
’,’testpassword’,’info’); drwx——— 5 1000 mail 4096 ходим строчку:
Èþí 28 16:26 test.ru_multik
Число 1000 я взял из головы — /var/spool/vmail/test.ru_multik: authmodulelist=«authcustom authcram
главное, что бы оно было больше пос- èòîãî 12 authuserdb authmysql authpam»
drwx——— 2 1000 mail 4096
леднего UID в системе. В RedHat Èþí 28 16:26 cur
пользовательские UID начинаются с drwx——— 2 1000 mail 4096 и оставляем от нее только такой вот
Èþí 28 16:26 new
500, поэтому я думаю, что 500 локаль- drwx——— 2 1000 mail 4096 огрызок:
ных пользователей вполне достаточ- Èþí 28 16:26 tmp
/var/spool/vmail/test.ru_multik/cur:
но. А 12 — это GID группы mail на моей èòîãî 0 authmodulelist=«authmysql»
системе.
/var/spool/vmail/test.ru_multik/new:
Проверяем, что у нас получилось. èòîãî 4 Другие строки НЕ ТРОГАЕМ.
Заметьте, мы добавили пользователя -rw——— 1 1000 mail 389 Теперь указываем, где искать
Èþí 28
без затрагивания postfix и других под- 16:261025267217.21935_0.multik.ip- MySQL и информацию о пользовате-
систем — это открывает большой про- tel.int лях:
стор для написания различных управ- /var/spool/vmail/test.ru_multik/tmp:
ляющих почтовой системой про- èòîãî 0 # cat > authmysqlrc
грамм. MYSQL_SERVER localhost
MYSQL_USERNAME postfix
Создаем каталог, где будет хра- Теперь подошла очередь установ- MYSQL_PASSWORD postfix
ниться почта и устанавливаем на него ки IMAP и POP3 демонов. Иначе MYSQL_PORT 3306
MYSQL_DATABASE mail
права. пользователям не через что будет по- MYSQL_USER_TABLE aliases
лучать почту. (Из одного письма: «А MYSQL_CLEAR_PWFIELD password
DEFAULT_DOMAIN test.ru
# mkdir /var/spool/vmail чего у меня sendmail не отдает по pop3 MYSQL_UID_FIELD id
# chown nobody.mail /var/spool/vmail MYSQL_GID_FIELD gid
# chmod 770 /var/spool/vmail почту Outlook’у ?»). MYSQL_LOGIN_FIELD alias
Распаковываем и собираем MYSQL_HOME_FIELD maildir
И проверяем, как у нас работает Courier-IMAP. MYSQL_NAME_FIELD info
MYSQL_MAILDIR_FIELD maildir
прием почты: ^D
# tar zxvf courier-imap-1.5.1.tar.gz
$ telnet localhost 25 # adduser courier
# chown courier.courier courier-imap- Опция DEFAULT_DOMAIN указы-
Trying 127.0.0.1...
Connected to localhost. 1.5.1 вает, что добавлять к логину, если
Escape character is “^]”. # cd courier-imap-1.5.1
# su - courier пользователь пытается ввести логин
220 mail.test.ru ESMTP Postfix
mail from: multik@test.ru # cd /{êóäà ðàñïàêîâûâàëè}/courier- без доменной части. Остальное, я ду-
250 Ok imap-1.5.1
# ./configure маю, понятно из названия и описаний.
rcpt to: multik@test.ru
250 Ok # make И запускаем pop3.
data
354 End data with <CR><LF>.<CR><LF>
hello Тут останавливаемся и проверяем, /usr/lib/courier-imap/libexec/
. что у нас есть из демонов, которые бу- pop3d.rc start
250 Ok: queued as 252BFEEAE6
дут проверять почту:

№1, октябрь 2002 17

администрирование
Должен запуститься и не ругаться
ни на что. Проверяем:
# telnet localhost 110
Trying 127.0.0.1...
Connected to localhost.
Escape character is “^]”.
+OK Hello there.
user multik@test.ru
+OK Password required.
pass testpassword
+OK logged in.
list+
OK POP3 clients that break here, they
violate STD53.
1 400
. Ltd, St.Petersburg)
quit
+OK Bye-bye.
Connection closed by foreign host.
Как видите, система нас пустила.
Наше отправленное письмо лежит и
дожидается нас.
В maillog должны быть записи по-
хожие на эти:
Jun 28 17:27:17 multik pop3d: LOGIN,
u s e r = m u l t i k @ t e s t . r u ,
ip=[::ffff:127.0.0.1]
Jun 28 17:27:24 multik pop3d: LOGOUT,
user=multik@test.ru,ip=[::ffff:127.0.0.1],
top=0, retr=0
Радуемся — базовая функциональ-
ность достигнута. Можно смело запус-
кать imap сервер аналогично pop, раз-
давать пользователей и совершать
другие необходимые телодвижения.
Но лично мне этого мало. Я не хочу
видеть вирусы в своем почтовом ящи-
ке и в ящиках своих работников и кли-
ентов. Ставим Dr.Web.
Забираем с drweb.ru файлы:
drweb-4.28.1-linux.tgz
drweb-postfix-4.28.4-linux.tgz
И распаковываем их. Хотя могли
бы взять rpm файлы — их содержа-
ние абсолютно идентично.
Проверяем, то ли мы распаковали
и туда ли.
# cd /opt/drweb
# ./drweb
Key file: /opt/drweb/drweb.key
Registration info:
0100003942
Evaluation Key (ID Anti-Virus Lab.
Ltd, St.Petersburg)
This is an EVALUATION version with
limited functionality!
To get your registration key, call
regional dealer.
Loading /var/drweb/bases/drwebase.vdb
- Ok, virus records: 29405
Как видите, Dr.WEB работает в ог-
раниченном режиме. То есть он мо-
18
жет только находить вирусы, но не
лечить их, плюс он не смотрит внутрь
архивов. Но для функциональности
почтового шлюза этого вполне хватит.
Но лучше купите лицензию — появит-
ся возможность проверять и лечить
пользовательские файлы.
Тщательно прочитываем /opt/
drweb/doc/postfix/readme.rus.
И добавляем Dr.WEB в качестве
фильтра к postfix:
# adduser drweb
# mkdir /var/spool/drweb
# chown drweb.drweb /var/spool/drweb
# chmod 770 /var/spool/drweb
Редактируем /etc/postfix/master.cf,
как указано в документации к Dr.Web:
smtp inet n - n - 50 smtpd -
ocontent_filter=filter: dummy
и добавляем в конец следующее:
filter unix - n - n - pipe flags=R
user=drweb argv=/opt/drweb/drweb
-postfix
-f ${sender} — ${recipient}
Затем тщательно читаем и редак-
тируем /etc/drweb/drweb_postfix.conf.
Лично я изменил следующие пара-
метры:
SkipObject = pass
ß õî÷ó ïðîïóñêàòü òå îáüåêòû, êîòîðûå
drweb íå ïåðåâàðèâàåò.
MailbombObject = pass
Îäèí èç äîìåíîâ, êîòîðûé îáñëóæèâà-
åòñÿ ó ìåíÿ, ïðèíàäëåæèò äèçàéíåðàì è
ïðî÷åìó õóäîæåñòâåííîìó ëþäó. Îíè î÷åíü
îáîæàþò êèäàòüñÿ äðóã â äðóãà àðõèâàìè
ñ êàðòèíêàìè, êîòîðûå ñæàòû î÷åíü ñèëü-
íî. DrWeb îáû÷íî ñ÷èòàåò òàêèå ïèñüìà
çà ìýéëáîìáû.
AdminMail = root@test.ru
Êòî òóò ó íàñ àäìèíèñòðàòîð.
FilterMail = DrWeb-DAEMON@ip-tel.ru
È îò êîãî áóäåò ïðèõîäèòü ïî÷òà ñ
ðóãàíüþ è ïðî÷èìè ñîîáùåíèÿìè.
Äàëåå âåçäå:
SenderNotify = no
Íå íàäî èçâåùàòü ïîñûëàòåëÿ ïèñåì - â
90% ñëó÷àåâ ýòî áåçïîëåçíî è ëèøü çàáè-
âàåò ïî÷òîâûå êàíàëû. Åñëè îòïðàâèòåëü
èçâåñòåí àäðåñàòó, òî îí ñàì íàïèøåò
åìó ãíåâíîå ïèñüìî.
Перемещаем /etc/rc.d/drwebd в /etc/
init.d/drwebd и с помощью ntsysv или
chkconfig, включаем автостарт Dr.WEB
при запуске системы. Тем, кто ставил
Dr.WEB через rpm, этого делать не
надо. Проверьте, все ли на месте.
Запрещаем всяким лазить куда не
следует:
cd /var/drweb
chown -R drweb.drweb *
И запускаем демона Dr.WEB:
/etc/init.d/drwebd start
Starting Dr. Web daemon...Key file: /
opt/drweb/drwebd.key
Registration info:
0100003943
Evaluation Key (ID Anti-Virus Lab.
This is an EVALUATION version with
limited functionality!
To get your registration key, call
regional dealer.Loading /var/drweb/
bases/drwebase.vdb - Ok, virus records:
29405
Daemon is installed, TCP socket created
on port 3000
Работоспособность проверяем
простым запуском /opt/drweb/drweb-
postfix. Он должен запуститься без
какого-либо писка и висеть, томитель-
но выжидая и занимая консоль. А в
логах должно появиться следующее:
Jun 29 13:41:08 multik drweb-postfix:
load configuration from/etc/drweb/
drweb_postfix.conf
Jun 29 13:41:08 multik drweb-postfix:
Actions: infected=Q, suspicious=Q,
skip=P,mailbomb=P, scanning_error=T,
processing_error=R, empty_from=C,
spam_filter=P
Jun 29 13:41:08 multik drweb-postfix:
dwlib:read_conf(/etc/drweb/
drweb_postfix.conf): successfully loaded
Jun 29 13:41:08 multik drweb-postfix:
dwlib: startup: set timeout for
wholesession to 60000 milliseconds (-1
means infinite)
Jun 29 13:41:08 multik drweb-postfix:
drweb-pipe: [2250] started ...
У вас так? Значит все работает.
Перезапускайте postfix и Dr.WEB вста-
нет на стражу вашей почты. Можете
проверить, послав какой-нибудь ви-
рус. Вы получите лишь уведомление
о том, что вы посылали вирус.
Но просто защиты мне мало. Мне
необходима еще и свежая защита. А
для свежей защиты необходимо об-
новлять базы данных о вирусах. Для
этого у Dr.Web есть обновлялка, на-
писанная на perl. Для нее нужен мо-
дуль String::CRC32. Делающие все
правильно могут вспомнить что напи-
сано в man CPAN и с помощью install
установить этот модуль. Мне оказа-
лось проще и быстрее сделать все
вручную:
Файл я взял с http://www.cpan.org/
modules/by-module/String/String-

CRC32-1.2.tar.gz, и установил:
# tar zxvf String-CRC32-1.2.tar.gz
# cd String-CRC32-1.2
# perl Makefile.PL
# make
# make test
# make install
Проверяем:
# cd /opt/drweb/update
# ./update.pl
update.pl должен сходить в инет на
сайт Dr.WEB, забрать все обновления
и перезапустить drwebd, если он есть.
В логах после запуска вы должны
увидеть следующее:
Key file: /opt/drweb/drweb.key
Registration info:
0100003942
Evaluation Key (ID Anti-Virus Lab.
Ltd, St.Petersburg)
This is an EVALUATION version with
limited functionality!
To get your registration key, call
regional dealer.
Loading /var/drweb/bases/drwtoday.vdb
- Ok, virus records: 173
Loading /var/drweb/bases/drw42807.vdb
- Ok, virus records: 33Loading /var/
drweb/bases/drw42806.vdb - Ok, virus
records: 57
Loading /var/drweb/bases/drw42805.vdb
- Ok, virus records: 133
Loading /var/drweb/bases/drw42804.vdb
- Ok, virus records: 123
Loading /var/drweb/bases/drw42803.vdb
- Ok, virus records: 73
Loading /var/drweb/bases/drw42802.vdb
- Ok, virus records: 143
Loading /var/drweb/bases/drw42801.vdb
- Ok, virus records: 76
Loading /var/drweb/bases/drwebase.vdb
- Ok, virus records: 29405
Видите, появились свежие обнов-
ления для drweb с новыми вирусами.
Теперь со спокойной душой запихи-
ваем вызов update.pl в crontab. У меня
он вызывается каждую ночь. Одно
НО: Необходимо периодически вруч-
ную отслеживать выход новых версий
drweb. Потому что как только выйдет
новый DrWeb, ваш автоматически пе-
рестанет получать новые вирусные
дополнения.
И последний шаг — установка
www-почты:
Я взял последнюю версию
SquirellMail с http://www.squirrelmail.org/
и установил согласно прилагающимся
инструкциям. Для ее работы необхо-
дим настроенный Apache c PHP. Как
это делать я уже писал несколько раз.
Да и в сети куча документов, посвя-
щенным этому вопросу. Установка
простая, поэтому я тут останавливать-
№1, октябрь 2002
ся не буду. Не забудьте — для
SquirellMail необходим запущенный
imap демон — так что не оплошайте.
Для завершения нашей эпопеи ос-
талось всего два шага:
n Проверьте, все ли заработает при
запуске системы. Если есть воз-
можность — перезагрузитесь и
проверьте, запустился ли Dr.WEB,
postfix, courier pop3 и/или imap c
mysql. Отрабатывает ли update’р
новые обновления и так далее.
Просмотрите все конфигурацион-
ные файлы еще раз — не остави-
ли ли вы где-нибудь ляпов или «со-
плей»? Для самостоятельной ра-
боты можете посмотреть на анти-
спамерные возможности drweb.
n Проверьте, прикрыт ли MySQL и
Dr.WEB от посторонних людей.
В общем все. Можете откинуться
на спинку кресла и наблюдать, как ра-
ботает почта.
Но для меня это еще не все. Раз
все равно для пользователей стоит
Apache с PHP, то я написал простень-
кую WWW — утилитку для управле-
ния почтовыми пользователями. Для
ее работы необходимо создать в
MySQL такую таблицу:
mysql> create table admins (login
varchar(20) NOT NULL, password
varchar(20),rights int(6));
И руками занести туда значения
вроде “admin”, ’password’,0.
Эта таблица у меня используется
в других внутрикорпоративных серви-
сах, поэтому желающие могут залезть
в код и все исправить.
По адресу www.samag.ru/2002/01/
multik/ лежат 3 файла auth.php,
global.php, index.php. Просто положи-
те эти три файла в один каталог, дос-
тупный вам. Поправьте значения в
global.php. Все, можете вызывать и
пользоваться. Логин и пароль — те,
которые вы вручную добавили в таб-
лицу admins.
Ну а дальше, я думаю, вы пойме-
те. Утилитка писалась «на коленке»,
поэтому я вполне понимаю, что мож-
но написать лучше и красивее. Пи-
шите. Удачи !
А тем, кто до сюда дочитал — ма-
ленький бонус.
Если вы поглядите на это:
администрирование
$ telnet localhost 25
Trying 127.0.0.1...
Connected to localhost.
Escape character is “^]”.
220 mail.test.ru ESMTP Postfix
ehlo multik
250-mail.test.ru
250-PIPELINING
250-SIZE 10240000
250-ETRN
250-AUTH LOGIN PLAIN
250-AUTH=LOGIN PLAIN
250-XVERP250 8BITMIMEÊ
К вашему большому сожалению
вы не увидите строчек:
250-AUTH LOGIN PLAIN DIGEST-MD5 CRAM-
MD5
250-AUTH=LOGIN PLAIN DIGEST-MD5 CRAM-
MD5
Либо вы увидите эти строчки, но
почему-то нормальные почтовые кли-
енты (к примеру, TheBat или stuphead)
не смогут авторизоваться для отправ-
ки почты. Только для отправки! В чем
же дело ?
Дело в одной маленькой библио-
теке, называемой Cyrus-SASL. К со-
жалению, ее писали люди, которые
писали ее неправильно. Метод sasldb
в ней важнее всех.
Внимание, если /etc/sasldb не пус-
той (смотреть вывод sasldblistusers),
то в выводе postfix появляются строч-
ки про DIGEST-MD5 и CRAM-MD5.
Если пустой -то не появляются. Если
в sasldb есть хоть одна запись, то
аутентификация с участием методов
LOGIN, DIGEST-MD5 и CRAM-MD5
идет через sasldb, НЕВЗИРАЯ на то,
что написано после pwcheck_method.
Поэтому, если у вас есть активно миг-
рирующие пользователи с нормаль-
ными почтовыми клиентами (Outlook
и Mozilla — не подходят — они оба ис-
пользуют только метод PLAIN), то для
отправки почты с таких клиентов их
надо заводить вручную, используя ко-
манду аналогичную этой:
saslpasswd -c -u `postconf -h
myhostname` username
Вот такой вот SASL. Правда, обе-
щают, что в v2 будет все по честному,
но пока v2 не выбралась из бета-со-
стояния, да и postfix в стабильных вер-
сиях не поддерживает Cyrus-SASL v2.
Courier-IMAP использует SASL по
другому, поэтому с ним все в поряд-
ке. Вот теперь точно все. Удачи!
19
администрирование
МИГРАЦИЯ
ДМИТРИЙ ГАЛЫШЕВ
Данная статья предназначена в пер-
вую очередь для тех, кто, считая, что
«качественный продукт не может быть
бесплатным», доверил управление
своими серверами дорогой операци-
онной системе и вынужден периоди-
чески смотреть на «синий экран смер-
ти», терять время на перезагрузки и
иногда на восстановление самой ОС.
Приведем сравнение операцион-
ных систем Microsoft Windows NT и
20
С WINDOWS НА LINUX
Linux по нескольким критериям, не
претендуя на детальное сравнение,
которому посвящено уже много ста-
тей.
Windows NT:
n Является коммерческим ПО, за ис-
пользование каждой его копии не-
обходимо платить.
n Производитель обещает бесплат-
Сначала давайте выясним
для себя,
зачем нам это нужно?
Если ваш сервер работает
под управлением Windows
и никаких нареканий
к стабильности и скорости
его работы нет, не стоит
ничего менять.
Как известно, лучшее - враг
хорошего.
К сожалению, везет далеко
не всем.
ную техническую поддержку заре-
гистрированных пользователей,
но не несет ответственности за
потери данных, произошедшие
из-за ошибок в коде ОС, и полу-
ченный ущерб в случае чего при-
дется доказывать в суде.
n В комплект поставки входит опе-
рационная система, утилиты ад-
министрирования, набор простых
игр, www- и ftp-сервер IIS.

n Нужные Вам утилиты, не входя-
щие в состав OС, приобретаются
отдельно.
n Документация к системе приобре-
тается отдельно.
n Выполнение отдельных задач кли-
ентом на сервере невозможно.
Linux:
n Является свободно распространя-
емым ПО, и, имея одну копию, Вы
можете использовать ее на любом
количестве компьютеров и тира-
жировать без ограничений.
n Ядро ОС и поставляемые с ним
программы Вы используете на свой
страх и риск без каких-либо гаран-
тий. Это не значит, что техническая
поддержка отсутствует — вы може-
те обратиться за ней к автору про-
граммы.
n В дистрибутив входит комплект ин-
тернет-утилит как серверной, так
и клиентской направленности, ин-
струменты для разработки сетево-
го взаимодействия с другими ОС,
игры и многое другое.
n Если какого-то нужного Вам паке-
та нет в дистрибутиве, Вы можете
бесплатно получить его с сайта
разработчика.
n В состав каждого дистрибутива
входит комплект документации по
ОС и всем установленным про-
граммам.
n Пользователи могут не только вы-
полнять задачи на сервере, но и
планировать их выполнение в свое
отсутствие.
Если Вы хотите узнать больше,
обратитесь к статье «Microsoft
Windows NT Server 4.0 против UNIX»
Джона Кирха, сетевого консультанта
и сертифицированного специалиста
Microsoft (Windows NT) на http://
www.linux.org.ru/books/unix-nt.html.
Статья датирована 1998 годом, и с
тех пор многое изменилось, но рас-
становка сил осталась прежней.
Управление Linux основано не на
«интуитивно понятном интерфейсе»,
а на правке различных конфигураци-
онных файлов после чтения докумен-
тации, которая написана в основном
на английском языке, хотя переводов
с каждым годом становится больше
и больше. Если Вы нелюбознательны
№1, октябрь 2002
или нетерпеливы, эта ОС не для Вас.
Не испугались? По прежнему полны
решимости? Ну что же, начнем осва-
ивать новую ось. В любом случае до-
говоримся, что все работающие сер-
вера остаются работать до тех пор,
пока к ним обращается хотя бы один
пользователь.
Для начала рассмотрим задачу ос-
вобождения сервера под управлени-
ем Windows NT от обязанностей ос-
новного контроллера домена (PDC).
Основное преимущество доменной
структуры — выполнение скриптов,
определенных администратором для
выполнения при входе и выходе
пользователя домена. Также, с помо-
щью Samba, мы возьмем на себя за-
дачи файл-сервера — предоставле-
ние коллективного доступа к своим
файлам и папкам.
Применить здесь понятие «к ре-
сурсам» было бы не совсем коррект-
но, так как к ресурсам относятся вре-
мя процессора, память и так далее.
Удаленные пользователи могут ис-
пользовать и их, но Windows NT та-
кой возможности не предусматрива-
ет.
Системы Microsoft Windows 3.11, 9х
и NT используют для предоставления
совместного доступа к файлам, пап-
кам и принтерам протокол Server
Message Block (SMB). В Linux за рабо-
ту с SMB отвечает пакет Samba. О нем
его создатели пишут следующее:
«Вот короткий список того, что дела-
ет Samba. Для многих сетей можно
сказать коротко: «Samba предостав-
ляет полноценную замену серверам
Windows NT, Warp, NFS или Netware».
n SMB сервер для предоставления
доступа к файлам и принтерам,
клиентам с рабочих станций
Windows 95, Warp Server и подоб-
ным.
n Сервер имен NetBIOS, который ко
всему прочему поддерживает спи-
сок доступных компьютеров в
сети. Samba может выступать в
роли главного обозревателя Ва-
шей сети.
n SMB клиент позволяет пользовать-
ся ресурсами других компьютеров
сети (как файлами, так и принте-
рами) из Unix, Netware и других
ОС.
n Расширение клиента «tar» позво-
администрирование
ляет делать резервные копии уда-
ленных ресурсов.
n Утилиты командной строки, под-
держивающие некоторые возмож-
ности администрирования NT, ко-
торые могут быть использованы в
Samba, NT workstation и NT server.
Вы можете получить больше инфор-
мации на нашем сайте: http://samba.org/
samba».
Если Samba еще не установлена,
обращаемся к компакт-диску с дист-
рибутивом и устанавливаем все па-
кеты, содержащие в имени слово
«samba». Типичные настройки обыч-
но описаны в файле /etc/samba/
smb.conf-sample и подходят большин-
ству пользователей.
Рассмотрим его поподробнее.
Файл состоит из секций, которые оп-
ределяются именем в квадратных
скобках.
В секции [global] объявляются об-
щие переменные, влияющие на рабо-
ту демонов.
В секции [homes] предоставляет-
ся возможность монтирования уда-
ленными пользователями своих лич-
ных папок, находящихся на сервере.
Секция [printers] открывает дос-
туп ко всем установленным в систе-
ме принтерам.
Переименуем файл /etc/samba/
smb.conf-sample в smb.conf и начнем
его править под себя.
Полезными могут оказаться «под-
становочные переменные», которые
при чтении заменяются актуальными
для сеанса значениями. Например,
«%u» будет заменено именем подклю-
чающегося пользователя, а «%L» —
NetBIOS-именем сервера. Полный спи-
сок этих переменных Вы найдете в
man-руководстве к smb.conf.
Вот некоторые глобальные пара-
метры, на которые стоит обратить
внимание:
workgroup — задает имя рабочей
групппы или домена, в который вхо-
дит компьютер.
hosts allow — список компьютеров
и сетей, которым разрешен доступ,
разделенный пробелами.
guest account — имя пользовате-
ля с правами гостя. По умолчанию —
это nobody.
Пользователь должен быть заре-
гистрирован в системе. Можно ука-
21
администрирование
зать с помощью параметра username
map файл, содержащий толкование
передаваемых клиентом имен для
сервера. Файл будет читаться пост-
рочно; в строке слева от знака «=»
должно стоять имя, воспринимаемое
сервером, справа — соответствую-
щее ему имя, которое может переда-
вать клиент.
Например, если в файле содер-
жится строка nobody = guest pcguest
пользователям guest и pcguest будет
предоставлен доступ как пользовате-
лю nobody.
security — один из важных пара-
метров конфигурации — модель
аутентификации.
Возможны варианты:
security = user — для получения
списка ресурсов пользователь дол-
жен быть опознан сервером. Будьте
внимательны: по умолчанию ресурсы,
открытые гостям, не будут доступны
тем, кого сервер «не знает».
security = share — получение спис-
ка ресурсов не требует аутентифика-
ции. Клиент посылает запрос при под-
ключении к конкретному ресурсу.
security = server — с точки зре-
ния клиента, эта модель ничем не от-
личается от первой. Разница в том,
что полученные имя/пароль Samba по-
пытается проверить на доверенном
сервере (например НТ). Если попыт-
ка провалится, для этого соединения
модель сменится на «user».
security = domain — отличается от
предыдущей тем, что аутентификация
происходит на PDC или BDC. Пароли
должны передаваться в зашифрован-
ном виде.
encrypt passwords — шифрова-
ние паролей. По умолчанию этот па-
раметр выставлен в «no» и пароли пе-
редаются по сети открытым текстом.
interfaces — привязка к конкрет-
ным интерфейсам. Можно указать
имя интерфейса со звездочкой вмес-
то номера, тогда привязка будет ко
всем найденным интерфейсам этого
типа. Также можно указать просто IP-
адрес или пару IP/маска сети.
local master — определяет, пре-
тендовать ли на роль локального обо-
зревателя сети.
os level — так называемый «уро-
вень» ОС. Для справки: у НТ-сервера
этот параметр равен 32, у PDC — 64.
Максимальное значение — 255.
22
domain master — определяет, пре-
тендовать ли на роль основного обо-
зревателя домена. Если сеть состоит
из нескольких сегментов, то локаль-
ные обозреватели каждого сегмента
будут синхронизировать свои списки
с ним.
preferred master — сообщает де-
мону nmbd, что он является приори-
тетным обозревателем рабочей груп-
пы или домена, и это вынуждает его
устраивать выборы при запуске, а в
случае проигрыша — каждые 6 минут.
wins support — включает поддер-
жку Samba-сервером WINS —
Windows Internet Naming Service, служ-
бы определения адресов, сопоставля-
ющей имена компьютеров в сети
Microsoft с адресами IP.
wins server — указывает IP-адрес
WINS-сервера сети. Этот параметр не
может указывать на свой IP, т.е. ис-
пользуется только в случае, когда
wins support = no.
domain logons — позволяет
Samba выступать в роли контролле-
ра домена.
logon script — задает имя скрип-
та, выполняемого при входе пользо-
вателя в домен.
logon path — указывает на ката-
лог, где будут храниться профили
пользователей.
Из параметров, применимых к кон-
кретным разделяемым ресурсам, сле-
дует отметить:
comment — краткое описание ре-
сурса, выводимое большинством кли-
ентов рядом с его именем.
path — реальное расположение
разделяемого ресурса в файловой си-
стеме сервера.
browseable — определяет, будет
ли выдаваться имя ресурса на запрос
о доступных ресурсах сервера.
writeable — определяет, возмож-
на ли запись или модификация фай-
лов ресурса пользователем.
guest ok — разрешает доступ к ре-
сурсу всем пользователям сервера.
(См. глобальный параметр security).
valid users — список пользовате-
лей, которым разрешен доступ к ре-
сурсу. Как и в любой список пользо-
вателей в файле smb.conf можно до-
бавлять и группы, предварив имя
группы символом «@».
write list — список пользователей,
которым разрешена запись и модифи-
кация файлов ресурса. Значение па-
раметра writeable для этих пользова-
телей не учитывается.
create mask — стандартная UNIX-
маска, определяющая права доступа
к вновь создаваемому файлу.
Directory mask определяет права дос-
тупа к вновь создаваемому каталогу.
Полный список опций, употребляе-
мых в файле, находится в man-руко-
водстве к smb.conf. После редактиро-
вания рекомендуется проверить его на
предмет ошибок и противоречий с по-
мощью программы testparm. Если
ошибки есть, она сообщит о них и, ско-
рее всего, подскажет причину их воз-
никновения.
Сначала настраиваем Samba как
обычного сетевого клиента — она не
должна претендовать ни на роль ло-
кального обозревателя, ни тем бо-
лее — контроллера домена. Если та-
ковые уже есть, то присваиваем
значение «no» параметрам local
master, domain master и preferred
master.
Если разграничения доступа еще
нет, самое время подумать о нем. В
большинстве случаев несложно опре-
делить группы пользователей, рабо-
тающие с определенными группами
файлов. Например, бухгалтерия рабо-
тает с базами бухгалтерской програм-
мы и не интересуется проектами про-
граммистов.
Мне не известен сколько-нибудь
реальный способ переноса базы
пользователей из Windows NT в Linux,
поэтому придется делать это вручную.
Неудобно, но в этом есть свои поло-
жительные стороны — найдется не-
сколько неиспользуемых учетных за-
писей, а также можно будет перерас-
пределить пользователей по группам.
На момент написания статьи
Samba (версии 2.2.5) имеет собствен-
ную базу пользователей, но не под-
держивает пользователей, не имею-
щих учетной записи в системе. Раз-
работчики обещают со временем пе-
рейти на независимую базу пользова-
телей, но пока придется пользовате-
лей заводить сначала в системе.
Пользователям, у которых не будет
доступа к терминалу сервера (в иде-
але всем, кроме администратора) на-
значаем /bin/false в качестве команд-
ного интерпретатора и блокируем
учетную запись, после чего пропи-

сываем их в базе Samba командой
smbpasswd дважды: с ключом «-a» —
для занесения в базу, с ключом «-e» —
для снятия блокировки с записи.
Хорошо, если новая операционная
система ставится на специально куп-
ленный сервер, еще лучше, если сер-
вер куплен с предустановленной нуж-
ной нам ОС. Но как быть, если сер-
вер один и нельзя его трогать до тех
пор, пока все пользователи не смогут
получить гарантированный доступ к
своим файлам? Придется использо-
вать любой доступный компьютер как
«временный сервер». На него ставим
тот же дистрибутив, что предполага-
ем ставить на основной сервер, и по-
степенно перенесем все ресурсы, пре-
доставляемые старым сервером.
Какая машина справится с этой
работой зависит от предполагаемой
нагрузки. Достоверно известно, что
Celeron 700/196Mb RAM/30Gb HDD в
состоянии обслуживать 15 клиентов,
интенсивно работающих с большим
количеством файлов при средней на-
грузке ~10%.
Разделяемые SMB ресурсы делим на:
n Общедоступные (папка с драйве-
рами и дистрибутивами программ,
«помойка»).
n Доступные группе (папки с данны-
ми, с которыми работает ограни-
ченное количество лиц, например
папка с базами бухгалтерской про-
граммы).
n Домашние (папки привилегиро-
ванных пользователей, доступные
только им).
Наиболее часто допускаемая
ошибка на этапе переноса данных —
невнимательность к атрибутам вновь
перенесенных файлов. Владельцем
для них лучше всего назначить
пользователя root, а группу-владель-
ца — ту, что будет с этими файлами
работать. Ну и не забыть позволить
перезаписывать файлы членам груп-
пы-владельца.
Необходимо пройтись по пользова-
телям и проверить доступ с их рабо-
чих станций к новому серверу: чтение/
запись в папку; чтение/запись в фай-
лы, созданные другими членами груп-
пы, а также членами групп, имеющих
смежный доступ в папку; отсутствие
доступа в неразрешенные папки.
№1, октябрь 2002
Если в Вашей сети используются
домены, проверьте smb.conf сервера:
n Шифрование паролей должно
быть включено.
[global]
...
domain master = yes
...
n Сервер должен поддерживать
вход пользователей в домен и пре-
доставлять разделяемый ресурс
NETLOGON.
[global]
...
domain logons = yes
...
[netlogon]
path = /usr/local/samba/lib/
netlogon
read only = yes
write list = ntadmin
n Сервер должен быть главным обо-
зревателем домена.
[global]
...
encrypt passwords = yes
...
Если все в порядке, можно добав-
лять рабочие станции в домен.
Рабочие станции, функционирую-
щие под управлением Windows NT/
2000, используют так называемые
«машинные» учетные записи — метод
проверки подлинности рабочей стан-
ции (не пользователя), чтобы избе-
жать входа в домен рабочей станции
с таким же именем NetBIOS и получе-
ния прав пользователя домена. Рабо-
чие станции, функционирующие под
управлением Windows 9x/Me, таких
учетных записей не используют, по-
этому не могут считаться полноправ-
ными членами домена.
Существует два метода создания
«машинных» учетных записей — руч-
ной и автоматический.
Первый метод подразумевает вы-
полнение вручную трех команд на сер-
вере для каждой рабочей станции до-
мена:
root# useradd -g 100 -d /dev/null -c
<èìÿ_ìàøèíû> -s /bin/false <èìÿ_ìàøè-
íû>$
root# passwd -l <èìÿ_ìàøèíû>$
root# smbpasswd -a -m <èìÿ_ìàøèíû>
Вместо <имя_машины> подстав-
администрирование
ляется NetBIOS-имя рабочей станции
домена.
Второй метод рекомендован раз-
работчиками Samba как более безо-
пасный и требует лишь добавления
в секцию [global] строки:
add user script = /usr/bin/
adduserscript %u
Это подразумевает, что в ката-
логе /usr/bin сущес твует скрипт
adduserscript примерно следующего
содержания:
#!/bin/sh
/usr/sbin/useradd -d /dev/null -g 100
-s /bin/false -m $1
После этого с добавляемой рабо-
чей станции заходим в домен как
привелигированный пользователь
(root, если не указан другой парамет-
ром admin user), и создаем учетную
запись рабочей станции домена.
Пока это не сделано, попытки зайти
как обычный пользователь провалят-
ся, даже если пользователь суще-
ствует.
После того, как вся нагрузка бу-
дет перенесена на «временный» сер-
вер, а старый сервер — выключен,
подождем денёк-другой возникнове-
ния проблем и только послеэтого на-
чинаем установку Linux на основной
сервер. После установки системы
конфигурационные файлы и файлы
пользователей просто переносятся с
«временного» сервера.
Итак, все готово, начинаем. При-
кидываем время на переброску всех
необходимых файлов со старого сер-
вера на новый и объявляем профи-
лактику на нужное время плюс 10 ми-
нут на неожиданности (если мы не
допустили оплошностей при подго-
товке, работа возобновится как толь-
ко файлы будут скопированы).
Старому серверу меняем NetBIOS-
имя и перезапускаем Samba. Новому
присваиваем имя старого. Перезапус-
каем Samba.
Все. Можем переходить к замене
любимого лакомства для Nimda и
CodeRed — Microsoft Information
Server на самый популярный в
Internet www-сервер Apache, прокси-
сервер Squid и ftp-сервер proftpd.
Но это уже немного другая исто-
рия...
23
администрирование

ЧТО ТАКОЕ
SAMBA? СЕРГЕЙ ЯРЕМЧУК
GRINDER@UA.FM

Я думаю, что утверждение о том,
что самой популярной операционной
системой для клиентских машин яв-
ляется Windows, не вызовет больших
споров. Хотя с появлением таких про-
дуктов, как OpenOffice.ru, и активно-
му продвижению своих продуктов
компаниями AltLinux и ASPLinux, по-
ложение несколько изменилось, но до
массовости еще дело не дошло. По-
этому большинство пользователей
продолжают набирать документы в
Word’e и бродить по Интернету с по-
мощью Internet Explorer. А вот в каче-
стве сервера положение последней
уже не так однозначно, здесь уже иг-
рают роль NetWare от Novell и, конеч-
но же, Unix. Плюс за последний год
пришлось всем потесниться из-за по-
явления новых «игроков» на этом
рынке - операционных систем с откры-
тым кодом - Linux, FreeBSD и
OpenBSD, которые уже сейчас зани-
мают немалый процент рынка серве-
ров. Прежде всего по причине своей
надежности, устойчивости, совмести-
мости со множеством платформ и бе-
зопасности. Поэтому сейчас систем-
ному администратору приходится ча-
сто решать вопросы интеграции сер-
веров под управлением Linux/Unix в
сеть, где преобладают клиентские
машины от Microsoft, особенно в ка-
честве файл-серверов или серверов
печати.
Так как чуда от Microsoft особенно
ждать не приходится и Windows вряд-
ли научится работать с сетевой фай-
ловой системой Unix (NFS) стандарт-
ными средствами, то по принципу
горы и Магомета, просто научили Unix
притворяться, будто бы он - Windows
NT.
Взаимодействие компьютеров в
сети Windows построено на использо-
вании протокола SMB (Server Message
Block - блоки серверных сообщений),
который обеспечивает выполнение
всех необходимых в этих случаях за-
дач по открытию и закрытию, чтению
и записи, поиску файлов, созданию и
удалению каталогов, постановке за-
дания на печать и удалению его отту-
да. Все необходимые для этого дей-
ствия реализуются в Unix-подобных
операционных системах посредством
использования пакета SAMBA. Что же
должен обеспечить SAMBA сервер
для нормальной работы в сети
№1, октябрь 2002
Windows машин? Во-первых, контроль
доступа, который может быть реали-
зован либо на уровне ресурсов (share
level), когда какому-либо ресурсу в
сети назначается пароль и соответ-
ствующие правила использования
(«только для чтения», например), при-
этом имя пользователя не имеет аб-
солютно никакого значения. Либо бо-
лее совершенная и гибкая организа-
ция на уровне пользователя, когда
для каждого пользователя создается
учетная запись, где помимо имени и
пароля содержится вся необходимая
информация о правах доступа к ре-
сурсу. И прежде чем получить доступ
к требуемому ресурсу каждый пользо-
ватель проходит аутентификацию,
после успешного прохождения кото-
рой ему и предоставляется права на
использование согласно учетным за-
писям. Во-вторых, необходима эмуля-
ция прав доступа, определяемых фай-
ловой системой. Все дело в том, что
у рассматриваемых систем права до-
ступа к файлам и каталогам на диске
организованы по-разному. В Unix тра-
диционно существует три категории
пользователей файла - владелец
(owner), группа (group) и остальные
(other). Каждому из этих субъектов
могут быть предоставлены права на
чтение (read), запись(write) и выпол-
нение ( execute). В Windows NT систе-
ма доступа несколько гибче, доступ
предоставляется нескольким группам
или пользователям, причем соответ-
ствующие права доступа определяют-
ся раздельно для каждого субъекта.
Поэтому полноценно эмулировать
средствами SAMBA права доступа
заложенные в NTFS, невозможно. А
с клиентами, работающими под уп-
равлением Windows 9x, дело обстоит
иначе. Еще со времен дедушки ДОС,
по причине того, что система одно-
пользовательская и ни о каких пользо-
вателях, а тем более группах, не мог-
ло быть и речи, для файловой систе-
мы FAT определено всего четыре ат-
рибута - только чтение (read only), си-
стемный (system), архивный (archive)
и скрытый (hidden). Плюс ко всему в
Windows, в отличие от Unix, имеет осо-
бое значение расширение файла, так
файлы, предназначенные для выпол-
нения, имеют расширение - exe, com,
bat. Соответствия между правами до-
ступа Unix и DOS выражаются так:
администрирование
n только для чтения - чтение, запись
для владельца;
n архивный - выполнение для вла-
дельца;
n системный - выполнение для груп-
пы;
n скрытый - выполнение для группы.
Вот с проблемами так или иначе
разобрались. Давайте разберемся
теперь конкретно с реализацией и на-
стройкой SAMBA в Linux. Для работы
Samba необходимо, чтобы были запу-
щены два демона: smbd обеспечива-
ет работу службы печати и разделе-
ния файлов для клиентов Samba, та-
ких как Windows всех мастей; демон
nmbd обеспечивает работу службы
имен NetBIOS, а также может исполь-
зоваться для запроса других демонов
служб имен. Для доступа к клиентам
используется протокол TCP/IP. Как
правило, Samba устанавливается
вместе с дистрибутивом Linux. Как
проверить? Просто дайте команду:
sergej@grinder sergej]$ whereis samba
и вы должны получить что-то вроде
этого:
samba: /usr/sbin/samba /etc/samba /
usr/share/man/man7/samba.7.gz
Если нет, то идите на ftp://
f tp.samba.org/pub/samba/samba-
latest.tar.gz или практически на любой
сервер с программами для Linux и ка-
чайте в виде rpm или исходников. Па-
кет прост в установке, поэтому, что-
бы не занимать места, будем считать,
что он у вас установлен. Теперь да-
вайте проверим, запущен ли демон:
[sergej@grinder sergej]$ ps -aux | grep
smbd
root 1122 0.0 0.6 4440 380 ?
S 16:36 0:00 smbd -D
У меня уже запущен. Если у вас
нет, то в Linux Mandrake, например,
чтобы он запускался при старте от-
метьте нужный пункт в: DrakConf -
стартовые сервисы или control-panel
- Servise Configuration в Red Hat, обыч-
но этого бывает достаточно, или за-
пускайте вручную: ./etc/rc.d/init.d/smb
start. Единственный конфигурацион-
ный файл Samba называется smb.conf
и находится в каталоге /етс иногда
(в AltLinux, например, в каталоге /etc/
25
администрирование
samba). Сервис SAMBA считывает его
каждые 60 секунд. Поэтому измене-
ния внесенные в конфигурацию всту-
пают в силу без перезагрузки, но не
распространяются на уже установлен-
ные соединения.
Вот за что я люблю Linux - так это
за то, что конфигурационные файлы
являются обычными текстовыми( к
тому же хорошо комментированные
внутри), и для того чтобы задейство-
вать большинство параметров доста-
точно только раскомментировать со-
ответствующую строчку. Файл
smb.conf - не исключение. Он состоит
из именованных разделов, начинаю-
щихся из имени раздела, заключен-
ного в квадратные скобки. Внутри
каждого раздела находится ряд пара-
метров в виде key=value. Файл кон-
фигурации содержит четыре специ-
альных раздела: [global], [homes],
[printers] и отдельные ресурсы
(shares). Как следует из названия,
раздел [global] содержит наиболее об-
щие характеристики, которые будут
применяться везде, но которые, впро-
чем, затем можно переопределить в
секциях для отдельных ресурсов.
Значения типичных параметров
секции global:
workgroup = èìÿ_ãðóïïû # íàçâàíèå
ðàáî÷åé ãðóïïû â ñåòè Windows
netbios name = èìÿ ñåðâåðà â ñåòè
server string = êîììåíòàðèé, êîòîðûé
âèäåí â îêíå ñâîéñòâ ïðîñìîòðà ñåòè
guest ok = yes # ðàçðåøåíèå ãîñòåâîãî
âõîäà ( guest ok = no - ãîñòåâîé âõîä
çàïðåùåí)
guest account = nobody # èìÿ ïîä êîòî-
ðûì ðàçðåøåí ãîñòåâîé âõîä â ñèñòåìó
security = user # Óðîâåíü äîñòóïà.
user - íà óðîâíå ïîëüçîâàòåëÿ,
security = share - àóòåíòèôèêàöèÿ íà
îñíîâå èìåíè è ïàðîëÿ.
При хранении базы паролей на
другом SMB-сервере используются
значения security = server и password
server = name_server_NT. В случае
если сервер является членом домена
используется значение security =
domain, пароль для доступа указыва-
ется в файле определенном с помо-
щью опции smb passwd file = /path/to/
file.
Кроме того, при регистрации могут
использоваться шифрованные
(encrypted) и незашифрованные (plain-
text) пароли. Последние используются
в старых Windows (Windows for
Workgroups, Windows 95 (OSR2), все
версии Windows NT 3.x, Windows NT 4
26
(до Service Pack 3). Для включения ва-
рианта использования шифрованного
пароля используется опция encrypt
password =yes (по умолчанию исполь-
зуются не шифрованные пароли).
Для правильного отображения рус-
ских имен файлов используются сле-
дующие опции: client code page = 866
и character set = koi8-r.
Опция interfaces = 192.168.0.1/24 -
указывает в какой сети (интерфейсе)
должна работать, программа если
сервер подключен сразу к нескольким
сетям, а при установке параметра bind
interfaces only = yes, сервер будет от-
вечать на запросы только из этих се-
тей.
hosts allow = 192.168.1. 192.168.2.
127. - определяет клиентов, для ко-
торых разрешен доступ к сервису.
В секции global возможно исполь-
зование различных переменных для
более гибкой настройки работы сер-
вера, после установки соединения
вместо них подставляются реальные
значения. Например, в директиве log
file = /var/log/samba/%m.log , параметр
%m помогает определить отдельный
лог-файл для каждой клиентской ма-
шины. Наиболее употребительные
переменные, используемые в секции
global:
%a - àðõèòåêòóðà ÎÑ íà êëèåíòñêîé ìà-
øèíå (âîçìîæíûå çíà÷åíèÿ Win95, Win NT,
UNKNOWN è ò.ä.)
%m - NetBIOS-èìÿ êîìïüþòåðà êëèåíòà.
%L - NetBIOS-èìÿ ñåðâåðà SAMBA.
%v - âåðñèÿ SAMBA.
%I - IP-àäðåñ êîìïüþòåðà êëèåíòà.
%T - äàòà è âðåìÿ.
%u - èìÿ ïîëüçîâàòåëÿ, ðàáîòàþùåãî ñ
ñåðâèñàìè.
%H - äîìàøíÿÿ äèðåêòîðèÿ ïîëüçîâàòåëÿ
%u.
Включение параметров preserve
case и short preserve case заставляют
сервер сохранять всю вводимую ин-
формацию с учетом регистра симво-
лов (в Windows регистр не имеет зна-
чения, а во всех Unix это не так).
Раздел [homes] позволяет пользо-
вателям подключаться к своим рабо-
чим каталогам без явного их описа-
ния. При запросе клиентом своего
каталога, например //sambaserver/
sergej, система ищет соответствую-
щее описание в файле и, если не на-
ходит его, то просматривает наличие
этого раздела. Если раздел существу-
ет, то просматривается файл паролей
для поиска рабочего каталога пользо-
вателя, сделавшего запрос и при на-
хождении делает его доступным для
пользователя.
Типичное описание раздела:
[homes]
comment = Home Directories # êîììåíòà-
ðèé êîòîðûé âèäåí â îêíå ñâîéñòâ ñåòè
browseable = no # îïðåäåëÿåò âûâîäèòü
ëè ðåñóðñ â ñïèñêå ïðîñìîòðà.
writable = yes # ðàçðåøàåò (no -
çàïðåùàåò) çàïèñü â äîìàøíþþ äèðåêòîðèþ
create mode = 0750 # ïðàâà äîñòóïà äëÿ
âíîâü ñîçäàííûõ ôàéëîâ
directory mode = 0775 # òîæå, íî òîëüêî
äëÿ êàòàëîãîâ
После настройки параметров по
умолчанию вы можете создать сете-
вые ресурсы, доступ к которым может
получить определенные пользователь
или группа пользователей. Создает-
ся такой ресурс из уже существующе-
го каталога, для этого в файле пишем:
[public]
comment = Public Stuff
path = /home/samba
public = yes
writable = no
printable = no
write list = administrator, @sales
Параметр path указывает на ката-
лог, в котором располагается ресурс,
параметр public указывает, может ли
пользоваться ресурсом гость, а
printable - может ли использоваться
данный ресурс для печати. Параметр
write list позволяет задать пользова-
телей, которым разрешена запись в
ресурс независимо от значения
writable (в данном примере это пользо-
ватель administrator и группа sales).
Возможно использование и противо-
положного списка - read list. Если есть
необходимость скрыть некоторые
файлы, то в Unix/Linux для этого имя
файла должно начинаться с точки (па-
раметр hide dot files, который регули-
рует отображение скрытых файлов,
по умолчанию = yes). Но кроме этого
есть возможность задать шаблоны
имен скрытых файлов, для этого ис-
пользуется параметр hide files. Каж-
дый шаблон начинается и заканчи-
вается с символа косой черты «/» и
может содержать символы, применя-
емые в регулярных выражениях. На-
пример: hide files = /*.log/??.tmp/. Но
все эти ухищрения обходятся пользо-
вателям очень просто - установкой ре-
жима «показывать скрытые и систем-
ные файлы» проводника Windows.
Для уверенного ограничения доступ-

ности (возможности удаления) файла
(каталога) используйте параметры:
veto files и delete veto files. С CD-ROM
дисками дело обстоит несколько
сложнее.
Все дело в том, что в Unix-подоб-
ных системах понятие диска отсут-
ствует как таковое, и для того чтобы
получить доступ к нужному устрой-
ству, оно первоначально должно быть
смонтировано в дерево каталогов (#
mount -t iso9660 /dev/cdrom /mnt/
cdrom). А после использования, что-
бы не разрушить файловую систему,
должно быть размонтировано (#
umount /dev/cdrom), иначе устройство
просто не отдаст диск. Если у вас на
сервере запущен демон autofs, то про-
блема решается просто. Для того что-
бы устройство которое не использу-
ется в течении некоторого времени,
было автоматически размонтировано,
установите нужное значение парамет-
ра timeout в файле /etc/auto.master,
например:
/mnt /etc/auto.misc —timeout=60
А затем установите параметры для
соответствующего устройства в фай-
ле /etc/auto.misc:
cdrom
fstype=iso9660,ro,nosuid,nodev : /
dev/cdrom
После всего прописываем в /etc/
smb.conf следующие строки, чтобы
сделать доступным данный ресурс:
[cdrom]
path = /mnt/cdrom
writable = no
Второй вариант состоит в исполь-
зовании директив preexec и postexec,
которые указывают какие команды
необходимо выполнить при обраще-
нии к ресурсу и после отсоединения
от него.
[cdrom]
path = /mnt/cdrom
read only = yes
root preexec = mount /mnt/cdrom #ìîí-
òèðîâàòü ðåñóðñà èìååò ïðàâî òîëüêî root
root postexec = umount /mnt/cdrom #
åñòåñòâåííî ýòè òî÷êè ìîíòèðîâàíèÿ äîë-
æíû áûòü îïèñàíû â ôàéëå /etc/fstab èíà÷å
íåîáõîäèìî óêàçàòü è îñòàëüíûå äàííûå.
Теперь при обращении к ресурсу
автоматически монтируется CD-ROM.
А в идеальных случаях и размонтиру-
ется. Вся проблема в том, что реше-
№1, октябрь 2002
ние о закрытии ресурса должен при-
нять сервер и все потому, что клиен-
ты, как правило, не извещают об этом.
Но наиболее частой причиной явля-
ется то, что ресурсом могут одновре-
менно пользоваться сразу несколько
пользователей или на одном компью-
тере оставлен открытый файл на дан-
ном ресурсе. Поэтому CD-ROM авто-
матически не размонтируется, един-
ственный приемлемый способ, чтобы
освободить ресурс - посмотреть с по-
мощью утилиты smbstatus номер про-
цесса, использующего данный ресурс,
и убить его командой # kill pid_number
(или kill -s HUP pid_number).
Установив необходимую конфигу-
рацию необходимо теперь создать
учетные записи пользователей (за
исключением гостевого входа с мини-
мальными правами nobody). Для ин-
тентификации пользователей SAMBA
используется файл /etc/samba/
smbpasswd, в котором содержатся
имена и зашифрованные пароли
пользователей. Так как механизм
шифрования в сетях Windows-машин
не совместим со стандартными Unix
механизмами, то для заполнения фай-
ла паролей используется отдельная
утилита - smbpasswd.
# useradd -s /bin/false -d /home/samba/
sergej -g sales sergej
# smbpasswd -a sergej
В этом примере добавляется но-
вый пользователь sergej с фиктивной
оболочкой, принадлежащий группе
sales и домашним каталогом /home/
samba/sergej. Затем создается пароль
для пользователя sergej.
С помощью SAMBA можно органи-
зовать возможность сетевой печати с
компьютеров под управлением
Windows (если планируется отдель-
ный сервер печати, то для этого бы-
вает достаточно и машины на базе
486 процессора).
Для этого в секции [global] необ-
ходимо записать такие строки:
printcap name = /etc/printcap # ôàéë
îïèñàíèÿ ïðèíòåðîâ, ïîäêëþ÷åííûõ ê ñèñ-
òåìå
load printers = yes #, óêàçûâàåò íà
íåîáõîäèìîñòü àâòîìàòè÷åñêîãî âêëþ÷åíèÿ
â ñïèñîê ñåòåâûõ ðåñóðñîâ
printing = lprng # ñèñòåìà ïå÷àòè
(äëÿ Linux ìîæåò åùå èñïîëüçîâàòüñÿ bsd)
Далее каждый принтер описывает-
ся как дисковый ресурс с единствен-
администрирование
ным исключением, параметр printable
= yes. Например:
[printers]
path = /var/spool/samba # óêàçûâàåò
íà êàòàëîã â êîòîðûé ïîìåùàþòñÿ çàäà
íèÿ íà ïå÷àòü
browseable = yes
printable = yes
read only = yes
После создания файла протести-
руйте его с помощью утилиты
testparm, но при помощи данной про-
граммы можно обнаружить лишь син-
таксические ошибки, а не логические,
поэтому нет никакой гарантии, что
описанные в файле сервисы будут
корректно работать (при тестирова-
нии будут выведены все установки -
даже те, которые установлены по-
умолчанию). Но если программа не
ругается, можете надеяться, что при
запуске файл будет загружен без про-
блем. А правильность установки прин-
тера можно проверить с помощью
утилиты - testprns. Плюс не забывай-
те о log-файлах - при возникновении
проблем там иногда можно найти ре-
шение.
Теперь немного о хорошем. Кон-
фигурирование Samba - довольно
сложная процедура, но с дистрибути-
вом поставляется инструмент админи-
стрирования на основе Web, который
называется swat (Samba Web
Administration Tool). Swat запускается
в виде сервиса или с помощью сер-
вера Apache, и предназначен для ре-
дактирования файла smb.conf, а так-
же для проверки состояния, запуска
и остановки демонов Samba. Для ра-
боты в виде сервиса в файле /etc/
services должна быть обязательно
строка swat 901/tcp, а в файле /etc/
inetd.conf - swat stream tcp nowait.400
root /usr/local/samba/bin/swat swat. Те-
перь для запуска Swat в окне браузе-
ра введите:
http://localhost:901
После всех изменений в файле
smb.conf иногда потребуется пере-
запустить демон smb: /etc/rc.d/init.d/
smb restart.
Если после всех перечисленных
действий так и не удалось организо-
вать доступ к ресурсам SAMBA, то в
дальнейшей настройке помогут такие
утилиты, как ping, nmblookup или на
крайний случай tcpdump. Вот и все.
27
 администрирование
В
АДМИНИСТРИРОВАНИИ
СЕРВЕРА: ПОЧЕМУ БЫ
И НЕТ?
Стандартных решений не существует. Каждый сис-
темный администратор рано или поздно начинает пи-
сать свои скрипты, которые облегчают его работу, из-
бавляя от рутины. Для автоматизации в Unix-системах
традиционно применяются командные оболочки (типа
bash или ksh, разновидностей оболочек достаточно
много) и язык Perl. Причем, следуя философии Unix, эти
оболочки используют для решения проблемы целый
набор инструментов, выполняющих небольшие частные
задачи: ls, wc, sort, grep, diff, tar, ...
Обычно простые задачи выполняются в командной
оболочке запуcком соответствующих инструментов и
организацией потока данных. Для более сложных за-
дач требуются и более сложные инструменты, напри-
мер, awk, sed или даже Perl. Так принято.
Однако хотелось бы обратить внимание системных
администраторов на такой сценарный (скриптовый)
язык как Python. Этот язык, благодаря своим хорошим
качествам, о которых поговорим далее, уверенно заво-
евывает популярность, в том числе для задач систем-
ного администрирования. Например, именно его при-
меняет Red Hat в инструменте под названием anaconda
для обеспечения начальной установки своего дистри-
бутива Linux.
Конечно, системные администраторы — натуры
весьма консервативные, и потому я решил написать эту
статью, показывающую, что Python действительно име-
ет преимущества по сравнению с языком Perl и оболоч-
28
РОМАН СУЗИ
ками при решении как повседневных, так и одноразо-
вых задач.
Python — интерпретируемый язык с развитыми вы-
сокоуровневыми структурами данных, имеющий все не-
обходимое для вызова функций POSIX-совместимых си-
стем. Впрочем, Python является многоплатформенным
языком, так что его можно с успехом использовать и, к
примеру, в среде Windows. Однако не буду долго гово-
рить о происхождении и синтаксисе языка: об этом за-
интересованный читатель узнает на http://python.ru или
из книги Сузи Р.А. Python. — СПб.: БХВ-Петербург,
2002; а сразу перейду к делу.
Начнем с небольшого примера, в котором нам тре-
буется установить права и принадлежность файлов, что-
бы имена совпадали с именами пользователей в сис-
теме (для простоты будем считать, что имена пользо-
вателей доступны из файла /etc/passwd). Подобная за-
дача может возникнуть, например, в каталоге с почто-
выми ящиками, где каждый ящик должен принадлежать
соответствующему его названию пользователю.
#!/usr/bin/python
import os, string
users = {}
for line in open("/etc/passwd").readlines():
rec = string.split(line, ":")
users[rec[0]] = int(rec[2]), int(rec[3]) # uid è gid
for file in os.listdir("."):

try:
uid, gid = users[file]
except:
print "Ñèðîòà: ", file
uid, gid = 0, 0 # root
os.chmod(file, 0600)
os.chown(file, uid, gid)
В самом начале мы импортируем модуль для рабо-
ты с функциями ОС (os) и работы со строками (string).
Перед началом цикла по строкам файла /etc/passwd сло-
варь users пуст. В цикле по строкам файла /etc/passwd
мы делаем следующее. Именем rec обозначаем кортеж
значений записи passwd-файла. Мы знаем, что первое
поле этой записи — имя пользователя. Имя пользова-
теля и станет ключом в словаре users. В качестве зна-
чения для данного ключа мы берем приведенные к це-
лому типу поля 2 и 3, соответствующие идентификато-
рам пользователя и группы. Таким образом в первом
цикле формируется отображение имени пользователя
и его идентификаторов. Во втором цикле, по именам
файлов в текущем каталоге, пытаемся (try) найти вла-
дельца файла, обращаясь к словарю users. Если это не
удается, мы пишем на стандартный вывод соответству-
ющую диагностику. В этом случае владельцем файла
станет root. Последние две команды, думается, ясны и
без комментариев.
В приведенном на листинге примере были исполь-
зованы очевидные решения, не требующие особого зна-
ния стандартной библиотеки Python.
Для любознательных укажем и второй путь реше-
ния, в котором используются «правильные» средства:
#!/usr/bin/python
import os, pwd, glob
default = pwd.getpwnam("root")
for file in glob.glob("*"):
try:
rec = pwd.getpwnam(file)
except:
print "Ñèðîòà: ", file
rec = default
os.chmod(file, 0600)
os.chown(file, rec[2], rec[3])
Здесь удалось добиться некоторого сокращения
программы за счет использования функции getpwnam
модуля pwd стандартной библиотеки Python. Здесь так-
же применена функция glob из одноименного модуля
для получения списка файлов.
Для сравнения приведен неправильный пример по-
добной же программы, написанный в оболочке bash.
#!/bin/bash
# Íå ðàáîòàåò, åñëè èìåíà ôàéëîâ ñîäåðæàò òî÷êó èëè ïðîáåë
for file in *
do
chown $file.$file $file || chown root.root $file
chmod 600 $file
done
Конечно, на языке командной оболочки программа
получилась раза в два короче. Однако в ней таится не-
приятная неожиданность: она работает некорректно для
№1, октябрь 2002
администрирование
файлов, содержащих в имени точку, пробел или дефис
в начале!
Я более чем уверен, что программу можно перепи-
сать, экранировав символы должным образом. Но тем
не менее, зная Python, можно быстрее написать скрипт,
решающий ту же задачу без скользких текстовых под-
становок.
Из приведенных примеров уже видна особенность
языка Python, не всеми воспринимаемая хорошо: для
выделения фрагментов кода в составных операторах
используется единообразный отступ. Тем самым интер-
претатор Python требует от программиста визуально вы-
делять структуру программы, что положительно сказы-
вается на читаемости кода. И это немаловажно, ведь
написанный скрипт может пригодиться для похожей за-
дачи.
В следующем примере мы рассмотрим еще одну ча-
сто возникающую задачу: проверка работоспособнос-
ти POP3-сервиса и отправка сообщения электронной
почты в случае неудачи. Заметьте, что приведенный
пример одинаково хорошо подходит и для Unix, и для
NT.
#!/usr/bin/python
import smtplib, poplib
try:
p = poplib.POP3("mymail")
p.quit()
except:
error = "connection"
try:
s = SMTP("othermail")
s.sendmail("admin@mymail", "admin@othermail",
"""From: admin@mymail
To: admin@othermail
Subject: POP3 down!!!
Please, restart pop3 at mymail.
""")
s.quit()
except:
print "íåò ñâÿçè"
С помощью конструктора объекта POP3-соединения
из модуля poplib мы пытаемся установить соединение
с POP3-сервером mymail. Если это не удается, мы дол-
жны отправить о происшес твии письмо на
admin@othermail. В этом нам поможет модуль smtplib и
конструктор класса SMTP. Если и это не удается, про-
сто выводится «нет связи». Заметьте, как легко в Python
ввести многострочный текст.
Надеемся, вы как минимум заинтересовались пред-
лагаемым инструментом.
Таблица 1 поможет быстро найти аналоги распрост-
раненных команд среди функций стандартной библио-
теки языка Python. Перед использованием функции до-
статочно импортировать соответствующий модуль.
Настало время разобрать более сложный пример --
программу для анализа логов почтового сервера
Sendmail. Наверное, не нужно долго объяснять, что для
обеспечения бесперебойной работы сервера и требуе-
мого качества обслуживания просто необходимо вов-
ремя выявлять аномалии в его работе и пресекать по-
29
 администрирование
Таблица 1
°ÔÒÆÓÊÆ8QL[ ºÙÓÐÜÎå3\WKRQ
FDOÒË×åÜÉÔÊ FDOHQGDUPRQWKFDOHQGDUÉÔÊÒË×åÜ
FGÐÆØÆÑÔÉ RVFKGLUÐÆØÆÑÔÉ
FKPRGÖËÌÎÒÕÙØâ RVFKPRGÕÙØâÖËÌÎÒ
FKRZQXLGJLGÕÙØâ RVFKRZQÕÙØâXLGJLG
FSÚÆÏÑÕÙØâ VKXWLOFRS\ÚÆÏÑÕÙØâ
GDWH WLPHORFDOWLPHWLPHWLPHÎÊÖÙÉÎËÚÙÓÐÜÎÎÒÔÊÙÑåWLPH
GLII ÚÙÓÐÜÎÎÒÔÊÙÑåGLIIOLE
HFKRÕËÖËÒ SULQWÕËÖËÒVYDUV
HFKRØËÐ×Ø SULQWØËÐ×Ø
H[LW1 V\VH[LW1
IHWFKPDLO ÒÔÊÙÑâSRSOLE
IWS ÒÔÊÙÑâIWSOLE
JUHSHJUHS ÊÑåÖÆÇÔØá×ÖËÉÙÑåÖÓáÒÎÈáÖÆÌËÓÎåÒÎ×ÑÙÌÎØÒÔÊÙÑâUH
J]LS  ÒÔÊÙÑâJ]LS
OQVÕÙØâÕÙØâ RVV\POLQNÚÆÏÑÚÆÏÑ
OQÚÆÏÑÚÆÏÑ RVOLQNÚÆÏÑÚÆÏÑ
OVOÚÆÏÑ RVVWDWÚÆÏÑ
OVÐÆØÆÑÔÉ RVOLVWGLUÐÆØÆÑÔÉJOREJOREÐÆØÆÑÔÉ
PDQØËÒÆ KHOSØËÒÆÎÑÎKHOSÔÇàËÐØ
PNGLUÕÙØâ RVPNGLUÕÙØâ
PYÕÙØâÕÙØâ  RVUHQDPHÕÙØâÕÙØâ
QVORRNXSÛÔ×Ø  VRFNHWJHWKRVWE\QDPHÛÔ×ØÎÊÖÙÉÎËÚÙÓÐÜÎÎãØÔÉÔÒÔÊÙÑå
SZG RVJHWFZG
UP5ÐÆØÆÑÔÉ VKXWLOUPWUHHÐÆØÆÑÔÉ
UPÚÆÏÑ RVXQOLQNÚÆÏÑÎÑÎRVUHPRYHÚÆÏÑ
VHQGPDLO ÒÔÊÙÑâVPWSOLE
VRUW ×ÕÎ×ÔÐVRUW
ZJHWÎØÕ ÒÔÊÙÑÎKWWSOLEXUOOLEXUOOLEXUOSDUVH
]LS  ÒÔÊÙÑâ]LSILOH
ÐÔÒÆÓÊÆ  RVV\VWHPÐÔÒÆÓÊÆ
ÐÔÒÆÓÊÆ_  I RVSRSHQÐÔÒÆÓÊÆU
_ÐÔÒÆÓÊÆ  I RVSRSHQÐÔÒÆÓÊÆZ
ÚÆÏÑ I RSHQÚÆÏÑUIUHDGIFORVH
!ÚÆÏÑ  I RSHQÚÆÏÑUIZULWHIFORVH

пытки злоупотребления сервисом. Одна из основных

проблем - массовые несанкционированные рассылки,
или попросту спам. И проблема эта не только в том,
чтобы уберечь пользователей сервера от спама, но и
вовремя заметить попытки применения пользователя-
ми программ массовой рассылки.
Я почти уверен, что на рынке имеются готовые ин-
струменты для решения этой проблемы. Даже очень
возможно, что нужные программы есть в свободном
распространении. Однако простые средства во многих
случаях можно написать и самому, руководствуясь сво-
им опытом и, возможно, знанием местной специфики.
Тем более, что это не требует много времени.
Разбираемый ниже пример не претендует на полно-
ту решения проблемы спама, он решает частную зада-
чу. Мы будем отслеживать лишь попытки массовых рас-
сылок, в которых на один «mail from» следуют несколь-
ко «rcpt to». Конечно, программу легко адаптировать и
для другой ситуации, агрегируя данные по отправите-
лям, получателям и так далее, получая портрет ситуа-
ции на почтовом сервере. Следует заметить, что глядя

30
 администрирование
на «сырые» логи Sendmail не всегда можно увидеть date, session_id, addr = found["date"], found["session"],
проблему. Во всяком случае, для этого требуется неко- found["addr"]
торое напряжение глаз. direc = found.get("direc", "to") # ïî óìîë÷àíèþ "to"
stat = found.get("stat", "") # ïî óìîë÷àíèþ - ïóñòàÿ
Наша небольшая программа на Python будет соби- ñòðîêà
рать данные о сеансах и показывать только сеансы с if direc == "to" and stat[:4] != "Sent" and stat !=
большим числом получателей. В логе эта информация "User unknown":
сильно размазана, поэтому простого применения инст- continue # òàêèå ñîîáùåíèÿ íå èíòåðåñóþò
румента вроде grep здесь оказывается недостаточно. if direc == "to": # â çàâèñèìîñòè îò íàïðàâëåíèÿ
Накапливаемые данные мы будем сохранять в фай- if t.has_key(session_id):
t[session_id] = t[session_id] + addr + ";"
лах-хэшах (аналогичных тем, в которых хранятся, на- else:
пример, псевдонимы), благо в Python есть для этого t[session_id] = addr + ";"
else:
нужные модули. (Конечно, в Python можно использовать f[session_id] = addr
и полновесные базы данных с языком запросов SQL, r[session_id] = found.get("relay_ip", "") or
found.get("relay", "")
однако это непринципиально). d[date + session_id] = session_id
Задача распадается на две: сбор данных из лога в input_file.close()
базу данных и выборка из базы данных. f.close(); t.close(); r.close(); d.close()

#!/usr/bin/python Построчно читаем из файла с логами и, в зависимо-

"""Àíàëèç ëîãà Sendmail""" сти от сработавшего шаблона, записываем в заранее
import os, re, sys, anydbm, time открытые базы данных. Обратите внимание, что база
date.db использует в качестве ключей как дату, так и
server_name = "mail" # èìÿ ñåðâåðà, ôèãóðèðóþùåå â ëîãàõ
идентификатор сессии. Последний делает ключ уни-
def createdb(file): кальным.
"""Ñîçäàíèå ÁÄ"""
try: os.unlink(file) # óäàëÿåì ñòàðóþ ÁÄ Заметим, что в Python логические операции or и and
except: pass # èãíîðèðóåì èñêëþ÷åíèÿ работают несколько необычно. Любой объект имеет так
return anydbm.open(file, "c")
# êëþ÷: çíà÷åíèå называемое истинностное значение. Нули, пустые пос-
f = createdb("from.db") # èä ñåññèè: îòïðàâèòåëü ледовательности, объект None считаются «ложью», а
t = createdb("to.db") # èä ñåññèè: ïîëó÷àòåëè
r = createdb("relay.db") # èä ñåññèè: ïî÷òîâûé õîñò остальные объекты -- истиной. В результате операции
d = createdb("date.db") # âðåìÿ è èä ñåññèè: èä ñåññèè A or B возвращается объект A, если он «истинен», а в
''' Ïðèìåðû ÷åòûðåõ õàðàêòåðíûõ ñëó÷àåâ: противном случае -- объект B. Именно поэтому имени
Aug 11 20:24:25 mail sendmail[4720]: g7BGOHY2004720: m будет соответствовать результат первого успешного
from=<tegeran@mail.ru>, size=103655, class=0, nrcpts=1,
msgid=<000c01c2414e$d175ad80$3075a8c0@awx.ru>, proto=SMTP, сравнения.
daemon=MTA, relay=[212.28.127.12] Python оперирует такими высокоуровневыми объек-
Aug 11 20:24:25 mail sendmail[4720]: g7BGOHY2004720:
to=<font@twogo.ru>, delay=00:00:07, pri=133655, stat=Headers тами, как список и словарь. Словарь задает отображе-
too large (32768 max)''' ние между ключами и значениями. В частности, found
Aug 11 04:02:31 mail sendmail[17058]: g7B02UY2017058:
from=<gluck@subscribe.ru>, size=33977, class=0, nrcpts=1, является словарем, отображающим имя найденной в
msgid=<20020811030027_hk_=2087=top=n=n_@subscribe:news.listsoft.lnx>, строке лога группы и значения этой группы. Имена групп
proto=SMTP, daemon=MTA, relay=relay1.aport.ru [194.67.18.127]
Aug 11 07:18:20 mail sendmail[28329]: g7B3ICY2028329:
<nouser@twogo.ru>... User unknown'''

# õàðàêòåðíûå ÷àñòè ðåãóëÿðíûõ âûðàæåíèé (ïðåôèêñ, õîñò è

àäðåñ)
P = "(?P<date>.{15}) %(server_name)s sendmail\[[0-9]+\]:
(?P<session>[^:]+): " % vars()
R = "relay=(?P<relay>.*(?:\[(?P<relay_ip>.+?)\])?)"
A = "\<?(?P<addr>[^(),>]+)\>?"
# ðåãóëÿðíûå âûðàæåíèÿ, ñîîòâåòñòâóþùèå ðàçíûì ñëó÷àÿì
log1_re = re.compile(r"%(P)s(?P<direc>to)=%(A)s, (.*),
stat=(?P<stat>.*)" % vars())
log2_re = re.compile(r"%(P)s(?P<direc>from)=%(A)s,
size=(?P<size>[0-9]+), .*, %(R)s" % vars())
log3_re = re.compile(r"%(P)s(?P<direc>from)=%(A)s, .*, %(R)s"
% vars())
log4_re = re.compile(r"%(P)s%(A)s\.\.\. (?P<stat>User
unknown)" % vars())
input_file = open(sys.argv[1], "r") # îòêðûâàåì ôàéë ñ
ëîãîì
while 1:
line = input_file.readline()
if not line: # îáíàðóæåí êîíåö ôàéëà: âûõîä èç öèêëà
break
# ñðàâíèâàåì ñòðîêó ëîãà ñ øàáëîíàìè
m = log1_re.match(line) or log2_re.match(line) \
or log3_re.match(line) or log4_re.match(line)
if m: # åñëè õîòü îäèí øàáëîí ñðàáîòàë:
found = m.groupdict() # ïîëó÷àåì ñëîâàðü ãðóïï ðåçóëü-
òàòà

№1, октябрь 2002 31

 администрирование
в регулярных выражениях задаются через (?P<имя> ...).
Взять из словаря значение по ключу можно не только с
помощью словарь[ключ], но и с помощью метода get().
В последнем случае можно задать значение «по умол-
чанию», то есть значение, которое метод get() возвра-
тит в случае отсутствия ключа в словаре.
Стоит заметить, что работа с базами данных исполь-
зует тот же синтаксис, что и работа со словарями (об
этом позаботились разработчики модуля anydbm).
Итак, мы поместили информацию из лога Sendmail
в более удобный для обработки вид -- в базы данных
(хэши). Следующая программа - пример одного из об-
работчиков, которые мы теперь можем применить.
Для нашей цели (выявление чрезмерных списков
рассылки) данные удобно отсортировать по времени.
Это легко сделать с ключами из базы date.db. По сути
мы считываем все ключи этой базы в память (метод
keys()) и сортируем их по возрастанию.
#!/usr/bin/python
"""Àíàëèçèðóåì ñîáðàííûå äàííûå"""
import re, sys, anydbm, string
# îòêðûâàåì áàçû
f
t
= anydbm.open("from.db", "r")
= anydbm.open("to.db", "r")
r = anydbm.open("relay.db", "r")
d = anydbm.open("date.db", "r")
# ïîêàçûâàòü òîëüêî ñëó÷àè îòïðàâëåíèÿ >= LIM ïîëó÷àòåëÿì
try:
LIM = int(sys.argv[1])
except:
LIM = 4
dkeys = d.keys() # ïîëó÷àåì âñå êëþ÷è â îäèí ñïèñîê
# ñîðòèðóåì (ôàêòè÷åñêè, ïî âðåìåíè). Ïðåíåáðåãàåì ñìåíîé
ìåñÿöåâ
dkeys.sort()
good_guys_re = re.compile(".*(gluck@subscribe.ru|-
errors@maillist.ru|@lists.cityline.ru|@host4.list.ru)\Z")
def our_filter(x):
"""Ôóíêöèÿ äëÿ ôèëüòðàöèè ïîëó÷àòåëåé"""
return "@" in x
файлов логов сразу; обрабатывать ситуации, когда не-
сколько получателей указаны в одной строке лога; из-
менить правила фильтрации, изменить способ агреги-
рования данных (например, агрегировать по именам по-
лучателей, именам отправителей, адресам почтовых хо-
стов); сделать из программы демона, непрерывно сле-
дящего за логами и т.п.
Составляя наши программы, мы выразили логику
анализа логов почтового сервера и почти не отвлека-
лись на обдумывание применяемых конструкций языка
программирования и конструирование типов данных.
Программисты на Python утверждают, что на этом
языке можно писать «со скоростью мысли», то есть, по-
чти все время оставаясь в предметной области. Если
вы этому не верите, попробуйте переписать приведен-
ные программы с использованием стандартного Си или
Java. С другой стороны, приведенную задачу обычно
решают с помощью языка Perl. К сожалению, Perl вно-
сит очень много синтаксического мусора, что подчас
значительно затеняет логику программы.
Основными преимуществами Python являются, на
мой взгляд:
n удобный и легко читаемый синтаксис
n многоплатформенность
n поддержка основных системных и сетевых протоко-
лов и форматов
n большой набор библиотек
n свободное распространение
n дружелюбная поддержка в телеконференции
comp.lang.python
n надежный и устойчивый интерпретатор
Все это делает Python отличным инструментом в ра-
боте системного администратора.

for date_sess_id in dkeys:

i = d[date_sess_id] # íàõîäèì èäåíòèôèêàòîð ñåññèè
try:
recps = string.split(t[i], ";") # ñïèñîê ïîëó÷àòåëåé
# áåðåì òîëüêî àäðåñà ñ @
recps = filter(our_filter, recps)
sender = f[i] # îòïðàâèòåëü
# ïîêàçûâàåì
if len(recps) >= LIM and not good_guys_re.match(sender):
relay = r[i]
dte = date_sess_id[:15] # ïåðâûå 15 ñèìâîëîâ -- äàòà
print f[i], relay, dte, "->\n ", string.join(recps,
"\n ")
except: # åñëè âîçíèêëè îøèáêè, ïðîïóñêàåì
pass
f.close(); t.close(); r.close()

Здесь особо следует отметить функцию filter(). Эта

встроенная функция применяет некоторую функцию (ар-
гумент 1) к списку (аргумент 2). В нашем случае ис-
пользуется our_filter, которая возвращает «истину» в
случае, когда ее аргумент содержит «@».
Составленная программа далека от совершенства,
однако ее легко доработать в любом нужном направ-
лении: добавить возможность обработки нескольких

32
ПРОГРАММИРОВАНИЕ
 ЕВГЕНИЙ КОНОВАЛОВ

РАБОТА
С
ТЕКСТОМ
ИЛИ
ФИЛОСОФИЯ
PERL

Есть два основных аспекта, которые легли в
основу этой статьи.
Первый - это периодически возникающая
перед большинством Web-программистов
проблема переноса тех или иных документов
в базу данных (БД), используемую,
например, при генерации страниц скриптами.
Проблема эта из разряда концептуальных и
решается по-разному: в зависимости от
рабочей среды, окружающей разработчика
плотным кольцом всевозможных
требований, условий и согласований.
Вторая идея, попавшая в фокус обсуждения -
использование Perl для решения
любопытной задачи, связанной с упомянутой
выше проблемой. Собственно об этом и
пойдет речь в дальнейшем. (Примечание:
данная статья, пожалуй, рассматривается
именно как посылка для обсуждения - иные
подходы не имеют и половины такой же
привлекательности.)
Вместо лирического вступления
На всякий случай автор искренне просит не рассмат-
ривать эту статью как очередное «УРА» в честь наиболее
развитого и удобного, свободного, попросту приятного и
даже замечательного языка для работы с текстом и про-
граммирования в Web (разумеется, речь идет о Perl).
Сильным духом программистам
посвящается...
«Если ты едешь тише - дольше ехать тебе. Если поспешишь, то не
разглядишь идей»
Следуя этой нехитрой идее, хочется без излишних под-
робностей, но, тем не менее, вдумчиво изложить уважае-
мому читателю идеи, которые, вполне возможно, приго-
дятся в работе или просто послужат поводом для размыш-
лений.
Сначала несколько слов об истоках рассматриваемой
проблемы. Сегодня адаптация документов различных
форматов для внесения их в БД Web-сайта - занятие при-
вычное во многих организациях, имеющих собственную
«точку присутствия» в сети Интернет. Зачастую это свя-
зано с возможностью простой реализации полнотексто-
вого поиска в таблицах БД и простотой реализации меха-
низмадоступа к информации.
Так или иначе, все выглядит достаточно просто и по-
нятно, когда речь заходит о небольших объемах данных,
особенно, если они подготавливаются централизовано
одним-двумя сотрудниками. Сложности возникают при
работе с документами больших размеров.{1} Что также
может осложняться острым желанием предоставить ад-
министратору БД и многочисленным контент-менеджерам
удобную методику для работы с данными.
Одновременно специфика Web, конечно же, делает
предпочтительной разбивку крупных документов на от-
дельные составляющие (например, главы), и предостав-
№1, октябрь 2002
программирование
ление пользователю возможности их раздельного про-
смотра. Это связано с сегодняшней философией жизни в
Интернет, например, с «диалапными» скоростями досту-
па (впрочем, не только с этим).
Подытоживая сказанное, Вашему вниманию представ-
ляется задача, решенная в рамках разработки подсисте-
мы информационного наполнения БД.
Исходные данные:
n тип вносимой информации - HTML-код значительного
объема;
n весь HTML-код заключен в едином документе;
n документ необходимо разбить на составные части, ко-
торые размещаются в БД (с тем же успехом их можно
сохранить в файл).
Основная трудность решения: в результате разбиения
документа необходимо получить фрагменты HTML-кода,
имеющие корректную HTML-структуру. Такого рода кор-
ректность подразумевает:
n соответствие каждому начальному HTML-тегу завер-
шающего HTML-тега (для HTML-элементов, обязатель-
но обозначаемых именно парой тегов);
n переработку внутренних гиперссылок (для случаев,
когда сама ссылка оказывается в одном фрагменте, а
то место в оригинальном документе, на которое она
ссылается, - в другом фрагменте).
Отправная точка: исходные данные в
подробностях
«Начинать нужно с чего-то...», - и с этим трудно не согласиться.
Чтобы стало понятным все, о чем пойдет речь в даль-
нейшем, необходимо внести большую ясность в то, что
касается исходных данных. На вход описанного ниже про-
граммного модуля, поступают должным образом подго-
товленные оглавление и текст HTML-документа. Далее
приведено описание правил, по которым осуществляется
такого рода подготовка документа.
Говоря коротко, необходимо иметь HTML-документ с
гипертекстовым оглавлением (в оглавлении должны ис-
пользоваться внутренние гиперссылки - то есть те, значе-
ния атрибутов href которых начинаются со знака решетки
«#»). Такой подход достаточно удобен. Теперь о том же
самом, но уже более подробно.
Дабы исключить путаницу в терминах введем несколь-
ко понятий.
«Внутренняя гиперссылка» - ссылка, при нажатии на
которую выполняется переход на анкер (см. ниже), распо-
ложенный в том же HTML-документе, в теле которого на-
ходится и сама ссылка; значение атрибута HREF такой
гиперссылки начинается со знака решетки #. Например:
<A HREF=»#Part1">1. Introduction</A>.
«Анкер» - тег, размещаемый в том месте HTML-доку-
мента, куда необходимо осуществить перемещение по на-
жатию на внутреннюю гиперссылку. Например:
<A NAME=»Part1">
35
 программирование
Примечание: связь между анкером и внутренней ги-
перссылкой реализуется через значения атрибута HREF
гиперссылки и атрибута NAME анкера, при этом значение
NAME соответствует значению HREF с точностью до зна-
ка решетки. Например:
<A HREF=»#Part1">1. Introduction</A>
является внутренней ссылкой на анкер
<A NAME=»Part1">
«Оглавление» - гипертекстовое оглавление докумен-
та, состоящее из внутренних гиперссылок.
«Пункт оглавления» - внутренняя гиперссылка, внут-
ри тега которой заключен текст одного из пунктов содер-
жания документа.
«Глава документа» или «Глава» - часть HTML-доку-
мента, сопоставляемая одному из пунктов оглавления.
«Специальный анкер разметки» или «Анкер размет-
ки» - анкер, на который ссылается один из пунктов оглав-
ления. (Такой анкер разметки располагается непосред-
ственно перед главой (обычно перед заглавием главы),
которая соответствует пункту оглавления, ссылающему-
ся на данный анкер разметки.)
«Документ» - текст HTML-документа (без оглавления).
Далее, рассмотрим в качестве примера документа
обзор по материнским платам.
Вообще говоря, в рассматриваемом случае оглавле-
ние в традиционном понимании имеет следующий вид:
1. Introduction
2. CPUs and CPU Sockets
3. Supported Memory types and speed. Chipset features
4. Built-in video and audio cards
5. Hard drive support. USB ports and extension slots
Назовем это оглавление «Исходным оглавлением».
Однако для корректного разбиения документа на гла-
вы оглавление должно быть представлено, например, сле-
дующим образом:
<A HREF=»#Part1">1. Introduction</A>
<A HREF=»#Part2">2. CPUs and CPU Sockets</A>
<A HREF=»#Part3">3. Supported Memory types and speed. Chipset
features</A>
<A HREF=»#Part4">4. Built-in video and audio cards</A>
<A HREF=»#Part5">5. Hard drive support. USB ports and extension
slots</A>
В данном представлении обязательным является ис-
пользование для каждого пункта исходного оглавления
(см. выше) синтаксической конструкции вида:
<A HREF=»#Unique_ID»>Òåêñò ïóíêòà îãëàâëåíèÿ</A>
где Unique_ID - произвольный идентификатор, который
должен быть уникальным применительно ко всем значе-
ниям атрибутов HREF всех пунктов оглавления.
Ниже приведен соответствующий документ - это фраг-
мент HTML-кода из пяти глав (содержательная часть, ра-
зумеется, беспощадно урезана - буквально до потери
смысла).
36
Примечание: при программном анализе документа
заголовочная часть (вплоть до тега <BODY>) и концевые
теги </HTML> и </BODY> не рассматриваются.
<HTML>
<HEADER>Motherboard Description</HEADER>
<BODY>
<A NAME=»Part1"></A>
<TABLE>
<TR><TD>
<B><H3>Introduction.</H3></B><BR><BR ><FONT
COLOR=»#000099">Mainboard is the most vital component of every
PC. If we compare a PC with a living organism, the processor
can be compared to a heart, and the mainboard is like a system
of artherias and veins which deliver information from a processor
to other parts of PC.</FONT>
<A NAME=»Part2"></A>
<P><B><H3>CPUs and CPU Sockets.</H3></B>
<P><FONT COLOR=»#000099">So, it is time for you to buy a new
PC. We will not discuss the modern processors in this section,
as it is revealed in our </FONT><B><FONT
COLOR=»#CC0000">processors section</FONT></B><FONT
COLOR=»#000099">, but will concentrate on the parts responsible
to connecting CPU (Central Processor Unit) to the mainboard,
the sockets, since there is a great variety of them nowadays.</
FONT>
<A NAME=»Part3"></A>
<P><B><H3>Supported Memory types and speed. Chipset features.</
H3></B>
<P><FONT COLOR=»#000099">Not only the CPU is responsible for
overall performance of your desktop (or notebook) system. Even
the extremely speedy processor will be found slowed by less
performing RAM (Random Ac
ss Memory).</FONT>
<A NAME=»Part4"></A><P>
<P><B><H3>Built-in video and audio cards.</H3></B>
<P><FONT COLOR=»#000099">As you see, the latest chipsets
have built-in audio cardsnd video adapters.
<A NAME=»Part5"></A>
<P><B><H3>Hard drive support. USB ports and extension slots.</
H3></B>
<P><FONT COLOR=»#000099">The times when you had to install
multiple intput-output cards can be forgotten and now you have
all drive (hard and floppy) support on the mainboard.
</TD></TR>
</TABLE>
</BODY>
</HTML>
Замечание 1: в тексте документа не может быть более
одного анкера разметки с одним и тем же значением ат-
рибута «NAME» (при этом количество анкеров разметки
равно числу пунктов оглавления).
Замечание 2: очевидно, что при разбиении на фраг-
менты, первая глава будет содержать стартовые теги
<TABLE>, <TR> и <TD> без концевых (завершающих) те-
гов. Это явное нарушение HTML-структуры, которое мо-
жет быть особенно неприятным при использовании SSI
(если HTML-код главы будет включаться в состав основ-
ной HTML-страницы средствами Web-сервера).
Программирование: идея, заложенная
в основу
«Идея - базис алгоритма», - и так повсюду.
Фактически Manual_Parser позволяет выполнить поте-
говый анализ документа. Все операции базируются на
использовании нескольких довольно сложных структур

данных (см. далее), позволяющих описать документ с точ-
ки зрения типов тегов, содержащихся в нем, и их количе-
ства. На основе такой количественной статистики произ-
водится анализ корректности HTML-структуры всего до-
кумента и глав, на которые он будет разделен в дальней-
шем.
Идея проста: анализ сводится к подсчету количества
стартовых и завершающих тегов и сравнении полученных
величин, исправление обнаруженных ошибок заключает-
ся в добавлении недостающих стартовых и завершающих
тегов.
Остановимся на этом чуть подробнее. Суть заключа-
ется в том, что первоначально для каждой главы из тех, на
которые разбивается документ подсчитывается число на-
чальных и завершающих тегов (назовем их «Величина-1»
и «Величина-2»). Затем при обнаружении несоответствия
между этими значениями начинается итерационный поиск
недостающего парного тега: последовательно перебира-
ются последующие главы и для каждой такой главы к ве-
личине-1 и величине-2 соответственно прибавляются чис-
ла начальных и завершающих тегов этой главы. Условием
успешного окончания поиска недостающего парного тега
является равенство величины-1 и величины-2.
Если назвать главу, в которой обнаружилось несоот-
ветствие, стартовой (Главой итерационного поиска); главу
в которой был найден недостающий парный концевой тег -
заключительной, а все главы между ними - промежуточ-
ными, то процесс коррекции HTML-структуры глав можно
описать достаточно просто. Необходимо дополнить стар-
товую главу концевым HTML-тегом, заключительную гла-
ву - стартовым HTML-тегом, промежуточные главы - стар-
товым и концевым HTML-тегами.
программирование
$attrseq, $origtext) и end($tag, $origtext). Первый из них
вызывается при обнаружении начального HTML-тега, пе-
редаваемые ему параметры: $tag - имя тега, $attr - хэш с
именем атрибута тега в качестве ключа и значением ат-
рибута в качестве значения хэша, $attrseq - массив имен
атрибутов тега, $origtext - HTML-код тега. Второй метод
выполняется при обнаружении завершающего HTML-тега:
$tag - имя тега, $origtext - HTML-код тега.
В программе методы start и end перегружаются (за-
мещаются). Именно в рамках этих процедур производит-
ся потеговый анализ документа и собирается упомянутая
выше статистика, характеризующая его HTML-структуру.
Программирование: основные
структуры данных
«Структура структурной структуризации структурирует
структурную типизацию», - и все это не случайно.
Речь идет о структурах данных объектов класса
Manual_Parser - в них накапливается статистика, позво-
ляющая проанализировать HTML-структуру документа.
Существует три основные структуры данных:
$Doc_Info, $Work_Container и массив @Pages_Info. Сразу
же следует заметить, что речь идет о сложных, вложен-
ных структурах данных. Их понимание играет ключевую
роль.
Каждый элемент массива @Pages_Info представляет
собой структуру данных, с элементами в виде скаляров,
списков и хэшей, описывающих HTML-структуру одной
главы (замечание в рамках борьбы с несозвучностью на-
званий и терминологии: под «Page» понимается HTML-
страница, соответствующая главе).

Программирование: иерархия классов

При работе упор был сделан на методику объектно-
ориентированного программирования. Именно это позво-
лило использовать уже существующие классы
HTML::Parser, предоставляющий методы для разбора
SGML-документов (так же используется HTML::Filter - до-
черний класс HTML::Parser).
Было разработано два класса: Manual_Cont_Parser и
Manual_Parser.
Manual_Cont_Parser наследуется от HTML::Filter, класс
занимается обработкой оглавления (см. выше), разбирая
его попунктно. Предоставляет методы:
Get_Links_Lines - возвращает массив, каждый элемент
которого содержит текст пункта оглавления (без тегов);
Get_Links_Hrefs - возвращает массив, каждый элемент
которого содержит значение атрибута HREF пункта ог-
лавления.
Manual_Parser наследуется от HTML::Parser. Отвеча-
ет за разбор документа и его разбиение на главы. Имен-
но этому классу и будет уделено основное внимание.
Класс HTML::Parser обладает рядом методов. Ключе-
выми являются методы parse($string) или parse_file($file),
вызов одного из них инициирует работу по анализу доку-
мента.
Еще два используемых метода - start($tag, $attr,

№1, октябрь 2002 37

 программирование
@Pages_Info = #Èìÿ àíàëèçèðóåìîãî òåãà
{ Tag_Name => $Tag_Name,
#Õýø ñòðóêòóð (ñì. íèæå) #Íîìåð àíàëèçèðóåìîãî òåãà â Äîêóìåíòå
Tags => {%Tags}, Tag_Num_In_Doc => $Tag_Num_In_Doc,
#Õýø ñòðóêòóð (ñì. íèæå) #Íîìåð àíàëèçèðóåìîãî òåãà â Ãëàâå
Tags_Seq_Page => {%Tags_Seq_Page}, Tag_Num_In_Page => $Tag_Num_In_Page,
#Îáùåå êîëè÷åñòâî ñòàðòîâûõ òåãîâ â ïðåäåëàõ îäíîé ãëàâû #Ïåðåìåííàÿ äëÿ ïîäñ÷åòà îáùåãî êîëè÷åñòâà ñòàðòîâûõ HTML-
Num_Of_Tags => $Num_Of_Tags, òåãîâ â Äîêóìåíòå
#Ìàññèâ, êàæäîå çíà÷åíèå - ïîðÿäêîâûé íîìåð òåãà â Äîêóìåí- Start_Tag_Num_Total => $Start_Tag_Num_Total,
òå, äëÿ êîòîðîãî â Ãëàâå íåîáõîäèìî äîáàâèòü ñòàðòîâûé òåã. #Ïåðåìåííàÿ äëÿ ïîäñ÷åòà îáùåãî êîëè÷åñòâà çàâåðøàþùèõ HTML-
Start_Tags_To_Add => {@Start_Tags_To_Add}, òåãîâ â Äîêóìåíòå
#Ìàññèâ, êàæäîå çíà÷åíèå - ïîðÿäêîâûé íîìåð òåãà â Äîêóìåí- End_Tag_Num_Total => $End_Tag_Num_Total
òå, äëÿ êîòîðîãî â Ãëàâå íåîáõîäèìî äîáàâèòü çàâåðøàþùèé òåã. };
End_Tags_To_Add => {@End_Tags_To_Add},
#Õýø, êëþ÷ õýøà - çíà÷åíèå àòðèáóòà href Âíóòðåííåé Ãèïåð-
ññûëêè, çíà÷åíèå õýøà - íîìåð Ãëàâû
Local_Links => %Local_Links, Программирование: алгоритмы работы
#Õýø, êëþ÷ õýøà - çíà÷åíèå àòðèáóòà href Âíóòðåííåé Ãèïåð-
ññûëêè íà îäíó èç Ãëàâ, çíà÷åíèå õýøà - íîìåð Ãëàâû и программный код
Local_Links_To_Pages => %Local_Links_To_Pages
}; «Алгоритм - это, как минимум, четкая, осмысленная последователь-
#Õýø ñòðóêòóð, êëþ÷ õýøà - ïîðÿäêîâûé íîìåð òåãà â òåêóùåé ность действий», - редкая женщина обладает даром алгоритма.
Ãëàâå
%Tags_Seq_Page =
{ Ниже приведены прокомментированные строки кода,
#Èìÿ òåãà указываемые в приложении, использующем классы
Tag_Name => $Tag_Name,
#Ïîðÿäêîâûé íîìåð òåãà âî âñåì Äîêóìåíòå Manual_Cont_Parser и Manual_Parser.
Tag_Num_In_Doc => $Tag_Num_In_Doc
};
Создание объекта класса Manual_Cont_Parser:
#Õýø ñòðóêòóð, êëþ÷ õýøà - èìÿ (òèï) òåãà
%Tags = my $Man_Cont_Parser = Manual_Cont_Parser->new();
{
#Êîëè÷åñòâî íà÷àëüíûõ HTML-òåãîâ äàííîãî òèïà â Ãëàâå
Start_Tag_Num => $Start_Tag_Num,
#Êîëè÷åñòâî çàêëþ÷èòåëüíûõ HTML-òåãîâ äàííîãî òèïà â Ãëàâå Подготовка к анализу документа: разбор оглавления
End_Tag_Num => $End_Tag_Num документа, получение списка анкеров разметки:
};

$Doc_Info представляет собой структуру данных, с эле- $Man_Cont_Parser->parse($contents);

ментами в виде скаляров, списков и хэшей, описываю- my @Contents_Hrefs = $Man_Cont_Parser->Get_Links_Hrefs;
щих документ вцелом.
Создание объекта класса Manual_Parser:
$Doc_Info =
{
#Õýø ñòðóêòóð (ñì. íèæå) $Man_Parser->parse($Document_Text);
Tags_Seq_Doc => {%Tags_Seq_Doc},
#Õýø ñòðóêòóð (ñì. íèæå)
Tags => {%Tags}, Анализ документа, разбор, корректировка и разбие-
#Îáùåå êîëè÷åñòâî ñòàðòîâûõ òåãîâ â ïðåäåëàõ Äîêóìåíòà ние на главы:
All_Start_Tags_Num => $All_Start_Tags_Num,
#Îáùåå êîëè÷åñòâî çàâåðøàþùèõ òåãîâ â ïðåäåëàõ Äîêóìåíòà
All_End_Tags_Num => $All_End_Tags_Num, my $Man_Parser = Manual_Parser->new(\@Contents_Hrefs);
#Õåø, êëþ÷ õýøà - èìÿ àíêåðà, çíà÷åíèå õåøà - íîìåð Ãëàâû,
â êîòîðîé ðàñïîëîæåí àíêåð
Local_Anchors => %Local_Anchors Использование полученных результатов: внесение по-
};
лученных глав в БД Web-подсистемы:
#Õýø ñòðóêòóð, êëþ÷ õýøà - ïîðÿäêîâûé íîìåð òåãà â Äîêóìåíòå
%Tags_Seq_Doc =
{ $Man_Parser->Insert_Pages_In_DB();
#Èìÿ òåãà
Tag_Name => $Tag_Name,
#HTML-êîä òåãà
Tag_Orig_Text => $Tag_Orig_Text, Подготовка к анализу HTML-документа
#Íîìåð òåãà â Ãëàâå
Tag_Num_In_Page => $Tag_Num_In_Page,
#Íîìåð Ãëàâû, â êîòîðîé íàéäåí äàííûé òåã Первоначально объекту класса Manual _Cont_Parser
Tag_Page_Num => $Tag_Page_Num
}; передается оглавление. Вызываются методы parse($text)
или parse_file($file). Затем с помощью метода
$Work_Container - структура, представляющая собой Get_Links_Hrefs получается результирующий список строк,
контейнер «рабочих» данных, она используется для вре- каждая из которых содержит преобразованное значение
менного хранения данных в процессе анализа. атрибута href одного из пунктов оглавления (преобразо-
вание заключается в удалении символа «#», с которого
$Work_Container начинается значение данного атрибута). Затем строки по-
{
#Â ýòó ïåðåìåííóþ çàíîñèòñÿ íîìåð Ãëàâû, â êîòîðîé íåäîñòà- лученного списка будут использоваться объектом класса
åò çàâåðøàþùåãî òåãà. Ãëàâà ñòàíîâèòñÿ ñòàðòîâîé äëÿ èòåðàöè- Manual_Parser для нахождения анкеров разметки в доку-
îííîãî ïîèñêà òîé Ãëàâû, â êîòîðîé ñîäåðæèòñÿ íåäîñòàþùèé çà-
âåðøàþùèé òåã менте.
Start_Page_Num => $Start_Page_Num,

38

Анализ HTML-документа: тег за тегом
Далее подробно комментируется программная реали-
зация решения описанной выше задачи. Приведенный
наже программный код относится к классу Manual_Parser.
@Array - массив (инициализируется в конструкторе при
создании объекта), в котором содержатся имена анкеров.
Разметки, полученные в виде результирующего списка на
стадии подготовки к анализу документа (см. ранее).
Процедура start() - замещает процедуру start() класса
HTML::Parser, вызывается при нахождении стартового (на-
чального) HTML-тега. Процедура работает со всем тек-
стом документа, «физического» разбиения на главы на
данном этапе не произодится - каждая глава рассматри-
вается как составная часть документа.
sub start
{ >{Tag_Num_In_Doc} = $self->{Tag_Num_In_Doc};
my $self = shift;
#Ïîëó÷åíèå ïàðàìåòðîâ òåãà (îïèñàíèå ñì. ðàíåå)
my ($tag, $attr, $attrseq, $origtext) = @_;
my @Temp_Cont_HREFs = @{$self->{Contents_HREFs}};
#Ïðîâåðêà: âõîäèò ëè íàéäåííûé ñòàðòîâûé òåã â ñïèñîê òåõ
òåãîâ, äëÿ êîòîðûõ íå îáÿçàòåëüíî óêàçûâàòü ïàðíûé êîíöåâîé
òåã
if (!($self->Tag_Is_Exception_Check($tag)))
{ >{Tag_Page_Num}=$self->{Current_Page};
#Ïðîâåðêà: ÿâëÿåòñÿ ëè íàéäåííûé òåã ãèïåðññûëêîé èëè
àíêåðîì
if ($tag eq “a”)
{ ðóêòîðå ïðè ñîçäàíèè îáúåêòà)
my $Last_Tag_Is_Cont_Href=0;
#Äëÿ êàæäîãî èìåíè Àíêåðà Ðàçìåòêè
foreach $Temp (@Array)
{
#Ïðîâåðêà: íàéäåííûé òåã - Àíêåð Ðàçìåòêè
if ($attr->{“name”} eq $Temp && $attr->{“name”} ne “”)
Âûñòàâëåíèå ôëàãîâ, èçìåíåíèÿ ñ÷åò÷èêîâ
{
#Ñ÷åò÷èê ÷èñëà òåãîâ â Ãëàâå (èíèöèàëèçèðóåòñÿ â êîíñò-
ðóêòîðå ïðè ñîçäàíèè îáúåêòà) - çíà÷åíèå ðàâíî ïîðÿäêîâîìó
íîìåðó (â Ãëàâå) àíàëèçèðóåìîãî òåãà
$self->{Tag_Num_In_Curr_Page}=0;
#Ñ÷åò÷èê ÷èñëà ñòðàíèö (èíèöèàëèçèðóåòñÿ â êîíñòðóêòîðå ïðè
ñîçäàíèè îáúåêòà) - çíà÷åíèå ðàâíî ïîðÿäêîâîìó íîìåðó òåêóùåé
àíàëèçèðóåìîé Ãëàâû
$self->{Current_Page}++;
программирование
#Ïðîâåðêà: íàéäåííûé òåã - Âíóòðåííÿÿ Ãèïåðññûëêà
if ($attr->{“href”} =~ /^#/ )
{
my $Temp2 = $attr->{“href”};
$Temp2 =~ s/#//;
$self->{Pages_Info}[$self->{Current_Page}]-
>{Local_Links}{$Temp2}=$self->{Current_Page};
}
}
}
#Îáíîâëåíèå ñòàòèñòèêè ïî íàéäåííîìó òåãó â ñòðóêòóðå äàí-
íûõ ïî òåêóùåé Ãëàâå
$self->{Pages_Info}[$self->{Current_Page}]-
>{Num_Of_Tags}++;
$self->{Pages_Info}[$self->{Current_Page}]->{Tags}{«$tag»}-
>{Start_Tag_Num}++;
$self->{Pages_Info}[$self->{Current_Page}]-
>{Tags_Seq_Page}{$self->{Tag_Num_In_Curr_Page}}-
>{Tag_Name}=$tag;
$self->{Pages_Info}[$self->{Current_Page}]-
>{Tags_Seq_Page}{$self->{Tag_Num_In_Curr_Page}}-
#Îáíîâëåíèå ñòàòèñòèêè ïî íàéäåííîìó òåãó â ñòðóêòóðå äàí-
íûõ ïî Äîêóìåíòó
$self->{Doc_Info}->{Tags}{«$tag»}->{Start_Tag_Num}++;
$self->{Doc_Info}->{Tags_Seq_Doc}{$self->{Tag_Num_In_Doc}}-
>{Tag_Name}=$tag;
$self->{Doc_Info}->{Tags_Seq_Doc}{$self->{Tag_Num_In_Doc}}-
>{Tag_Orig_Text}=$origtext;
$self->{Doc_Info}->{Tags_Seq_Doc}{$self->{Tag_Num_In_Doc}}-
>{Tag_Num_In_Page}=$self->{Tag_Num_In_Curr_Page};
$self->{Doc_Info}->{Tags_Seq_Doc}{$self->{Tag_Num_In_Doc}}-
$self->{Doc_Info}->{All_Start_Tags_Num}++;
$self->{Tag_Num_In_Curr_Page}++;
#Ñ÷åò÷èê ÷èñëà òåãîâ âäîêóìåíòå (èíèöèàëèçèðóåòñÿ â êîíñò-
$self->{Tag_Num_In_Doc}++;
}
}

$Last_Tag_Is_Cont_Href=1;
last;
}
#Ïðîâåðêà: íàéäåííûé òåã - ãèïåðññûëêà íà îäíó èç Ãëàâ
elsif ($attr->{“href”} eq join(“”,’#’,$Temp))
{
#Ñîõðàíèòü â ñòðóêòóðå äàííûå î íàéäåííîé Âíóòðåííåé
Ãèïåðññûëêå íà îäíó èç Ãëàâ
my $Temp2 = $attr->{“href”};
$Temp2 =~ s/#//;
$self->{Pages_Info}[$self->{Current_Page}]-
>{Local_Links_To_Pages}{$Temp2}=$self->{Current_Page};
$Last_Tag_Is_Cont_Href=1;
}
}
#Ïðîâåðêà: ïîñëåäíèé íàéäåííûé òåã - íå Àíêåð Ðàçìåòêè è
íå Âíóòðåííÿÿ Ãèïåðññûëêà íà îäíó èç Ãëàâ
if ($Last_Tag_Is_Cont_Href==0)
{

#Ïðîâåðêà: íàéäåííûé òåã - àíêåð

if ($attr->{“name”} ne “”)
{
$self->{Doc_Info}->{Local_Anchors}{$attr-
>{“name”}}=$self->{Current_Page};
}

№1, октябрь 2002 39

 программирование
Процедура end() - замещает процедуру end() класса
HTML::Parser, вызывается при нахождении стартового (на-
чального) HTML-тега. Процедура работает со всем тек-
стом документа, «физического» разбиения на главы на
данном этапе не произодится - каждая глава рассматри-
вается как составная часть документа.
sub end
{ #Ïîëó÷åíèå Ãëàâ â âèäå îòäåëüíûõ ôðàãìåíòîâ HTML-êîäà è ñî-
my $self = shift;
#Ïîëó÷åíèå ïàðàìåòðîâ òåãà (îïèñàíèå ñì. ðàíåå)
($tag, $origtext)=@_;
#Ïðîâåðêà: âõîäèò ëè íàéäåííûé ñòàðòîâûé òåã â ñïèñîê òåõ
òåãîâ, äëÿ êîòîðûõ íå îáÿçàòåëüíî óêàçûâàòü ïàðíûé êîíöåâîé
òåã
if (!($self->Tag_Is_Exception_Check($tag)))
{ for (my $i=0; $i<=$#Manual_Parts; $i++)
#Îáíîâëåíèå ñòàòèñòèêè ïî êîíöåâûì HTML-òåãàì äëÿ òåêóùåé
Ãëàâû
$self->{Pages_Info}[$self->{Current_Page}]->{Tags}{«$tag»}-
>{End_Tag_Num}++;
#Îáíîâëåíèå ñòàòèñòèêè ïî êîíöåâûì HTML-òåãàì äëÿ âñåãî
Äîêóìåíòà
$self->{Doc_Info}->{Tags}{«$tag»}->{End_Tag_Num}++;
$self->{Doc_Info}->{All_End_Tags_Num}++;
} >{Tags_Seq_Page}{$j}->{Tag_Name};
} #Ïðîâåðêà: äëÿ òåãîâ çàïîìíåííîãî òèïà êîëè÷åñòâî ñòàðòî-
Процедура _Separate_Manual_Into_Pages() - использу-
ется для выборки глав из HTML-кода документа и сохране-
ния их в массиве в виде отдельных текстовых фрагментов.
При этом их HTML-структура не откорректирована.
Для выборки требуемых фрагментов HTML-кода ис-
пользуются регулярные выражения. Синтаксис выраже-
ния зависит от того, какая именно глава должна быть выб-
рана (первая, последняя или любая из промежуточных).
sub _Separate_Manual_Into_Pages
{
my $self = shift;
my $Manual_Text = shift;
my @Manual_Parts;
Процедура Generate_Manual_Parts() - в данной про-
цедуре реализован анализ статистики , собранной ранее
по главам и документу. На основании анализа корректи-
руется HTML-структура глав.
sub Generate_Manual_Parts
{
my $self = shift;
õðàíåíèå èõ â ìàññèâ
my @Manual_Parts=$self-
>_Separate_Manual_Into_Pages($Manual_Text);
#Èíèöèàëèçàöèÿ ñ÷åò÷èêà ñòðàíèö
my $Current_Page_Num=0;
#Äëÿ êàæäîé ïîëó÷åííîé Ãëàâû
{
$Current_Page_Num=$i;
#Äëÿ êàæäîãî òåãà àíàëèçèðóåìîé Ãëàâû
for (my $j=0; $j<$self->{Pages_Info}[$i]->{Num_Of_Tags};
$j++)
{
#Çàïîìíèòü èìÿ (òèï) òåãà â $Current_Tag_Name
my $Current_Tag_Name = $self->{Pages_Info}[$i]-
âûé è êîíöåâûõ òåãîâ â Ãëàâå íå ñîâïàäàåò
if ($self->{Pages_Info}[$i]->{Tags}{$Current_Tag_Name}-
>{Start_Tag_Num} != $self->{Pages_Info}[$i]-
>{Tags}{$Current_Tag_Name}->{End_Tag_Num})
{
#Ïîìåòèòü òåêóùóþ ñòðàíèöó êàê ñòàðòîâóþ â ðàìêàõ èòåðà-
öèîííîãî ïîèñêà ïàðíîãî çàâåðøàþùåãî òåãà
$self->{Work_Container}->{Start_Page_Num}=$i;
Инициализировать счетчик: его значение соответству-
ет общему числу стартовых тегов - тегов запомненного
типа, обнаруженных в главах, которые будут проанализи-
рованы на конкретной итерации поиска парного концево-
го тега:
$self->{Work_Container}->{Start_Tag_Num_Total} = $self-
>{Pages_Info}[$i]->{Tags}{$Current_Tag_Name}->{Start_Tag_Num};

for ($i=-1; $i<=$#Array; $i++)

{ Инициализировать счетчик: его значение соответству-
#Ïðîâåðêà: âûáèðàåì èç Äîêóìåíòà ïåðâóþ Ãëàâó
if($i==-1) ет общему числу концевых тегов запомненного типа, об-
{ наруженных в главах, которые будут проанализированы
$Manual_Text =~ /(.*)<\s*a\s+name=»*$Array[$i+1]»*\s*>/
is; на конкретной итерации поиска парного концевого тега:
$Manual_Parts[$i+1]=$1;
} $self->{Work_Container}->{End_Tag_Num_Total} = $self-
#Ïðîâåðêà: âûáèðàåì èç Äîêóìåíòà ïðîìåæóòî÷íóþ Ãëàâó >{Pages_Info}[$i]->{Tags}{$Current_Tag_Name}->{End_Tag_Num};
elsif ($i<$#Array)
{
$Manual_Text =~ /(<\s*a\s+name=»*$Array[$i]»*\s*>.*<\s*\/ До тех пор пока не будет найден парный концевой тег
a\s*>.*)<\s*a\s+name=»*$Array[$i+1]»*\s*>/is;
или не будут просмотрены все главы:
$Manual_Parts[$i+1]=$1;
} >{End_Tag_Num};
#Ïðîâåðêà: âûáèðàåì èç Äîêóìåíòà ïîñëåäíþþ Ãëàâó }
else
{ #Ïðîâåðêà: êîíöåâîé òåã áûë íàéäåí
if ($Current_Page_Num <= $#Manual_Parts)
$Manual_Text =~ /(<\s*a\s+name=»*$Array[$i]»*\s*>.*<\s*\/ {
a\s*>.*)/is;
#Äëÿ âñåõ Ãëàâ ó÷àñòâîâàâøèõ â èòåàðöèîííîì ïîèñêå ïàð-
íîãî òåãà
$Manual_Parts[$i+1]=$1; for ($k=$self->{Work_Container}->{Start_Page_Num}; $k
}
} <= $Current_Page_Num; $k++)
{
#Äëÿ ñòàðòîâîé Ãëàâû èòåðàöèîííîãî ïîèñêà
#Âîçâðàùàåò ìàññèâ, êàæäûé ýëåìåíò êîòîðîãî ñîäåðæèò òåêñò if ($k == $self->{Work_Container}->{Start_Page_Num})
îäíîé èç Ãëàâ {
return @Manual_Parts; #Çàïîìíèòü ïîðÿäêîâûé íîìåð òåãà â Äîêóìåíòå, äëÿ êî-
} òîðîãî íåîáõîäèìî äîáàâèòü ïàðíûé êîíöåâîé òåã â Ãëàâå

40
 программирование

push (@{$self->{Pages_Info}[$k]->{End_Tags_To_Add}}, {
$self->{Work_Container}->{Tag_Num_In_Doc}); $Manual_Parts[$i] =~ s/
$self->{Pages_Info}[$k]->{Tags}{$Current_Tag_Name}- (<\s*?a\s{1}.*?href\s*?=\s*?»?)#$key(«?\s?.*?>)/$1ñòðîêà_http-
>{End_Tag_Num}++; çàïðîñà_óêàçûâàþùàÿ_ ïóòü_ñ_òî÷íîñòüþ_äî_äîêóìåíòà&page=$i$2/
$self->{Doc_Info}->{Tags}{$Current_Tag_Name}- is;
>{End_Tag_Num}++; }
}
#Äëÿ çàêëþ÷èòåëüíîé Ãëàâû èòåðàöèîííîãî ïîèñêà #Êîððåêòèðîâêà ïðî÷èõ Âíóòðåííèõ Ãèïåðññûëîê
elsif ($k == $Current_Page_Num) foreach $key (keys %{$self->{Pages_Info}[$i]->{Local_Links}})
{ {
#Çàïîìíèòü ïîðÿäêîâûé íîìåð òåãà â Äîêóìåíòå, äëÿ êî- $Manual_Parts[$i] =~ s/
òîðîãî íåîáõîäèìî äîáàâèòü ïàðíûé ñòàðòîâûé òåã â Ãëàâå (<\s*?a\s{1}.*?href\s*?=\s*?»?)(#$key»?\s?.*?>)/$1ñòðîêà_http-
push (@{$self->{Pages_Info}[$k]->{Start_Tags_To_Add}}, çàïðîñà_óêàçûâàþùàÿ_ ïóòü_ñ_òî÷íîñòüþ_äî_äîêóìåíòà&page=$self-
$self->{Work_Container}->{Tag_Num_In_Doc}); >{Doc_Info}->{Local_Anchors}{$key}$2/is;
$self->{Doc_Info}->{Tags}{$Current_Tag_Name}- }
>{Start_Tag_Num}++;
$self->{Pages_Info}[$k]->{Tags}{$Current_Tag_Name}-
>{Start_Tag_Num}++; Примечание: если ограничиться таким способом при-
}
#Äëÿ ïðîìåæóòî÷íûõ Ãëàâ èòåðàöèîííîãî ïîèñêà менения элементов Local_Links и Local_Links_To_Pages из
else структуры данных Pages_Info (см. ранее), то вместо хэ-
{
#Çàïîìíèòü ïîðÿäêîâûé íîìåð òåãà â Äîêóìåíòå, ñòàðòî- шей могут быть использованы обычные списки.
âûé è êîíöåâîé òåãè êîòîðãî áóäóò äîáàâëåíû â ïðîìåæóòî÷íóþ
ñòðàíèöó
push (@{$self->{Pages_Info}[$k]->{Start_Tags_To_Add}}, Вместо заключения
$self->{Work_Container}->{Tag_Num_In_Doc});
$self->{Doc_Info}->{Tags}{$Current_Tag_Name}-
>{Start_Tag_Num}++; Возможности Perl по работе с текстом действительно
$self->{Pages_Info}[$k]->{Tags}{$Current_Tag_Name}- велики. Это прописная истина, и в ней можно убеждаться
>{Start_Tag_Num}++;
снова и снова.
push (@{$self->{Pages_Info}[$k]->{End_Tags_To_Add}},
$self->{Work_Container}->{Tag_Num_In_Doc});
$self->{Doc_Info}->{Tags}{$Current_Tag_Name}- {1} Хранение крупных страниц целиком в БД - это, по-
>{End_Tag_Num}++; жалуй, не всегда является оптимальным решением. Иног-
$self->{Pages_Info}[$k]->{Tags}{$Current_Tag_Name}-
>{End_Tag_Num}++; да гораздо приятнее иметь структурированный HTML-ар-
} хив в файлах на диске, а для удобства поиска размещать
}
} результаты его индексирования в БД.
}
}
}
#Äëÿ âñåõ Ãëàâ
for (my $i=0; $i<=$#Manual_Parts; $i++)
#Âûïîëíèòü äîáàâëåíèå íåäîñòàþùèõ ñòàðòîâûõ è êîíöåâûõ òå-
ãîâ (êîððåêòèðîâêà HTML-ñòðóêòóðû)
{
@{$self->{Pages_Info}[$i]->{Start_Tags_To_Add}}= sort {$b
<=> $a} @{$self->{Pages_Info}[$i]->{Start_Tags_To_Add}};
@{$self->{Pages_Info}[$i]->{End_Tags_To_Add}} = sort {$b
<=> $a} @{$self->{Pages_Info}[$i]->{End_Tags_To_Add}};
#Äîáàâèòü ñòàðòîâûå òåãè
foreach my $value (@{$self->{Pages_Info}[$i]-
>{Start_Tags_To_Add}})
{
$Manual_Parts[$i]=join (“”, $self->{Doc_Info}-
>{Tags_Seq_Doc}{$value}->{Tag_Orig_Text}, $Manual_Parts[$i]);
}

#Äîáàâèòü êîíöåâûå òåãè

foreach my $value (@{$self->{Pages_Info}[$i]-
>{End_Tags_To_Add}})
{
$Manual_Parts[$i]=$Manual_Parts[$i].’</’.$self-
>{Doc_Info}->{Tags_Seq_Doc}{$value}->{Tag_Name}.’>’;
}
}
#Âåðíóòü Ãëàâû ñ îòêîððåêòèðîâàííîé HTML-ñòðóêòóðîé
return @Manual_Parts;
}

Ранее при постановке задачи было замечено, что кор-

ректность фрагментов HTML-кода, получаемых при раз-
биении документа, определяется не только его структу-
рой но и корректными внутренними ссылками. Фрагмент
программного кода, позволяющий реализовать это тре-
бование, приведен ниже.

Êîððåêòèðîâêà Âíóòðåííèõ Ãèïåðññûëîê íà Ãëàâû

foreach $key (keys %{$self->{Pages_Info}[$i]-
>{Local_Links_To_Pages}})

№1, октябрь 2002 41

 программирование
ЭФФЕКТИВНОЕ
ИСПОЛЬЗОВАНИЕ ПАМЯТИ В PERL ПРИ РАБОТЕ С
БОЛЬШИМИ СТРОКАМИ
Обычно при программировании в
Perl не приходится задумываться о
расходе памяти. Этот язык содержит
достаточно качественную систему
сборки мусора. Кроме того, при ис-
полнении Perl-программ как обыч-
ных CGI-сценариев, с запуском ин-
терпретатора Perl на каждое обра-
щение к скрипту, вся использован-
ная память гарантированно осво-
бождается при завершении скрипта.
Но если Perl-скрипт обрабатыва-
ет действительно большие дан-
ные, — скажем, мегабайтные тексто-
вые файлы — проблема разумного
использования памяти может стать
достаточно актуальной. Особенно
это важно, если скрипт исполняется
под управлением mod_perl или ана-
логичной среды. Если всецело поло-
житься на встроенный сборщик му-
сора, может неожиданно оказаться,
что процессы Web-сервера, исполня-
ющие скрипты с помощью mod_perl,
с каждым вызовом начинают зани-
мать все больше памяти - вплоть до
десятков мегабайт, постепенно по-
глощая всю свободную RAM.
Я столкнулся с этой проблемой,
когда реализовывал под mod_perl
42
сложный скрипт, предназначенный
для обработки и парсинга произ-
вольных HTML-страниц. Основным
типом данных в скрипте были обыч-
ные текстовые строки. Поначалу я
обращался со строками очень сво-
бодно, как это и принято в Perl и по-
добных языках, не задумываясь
пользовался функцией substr; конка-
тенацией строк; регулярными выра-
жениями; писал функции, возвраща-
ющие в результате строку (HTML-
текст Web-страницы), и т.п. Приве-
ло это к тому, что типичный HTTPD-
процесс с mod_perl'ом (Web-сервер
Apache на Unix) тратил только на об-
рабатываемые данные в среднем
несколько мегабайт. Это при том,
что типичный размер HTML-страни-
цы, которую следовало обработать,
составлял всего 20-30 KB. А когда я
попробовал "пропустить" через свою
программу 10-мегабайтный HTML -
HTTPD-процесс "съел" 100 MB. При
этом возникало впечатление утечки
памяти - процессы, по мере своей
"жизни", занимали все больше и
больше обьема памяти.
В процессе тестирования и экс-
периментов я выявил общие пробле-
ДАНИИЛ АЛИЕВСКИЙ
мы, возникающие в Perl при работе
с большими данными, и нашел спо-
собы их решения. После соответ-
ствующего переписывания, мой
скрипт стал потреблять адекватное
количество памяти, а утечка памя-
ти прекратилась.
Результаты своих исследований
я предлагаю вашему вниманию.
Итак, имеют место 2 основные
общие проблемы.
ПРОБЛЕМА I
Свободное употребление Perl-
средств для работы со строками -
regexp'ов, substr, конкатенаций типа
$a.$b или "$a$b" - приводит к порож-
дению лишних копий строки, т.е.
там, где по логике вещей алгоритму
должно хватить 2 MB, будет потра-
чено 5 или 10 MB.
ПРОБЛЕМА II
Если не предпринять специаль-
ных усилий, то после завершения
Perl-функции рабочая память, израс-
ходованная в этой функции, НЕ БУ-
ДЕТ освобождена! (Ситуация совер-

шенно отличная от традиционной
практики в языках без сборки мусо-
ра типа C++ или Pascal, когда все ра-
бочие переменные, созданные внут-
ри функции, уничтожаются при вы-
ходе из функции.)
Это не так важно в обычном CGI-
скрипте, исполняемом внешним ин-
терпретатором Perl. По завершении
скрипта процесс будет полностью
уничтожен вместе со всей своей па-
мятью. Но в mod_perl или FastCGI,
или в независимых приложениях,
или серверах на Perl это очень су-
щественно.
Обратите внимание - описанная
проблема НЕ ЕСТЬ истинная утеч-
ка памяти. Встроенный сборщик му-
сора действительно обеспечивает
утилизацию ненужных переменных.
Просто он делает это не совсем так,
как можно было бы ожидать. А имен-
но: занятая память будет использо-
вана повторно ПРИ СЛЕДУЮЩЕМ
ВЫЗОВЕ той же самой функции, т.е.
многократные повторные вызовы
функции не будут приводить к посте-
пенному исчерпанию RAM - явле-
нию, которое традиционно называ-
ется утечкой памяти. Зато много-
кратные вызовы приведут к друго-
му: со временем будет занят наи-
больший объем памяти из всех, ко-
торые были нужны при различных
вариантах вызова этой функции. В
моем случае, после того как мои
Perl-функции один раз обработали
HTML-страницу размером 10 MB и
соответствующий процесс с байт, действительно необходимый
mod_perl "съел" 100 MB, он так и про-
должал всегда занимать 100 MB,
хотя все последующие обрабатыва-
емые страницы были небольшими.
Внешне такое поведение очень по-
хоже на утечку - объем памяти, за-
нятый процессом, никогда не умень-
шается, но постепенно медленно
увеличивается - по мере того как
этому процессу случайно попадают-
ся данные все большего размера.
Теперь рассмотрим конкретные
типовые задачи, возникающие при
обработке данных в Perl. Я приведу
примеры традиционного решения
этих задач - неправильного в свете
описанных проблем - и возможные
варианты аккуратного решения, не
приводящие к перерасходу памяти.
№1, октябрь 2002
1.Как завести внутри
функции большую временную
текстовую переменную, а
перед выходом из функции
освободить память из-под
нее?
Неправильное решение:
sub a {
my $text= "very large string.... (1 MB)";
ðàáîòàåì ñ $text;
#ïðîñòî âûõîäèì èç ôóíêöèè, ïðåäïîëà-
ãàÿ,
#÷òî ñáîðùèê ìóñîðà àâòîìàòè÷åñêè îñâî-
áîäèò
#ïàìÿòü èç-ïîä $text (êàê ýòî ïðîèñõî-
äèò
#ñî ñòåêîâûìè ïåðåìåííûìè â C++ è Pascal)
}
Правильное решение - добавить
перед выходом вызов undef:
sub a {
my $text= "very large string.... (1 MB)";
ðàáîòàåì ñ $text;
undef $text;
} my $text= $_[0]; #ïàðàìåòð $_[0]
Вызов undef освободит память, за-
нятую переменной $text. Без такого
вызова получаем общую проблему II).
2.Функция должна создать
большую строку и вернуть ее
в результате.
Неправильное решение:
sub a {
my $text= "very large string.... (1 MB)";
return $text;
} ботать непосредственно с $_[0] - т.е.
my $v= a();
ðàáîòàåì ñ $v;
Такой Perl-код "съест" не 1 мега-
для сохранения переменной $v, а 2
мегабайта. Лишний мегабайт будет
занят интерпертатором Perl при вы-
числении строкового выражения "a()"
для последующего копирования этих
данных в переменную $v.
Мегабайт, занятый $v, можно впос-
ледствии освободить вызовом "undef
$v", но мегабайт, занятый при вычис-
лении строкового выражения в пра-
вой части, по-моему, уже не освобо-
дить никак.
Правильное решение - функция
должна вернуть ссылку на созданную
большую строку:
sub a {
my $text= "very large string.... (1 MB)";
return \$text;
} my $newtext= $a.$text.$b;
my $v= a();
ðàáîòàåì ñ $$v;
программирование
undef $$v; #îñâîáîæäàåì ïàìÿòü, îòâå-
äåííóþ ôóíêöèåé a
Такой код "съест" только 1 мега-
байт, который освободится при вызо-
ве undef.
Проблема на самом деле доволь-
но общая: никогда не следует писать
выражение, результат которого - боль-
шая строка. Нельзя писать даже так:
my $v= $text."\n";
если строка $text потенциально может
быть большой (десятки килобайт или
больше).
3.Как передать большую
строку в функцию?
Неправильное решение:
sub a {
ñîäåðæèò ñòðîêó äëèíîé 1 MB
ðàáîòàåì ñ $text;
undef $text;
}
my $text= "very large string.... (1 MB)";
a($text);
В этом примере общей проблемы II
нет, но память расходуется напрасно.
Оператор присваивания $text= $_[0]
расходует второй мегабайт под копию
$text переменной $_[0] (который осво-
бождается в конце вызовом "undef").
Если есть возможность, лучше ра-
с алиасом внешней переменной. А
еще лучше - нагляднее - всегда пере-
давать большие строки по ссылке.
Предлагаемое правильное реше-
ние:
sub a {
my $text= $_[0]; #ïàðàìåòð $_[0]
ñîäåðæèò ÑÑÛËÊÓ íà ñòðîêó
ðàáîòàåì ñ $$text;
}
my $text= "very large string.... (1 MB)";
a(\$text);
4.Как выполнить
конкатенацию нескольких
строк, одна из которых
может быть очень большой?
Неправильное решение:
my $newtext= "$a$text$b";
или
43
 программирование
Если строка $text велика, то подоб-
ный код "съест" память, которую
нельзя освободить (см. задачу 2).
Правильное решение - конкатени-
ровать по очереди:
my $newtext= $a;
$newtext.= $text;
$newtext.= $b;
5.Как удалить/заместить
небольшую подстроку в
очень большой строке?
Неправильное решение:
my $text= "very large string.... (1 MB)";
$text= substr($text,10);
Такой код потратит лишний нео-
свобождаемый мегабайт при вычис-
лении выражения substr($text,10) - см.
задачу 2.
Правильное решение - использо-
вать так называемую "магию lvalue":
my $text= "very large string.... (1 MB)";
substr($text,0,10)= "";
Правда, в документации написано,
что Perl 5.004 в этом случае работал
неэффективно. Но начиная с Perl
5.005 это работает прекрасно: лишняя
память не расходуется.
Эквивалентное правильное реше-
ние - использовать 4-й параметр
substr:
my $text= "very large string.... (1 MB)";
substr($text,0,10,"");
Но если предыдущий вариант в
Perl 5.004 работает неэффективно, то
такой вариант в Perl 5.004 вообще не
скомпилируется.
6.Как выделить в большой
строке большую подстроку?
Скажем, как в мегабайтной
строке выделить
полумегабайтную подстроку,
начиная со смещения
100,000?
По описанным выше причинам сле-
дующий очевидный код неправилен:
my $text= "very large string.... (1 MB)";
$text= substr($text,100000,500000);
В таком решении при вычислении
"substr($text,100000,500000)" расходу-
ются лишние полмегабайта, которые
впоследствии невозможно освободить.
Для этой задачи я не нашел крат-
44
кого и изящного решения. Возможный
корректный подход использует следу-
ющую функцию substrlarge:
sub substrlarge {
# - Returns a reference to
substr($_[0],$_[1],$_[2])
# and doesn't use extra memory when
$len is very large
# Example:
# my
substrlarge($text,500,1000000);
# some actions with $$ps;
# undef $$ps;
# - it is an economical equivalent for
# my $s= substr($text,500,1000000);
# some actions with $s;
my $offset= $_[1];
my $len= $_[2];
$len= length($_[0])-$offset unless
defined $len;
if ($len*2<length($_[0])) {
my $k= 0;
my $r= "";
for (;$k<$len;$k+=32768) {
substr($_[0],$offset+$k,$k+32768<=$len?32768:$len-
$k);
} my $prefix= $1; #ïðåäïîëàãàåòñÿ, ÷òî
return \$r;
} else {
my $r= $_[0];
substr($r,0,$offset)= "";
substr($r,$len)= "" if defined $_[2];
return \$r;
}
} быть и небольшим, Perl все равно за-
Если нужно выделить сравнитель-
но небольшой фрагмент исходной
строки (в данной реализации - мень-
ше половины общей длины), то нуж-
ный фрагмент конструируется циклом,
блоками по 32 KB. Потеря памяти при
этом составляет порядка 32 KB -
столько расходует вычисление выра-
жения "substr($_[0],...)" внутри цикла.
Если же требуется получить боль-
шой фрагмент - больше половины
исходной строки - то используется
иной, более быстрый алгоритм. Со-
здается полная копия исходной стро-
ки, после чего у нее обрезаются ко-
нец и начало, как описано в задаче 5.
При этом временно занимается па-
мять под целую копию, но затем - при
обрезании - занятый объем уменьша-
ется. Так как требуемый объем памя-
ти под конечный результат в данной
ветке сравним с размером полной
копии, то кратковременный расход
памяти под полную копию представ-
ляется разумной платой за более вы-
сокую скорость.
Обратите внимание: функция
substrlarge работает непосредственно
с аргументом $_[0], не копируя его во
временную переменную - как это
обычно делается в начале Perl-функ-
ций. Копирование типа "my $s= $_[0]"
привело бы к напрасному расходу па-
мяти под лишнюю копию исходной
строки (см. также задачу 3).
С использованием функции
substrlarge правильное решение будет
таким:
my $text= "very large string.... (1 MB)";
my $v= substrlarge($text,100000,500000);
$ps= ðàáîòàåì ñ $$v;
7.При использовании
регулярных выражений, с
большой строкой нельзя
генерировать переменные
$1,$2 и пр. Скажем,
следующий код
неэффективен:
$r.= my $text= "very large\012\012 string....
(1 MB)";
$text=~s/^(.*?\015?\012\015?\012)//s;
ýòîò ïðåôèêñ íåâåëèê
Хотя от этого регулярного выраже-
ния нам требуется, очевидно, только
префикс строки $1, который может
полнит переменные $&, $` и $'. А одна
из них будет большой - сравнимой с
самой $text. Причем память из-под
этих переменных автоматически не
освободится.
Здесь единственное известное
мне правильное решение - избегать
применения регулярных выражений к
потенциально большим строкам. В
данном случае можно было написать
цикл поиска пары переводов строки
на основе вызовов функции index.
Можно также пользоваться "стати-
ческими" регулярными выражениями -
не использующими скобок (или ис-
пользующими только (?:...) ). Такие
регулярные выражения не заполняют
переменных $1,$2,...,$&,$`,$' и соответ-
ственно не расходуют много памяти.
8.Нужно прочитать из файла
или сокета большой текст.
Типичное решение выглядит при-
мерно так:
my $text= "";
for (;åñòü ÷òî ÷èòàòü;) {
my $buf= ÷èòàåì î÷åðåäíûå 32 KB;
$text.= $buf;
undef $buf;
}
ðàáîòàåì ñ $text;
undef $text;
Хотя на вид этот код вполне акку-
ратный и следует приведенным выше

рекомендациям, на самом деле он
все-таки может привести к проблеме.
А именно, если общий объем читае-
мого текста порядка 1 MB, то в про-
цессе чтения в пике может израсхо-
доваться не 1, а 2 мегабайта. Второй
мегабайт потом обычно освобождает-
ся, но не гарантированно.
Эта тонкая проблема, по-видимо-
му, связана с механикой переотведе-
ния памяти в Perl. Оператор "$text.=
$buf" время от времени увеличивает
память, занятую переменной $text. В
процессе такого переотведения ин-
терпретатору Perl, вероятно, требует-
ся двойной объем памяти: под пре-
жнюю строку $text и под новый, уве-
личенный буфер для этой перемен-
ной. В этот момент процесс и занима-
ет лишний мегабайт. Видимо, если
переотведение происходит в конце
цикла, второй мегабайт может и не
освободиться: в соответствии в общей
идеологией Perl "запасать буфера
памяти на будущее повторное исполь-
зование".
Правильное решение описанной
задачи - взять отведение памяти на
себя. Например:
на NT 4.0 и в стандартном Perl из
FreeBSD 4.2. Под ActivePerl 5.6 в
Windows 2000 все оказалось несколь-
ко хуже: undef не освобождает память.
(По крайней мере, TaskManager не по-
казывает сокращения памяти у процес-
са Perl, пока длится 10-секундный sleep,
следующий за вызовом undef.) Впро-
чем, к моменту, когда вы будете читать
эту статью, возможно, этот недостаток
уже будет исправлен фирмой
ActiveState.
В завершение хотелось бы сделать
небольшое замечание. Если вас дей-
ствительно интересует эффективность
работы вашей программы - в плане эко-
номии памяти, в плане быстродействия
программирование
или в любом другом смысле - никогда
не стоит полностью полагаться на до-
кументацию, общие рекомендации и
советы. В том числе, приведенные в
этой статье. Всегда измеряйте эффек-
тивность сами! Если реальная эффек-
тивность программы не соответствует
вашим априорным оценкам, ищите "уз-
кое место" - тот "плохой оператор", ко-
торый отвечает за перерасход памяти
или долгое выполнение. После чего
создайте тест - минимальную програм-
му, в которой "плохой оператор" прояв-
ляет свои скверные качества, - и ищи-
те более качественное эквивалентное
решение. Именно так были найдены все
описанные выше приемы.

àêêóðàòíî îòâåñòè ïîä $text 1 MB (1000000

áàéòîâ);
for ($n=0; åñòü ÷òî ÷èòàòü; $n+=32768)
{
my $buf= ÷èòàåì î÷åðåäíûå 32 KB;
substr($text,$n,32768)= $buf; #"ìàãèÿ
lvalue"
}
if ($n<1000000) {
substr($text,$n)=""; #î÷èùàåì íåíóæíûé
"õâîñò" $text
}

Если заранее неизвестно, что

предстоит читать именно 1 MB, мож-
но изредка (именно изредка!) аккурат-
но выполнять самостоятельное пере-
отведение памяти.
Для аккуратного отведения памя-
ти можно предложить один из следу-
ющих приемов:

$text=" "; $text x= 1000000;

ëèáî
$text=" "; vec($text,1000000-1,8)= 32;
#êîä ïðîáåëà; ìîæíî èñïîëüçîâàòü ëþáîé
äðóãîé ñèìâîë

Оба способа отводят ровно 1000000

байтов памяти, ничего не тратя зря. Вто-
рой способ ("магия lvalue" для функции
vec) можно использовать также для пе-
реотведения памяти. ©IGUS
Все вышеописанное протестирова-
но и неплохо работает в ActivePerl 5.005

№1, октябрь 2002 45

 программирование
«СТЕММЕР»
МОРФОЛОГИЧЕСКИЙ
АНАЛИЗ
ДЛЯ НЕБОЛЬШИХ ПОИСКОВЫХ СИСТЕМ
Сейчас уже никого не удивишь поисковой системой со встроенным
русским, украинским или английским морфологическим анализатором,
однако такой модуль достаточно дорог, и использование его в небольших
продуктах не всегда коммерчески оправданно.
Поисковые и не только поисковые
системы Интернет столь популярны
сегодня, что люди проводят часы, об-
суждая достоинства и недостатки той
или иной, алгоритмы и программы для
поиска полнотекстовой информации
на тех или иных носителях. И все это
время не утихают горячие споры «про-
фи» поиска и «ленивых пользовате-
лей». Первые - сторонники чисто «ме-
ханических» машин, поисковых сис-
тем, которые вычисляют строгие ло-
гические запросы и поддерживают
усечение слова справа «звёздочкой»;
они убеждены, что лучше всяких ал-
горитмов сформулируют, что же им
нужно найти. Другие - наоборот, ста-
раются отдать на откуп алгоритмам
поисковика все магические преобра-
зования исходного запроса и не за-
думываться о том, что же там проис-
ходит внутри.
Обе точки зрения имеют право на
существование, и я даже знаю не-
скольких таких профи, которые спо-
собны действительно грамотно сфор-
мулировать логический запрос на по-
иск нужной информации, корректно
расставив скобки и применив соответ-
ствующие усечения. Однако подавля-
ющее большинство пользователей, к
коим я отношу и себя, все-таки ско-
рее «лентяи».
46
Один достаточно иллюстративный
диалог произошел на выставке
SofTool в 1995 году. Компания «Ага-
ма», где я в тот момент работал, пред-
ставляла одноименную систему поис-
ка информации, размещенной на ло-
кальных дисках компьютера. Надо
сказать, эта поисковая система уже
тогда, несмотря на убогость DOS, под
управлением коего она работала, уже
делала полноценный словарный мор-
фологический анализ обрабатывае-
мых текстов и поисковых запросов, то
есть умела искать с учетом всех форм
русских слов. И вот одна дама, про-
тестировав систему и побеседовав о
морфологической обработке текстов
с господином Пархоменко, идеологом
и руководителем проекта, воскликну-
ла на весь зал: «Да ведь это никому
не нужно! Я сама прекрасно все най-
ду, дайте мне только оператор усече-
ния!». На беду, оператор усечения,
как и весь традиционный набор логи-
ческих операторов, в языке запросов
присутствовал. После получаса стуча-
ния по клавишам дама со словами:
«Вы меня не убедили!», - покинула
стенд.
Действительно, лицензировать
систему морфологического анализа
за несколько тысяч долларов для ис-
пользования ее в разработке продук-
та под конкретного заказчика, когда
бюджет проекта не сильно превыша-
ет эту сумму - не самая лучшая идея.
Что же делать в такой ситуации?
Есть два решения. Первое - не исполь-
зовать лингвистических алгоритмов
вообще, если это возможно. Второе -
остановиться на стемминге, то есть на
формальном выделении основы - ста-
бильной, графически неизменной при
склонении или спряжении, части сло-
ва.
Программы, выполняющие стем-
минг, или стеммеры, также существу-
ют примерно столько же, сколько и
поисковые системы. И, надо отметить,
в случае английского языка, (доста-
точно простого и не склонного к из-
лишней флективности, то есть измен-
чивости слов), стеммеры успешно
справляются с поставленной перед
ними задачей. Так, классический
«портеровский» алгоритм, хоть он и
грешит сведением упоминавшейся
аббревиатуры DOS к формальной
основе - глаголу do, тем не менее дает
вполне корректное значение отноше-
ния «сигнал/шум» в случае поиска ин-
формации.
Хуже обстоит дело со славянски-
ми языками. Выделить правила, по
которым можно отсечь часть слова
справа, да так, чтобы не породить

сильного шума, очень сложно, и по-
строение такого набора правил срав-
нимо по трудоемкости с построением
полноценного словарного морфологи-
ческого анализатора, чем обычно и
заканчиваются доведенные до логи-
ческого завершения разработки в
этой области. Приведем простой при-
мер - слово кровать. До сих пор все
программы стемминга для русского
языка успешно и совершенно логич-
но признавали это слово изменяю-
щимся по модели глагола, выделяя
или формальную основу «кр» или в
лучше случае, «кров». Уважаемый чи-
татель, мне кажется, по достоинству
оценит такой глагол - «я крую/кроваю,
он кровает/круёт».
Однако за истекший год в этом
направлении были сделаны серьез-
ные шаги. Мартин Портер (Martin
Porter) сделал доступными свои нара-
ботки в области стемминга, наборы
правил и инструменты для работы с
ними, для открытого сетевого сооб-
щества, опубликовав проект на
S o u r c e F o r g e ( h t t p : / /
snowball.sourceforge.net/).Проект
представляет собой специализиро-
ванный язык обработки строк, пред-
назначенный для изготовления алго-
ритмов стемминга в информационном
поиске. Довольно быстро проект стал
расширяться, и сейчас доступны в
исходных текстах стеммеры для анг-
лийского, французского, испанского,
португальского, итальянского, немец-
кого, датского, шведского и норвежс-
кого языков. Русский поначалу остал-
ся в стороне, однако недавно появи-
лась поддержка и для него (http://
snowball.sourceforge.net/russian/
stemmer.html).
Тем не менее, по ряду причин,
часть из которых обсуждалась выше,
стеммер Snowball все равно далек от
идеала. И основная причина заклю-
чается в том, что он базируется на
обобщенных правилах, составленных
людьми, в лучшем случае - лингвис-
тами. А как известно, любое общее
правило имеет исключения, приводя-
щие в данном случае к неправильно-
му выделению основы. Еще одно на-
рекание - это «убежденность алгорит-
ма в собственной непогрешимости»:
алгоритм всегда дает один-един-
ственный вариант формальной осно-
вы слова, игнорируя все остальные по
№1, октябрь 2002
внутренним соображениям. Именно в
силу указанных недостатков и было
принято решение о разработке свое-
го алгоритма и правил стемминга.
Отмечу сразу, что мыслей разра-
батывать вручную правила усечения
русских слов не было даже изначаль-
но, но было большое желание изго-
товить алгоритм, который учитывал
бы и сочетаемость букв в слове на
границе возможного усечения, и час-
тотность такой модели словоизмене-
ния. Поэтому было принято решение
строить правила стемминга автомати-
чески, обрабатывая большие масси-
вы русских текстов. Задача сильно об-
легчалась наличием русского морфо-
логического анализатора, разрабо-
танного еще в 1994 году во время ра-
боты над проектом «Пропись 4.0».
Анализатор этот работает и поныне в
поисковых системах Апорт!
(www.aport.ru),Рамблер
(www.rambler.ru), <META> (www.meta-
ukraine.com), хотя и пережил несколь-
ко преобразований, в результате чего
словарь уже придирчиво выверен, а
код позволяет обрабатывать до 20 -
30 тысяч слов в секунду. Подробнее с
этим анализатором и условиями его
распространения можно ознакомить-
ся на странице автора (linguist.nm.ru).
Для представления автоматичес-
ких правил усечения слов была выб-
рана модель хранения возможного
окончания с двумя предшествующи-
ми буквами неизменяемой части сло-
ва. Так, например, словоформа сло-
варями порождает правило, разреша-
ющее отщепление окончания -ями
при условии, что ему предшествует
последовательность -ар-. Аналогично,
встретив словоформу морями, мы по-
родим правило о возможном отщеп-
лении того же окончания (-ями) при ус-
программирование
ловии, что оно встретилось после
фрагмента -ор-.
Далее была изготовлена програм-
ма обработки массивов полнотексто-
вой информации, которая, разбив
текст на слова, выполняла обработку
очередной потенциальной словофор-
мы точным морфологическим анали-
затором; при этом неизвестные сло-
варному анализатору строки игнори-
ровались, что является допустимой
погрешностью, поскольку, имея базу
более 150,000 основ и распознавая
более четырех миллионов различных
форм русских слов, анализатор игно-
рирует менее одного процента встре-
тившихся строк, которые по большей
части оказываются либо орфографи-
ческими ошибками, либо аббревиату-
рами, либо экзотическими названия-
ми или именами собственными. Для
опознанных же словоформ выделя-
лась их точная основа, то есть часть
слова, остающаяся неизменной при
склонении или спряжении; выделен-
ное таким способом окончание вкупе
с последними двумя символами фор-
мальной основы поступало в накопи-
тель, который либо регистрировал
новое правило, либо увеличивал вес
уже существующего правила отщеп-
ления окончания.
По завершении работы сканера
текстов получившийся массив данных
был отранжирован в соответствии с
убыванием вероятности встретить
каждую из присутствующих моделей
словоизменения, после чего модели,
вероятность реализации которых со-
ставляла менее 10-4, были отброше-
ны как редкие и потенциально опас-
ные, т. е. способные породить избы-
точный шум.
Результат - набор потенциальных
окончаний с условиями на предше-
47
 программирование
ствующие символы - был инвертиро-
ван для удобства сканирования сло-
воформ «справа налево» и представ-
лен в виде таблицы переходов конеч-
ного автомата. Подробнее устройство
таких таблиц описано в статье о сло-
варном морфологическом анализато-
ре, доступной по адресу http://
linguist.nm.ru/ling/rus/help.htm. Мы же
лишь покажем на рисунке фрагмент
такой таблицы, построенный для не-
большого набора окончаний и усло-
вий на предшествующие символы ос-
новы. В качестве примера выберем
уже упоминавшиеся формально пост-
роенные правила: (-ар-)-ями, (-ор-)-
ями, добавив к ним для наглядности
еще два - (-ск-)-и и (-сн-)-а, постро-
енные, например, по словоформам
диски и весна.
Далее был разработан переноси-
мый программный код на языке C,
обеспечивающий сканирование пода-
ваемых на вход форм слов на полу-
ченных таблицах переходов. Особо
следует отметить, что код этот не бе-
рет на себя ответственность за выбор
конкретного способа усечения, но
лишь строит все допустимые вариан-
ты выделения формальной основы.
Так, для словоформы начинающих-
ся анализатор выделит формальные
основы длиной 6, 8 и 10 символов, что
соответствует глаголу начина-ть, при-
частию начинающ-ий и возвратной
форме - начанающий-ся, то есть вы-
делит псевдоморфемы, участвующие
в образовании этого слова. Програм-
ма-клиент, например поисковая ма-
шина, вправе либо самостоятельно
принять решение о выборе того или
иного варианта усечения, либо запом-
нить все построенные варианты, что
обеспечит максимальную полноту по-
иска. С другой стороны, для много-
страдального слова кровать обучен-
ный таким образом алгоритм выделит
лишь одну формальную основу - ше-
стибуквенную последовательность
кроват-ь, что полностью соответству-
ет истине. В ряде ситуаций анализа-
тор принимает решение о невозмож-
ности какого-либо усечения по данной
последовательности, как, например,
в случае слова компьютер, что так-
же полностью соответствует действи-
тельности.
По ходу тестирования и отладки
построенной технологии было введе-
48
но дополнительное правило, ограни- размерностью 256 байт. Если этот
чивающее свободу алгоритма. Суть параметр не задан, то по умолчанию
правила состоит в том, что формаль- используется встроенная таблица
ная основа слова должна содержать преобразования символов верхнего
хотя бы одну гласную, иначе возмож- регистра кодовой страницы Windows
но построение весьма некорректных Cyrillic в символы нижнего регистра.
основ, как, например, усечение сло- Хочется отметить, что весной 2002
ва спам до основы сп, что, как извес- года в лаборатории общей и компью-
тно, является распространенной абб- терной лексикографии кафедры рус-
ревиатурой словосочетания «совме- ского языка Московского Государ-
стное предприятие». Интересно, что ственного университета было прове-
большинство стеммеров, в том числе дено сравнительное тестирование
и используемый в поисковой системе трех программ русского стемминга:
Яndex (www.yandex.ru) для обработки Snowball, описываемого алгоритма и
неизвестных слов, грешат в подобных стеммера, разработанного там же под
ситуациях, в чем несложно убедить- руководством докторов филологичес-
ся, дав соответствующий запрос. ких наук А. А. Поликарпова и О. В.
Для обеспечения должной произ- Кукушкиной. По результатам тестиро-
водительности анализатор не строит вания описываемый стеммер показал
строк, а лишь возвращает набор воз- наиболее корректные в лингвистичес-
можных длин формальных основ, ко- ком отношении результаты при мак-
торые можно выделить из строки. симальной полноте и минимальном
Инициализация модуля также не тре- шуме, то есть количестве неверно
буется, так как все таблицы перехо- выделенных основ.
дов представлены статическими дан- Позже описанным способом был
ными. разработан также словарь стеммин-
Особое внимание пришлось уде- га украинского языка, который вмес-
лить поддержке различных кодовых те с русским успешно применяется
страниц и возможной капитализации для анализа неизвестных слов в ук-
- начертанию слов в верхнем регист- раинской поисковой системе <META>
ре. Действительно, при всей привле- (www.meta-ukraine.com), а также изго-
кательности кодировки 1251 Windows товлена программа, позволяющая
Cyrillic и удобстве работы с ней, она автоматически строить таблицы стем-
не является ни единственной, ни даже минга для других языков из словарей
самой популярной. Преобразовывать ISpell, доступных в сети Интернет.
же строку из иных кодировок в жела- Однако следует оговориться, что в
емую перед анализом весьма и весь- последнем случае качество получае-
ма дорого по меркам «скорострель- мого словаря напрямую зависит от
ных» алгоритмов. Для обеспечения качества используемых материалов,
совместимости анализатора с текста- которое чаще всего весьма низко.
ми в различных кодировках предус- Представленный продукт доступен
мотрена возможность его настройки в исходных текстах и может исполь-
передачей дополнительного парамет- зоваться в свободной форме с усло-
ра - таблицы преобразования кодов вием ссылки на источник. Архив мож-
символов из произвольной кодиров- но загрузить по адресу http://
ки в нижний регистр кодировки 1251 linguist.nm.ru/stemka/stemka.tar.gz.
Зовут меня Андрей Коваленко, я работаю в на-
стоящий момент в компании Рамблер, занимаюсь
развитием поисковой машины, до этого работал в
МедиаЛингве, еще раньше в Агаме, где занимался
разработкой поисковой системы Апорт!.
За несколько лет занятий прикладной лингвис-
тикой у меня накопилось некоторое количество на-
работок, которыми я бы с удовольствием поделил-
ся с другими разработчиками. Кое-что доступно бес-
платно, кое-что - только в виде демонстрационных
версий.
ОПРЕДЕЛЕНИЕ ©1990
Графический лист из серии Художник Игорь УСКОВ
«Смыслограммы» www.igus.nm.ru
 JAVA:
МАГИЯ ОТРАЖЕНИЙ

ЧАСТЬ I. ОСНОВЫ

ДАНИИЛ АЛИЕВСКИЙ

Один из самых удивительных и ярких механизмов языка
Java — технология «отражения» (Java Reflection). К сожале-
нию, в популярных учебниках нелегко найти подробную ин-
формацию об этой интереснейшей области. А тем более —
о подводных камнях и неожиданных возможностях, возни-
кающих при программировании с использованием отраже-
ний. Между тем, именно отражения позволяют Java с непод-
ражаемым изяществом справляться с задачами, традици-
онно непростыми в других языках — такими, как создание
оболочки для компиляции Java-проектов (наподобие Borland
JavaBuilder или NetBeans), визуальное проектирование гра-
фических компонентов (JavaBeans), сериализация объектов
и распределенные вычисления (RMI), и многие другие.
Мне бы хотелось предложить Вам небольшую экскур-
сию по миру отражений Java. По ходу дела я буду пока-
зывать, как использовать мощь этой технологии для изящ-
ного решения различных практических задач.
Мы начнем с простых вещей — простых для Java, но не
столь тривиальных в других языках. Пример такой «простой
вещи» — динамическое расширение вашей программы но-
выми классами от сторонних разработчиков, не требущее
переписывания и даже перекомпиляции вашей системы. По
мере знакомства с отражениями, задачи будут усложнять-
ся. В качестве завершающего примера, полностью исполь-
зующего возможности отражений, я расскажу, как реализо-
вать высокоэффективный интерпертатор выражения (фор-
мулы), написанного на языке Java — эквивалент оператора
eval() в скриптовых языках типа Perl или JavaScript.
Все написанное ниже относится к последней (на мо-
мент написания статьи) версии Java: Sun Java SDK 1.4.
Где искать мир отражений?
Отражения в Java — это два класса Class и
ClassLoader, расположенных в пакете java.lang, и специ-
альный пакет java.lang.reflect, содержащий (в версии Java
SDK 1.4) 12 вспомогательных классов: Array, Member,
Constructor, Field, Method, Modifier, InvocationHandler, Proxy,
ReflectAccess, ReflectPermission, InvocationTargetException,
UndeclaredThrowableExceptioCfn.
Проще всего осваивать технику отражений, начиная с
класса Class. Более сложные вещи потребуют применения
классов из пакета java.lang.reflect, прежде всего классов,
описывающих: Constructor, Field и Method. «Высший пило-
таж» работы с отражениями — это, пожалуй, создание гра-
мотных наследников ClassLoader, позволяющих реализовать
собственную систему загрузки классов.
В этой статье я покажу, как грамотно использовать эти
классы и их методы.
В любом случае, статья не заменяет справочную до-
кументацию фирмы Sun. Самую полную и свежую фир-
менную документацию можно найти в Internet по адресу:
http://java.sun.com/
Класс по имени Class
В мире отражений все начинается с класса
«java.lang.Class». Для каждого Java-класса или интерфей-
са, присутствующего в системе, существует экземпляр Class,
содержащий подробную низкоуровневую информацию об
этом классе. Например, с помощью этого экземпляра мож-
№1, октябрь 2002
программирование
но узнать списки членов класса — полей, методов, конст-
рукторов, а также обратиться к этим членам. Кроме того,
класс Class содержит ряд статических методов, обеспечи-
вающих взаимодействие с внутренними механизмами Java,
отвечающими за загрузку и управление классами.
Как получить экземпляр Class, соответствующий дан-
ному классу (или интерфейсу) — например, классу
java.io.File? Для этого есть два основных способа.
A. Просто добавляем к имени класса суффикс «.class»,
например:
Class clazz= byte.class
(«clazz» — сознательно искаженное от «class»: компиля-
тор не позволяет использовать в качестве идентификато-
ра зарезервированное слово «class».)
B. Если мы располагаем экземпляром некоторого клас-
са, может быть даже неизвестного в данной точке програм-
мы, можно вызвать метод getClass(), присутствующий в
каждом Java-объекте (унаследованный от класса Object):
void myFunction(Object o) {
Class clazz= o.getClass();
÷òî-òî äåëàåì ñ îáüåêòîì clazz;
}
...
java.io.File f= new java.io.File("/tmp/1.txt");
myFunction(f);
...
Здесь есть любопытный нюанс. Вообще-то, примитивные
типы Java — boolean, char, byte, short, int, long, float, double —
обычно не считаются полноценными классами. Они не унас-
ледованы от Object, для них не работает наследование и т.д.
Тем не менее, с ними тоже ассоциированы экземпляры Class,
которые можно получить способом A, например:
Class clazz= java.io.File.class;
Существует даже специальный объект void.class — он
используется в довольно экзотических ситуациях при вы-
зове методов через отражения. Экземпляры типа Class
есть также у любого массива, например:
Class clazz= byte[].class
èëè
byte[] v= new byte[34]; Class clazz= v.getClass();
Что же можно сделать, располагая переменной типа
Class для некоторого класса?
Прежде всего, можно получить полное имя класса (ска-
жем, для отладочной печати) методом getName(). Например:
String.class.getName() возвращает «java.lang.String».
Интересно посмотреть на имена классов для прими-
тивных типов и для массивов:
float.class.getName() âîçâðàùàåò «float»
float[].class.getName() âîçâðàùàåò «[F»
float[][].class.getName() âîçâðàùàåò «[[F»
String[].class.getName() âîçâðàùàåò [Ljava.lang.String;»
Полностью алгоритм построения такого имени описан
в документации на Java.
51
 программирование
Можно проверить, не является ли класс интерфейсом,
массивом или примитивным типом: методы isInterface(),
isArray() и isPrimitive(). Если класс — массив, можно полу-
чить тип его элементов (т.е. соответствующий объект
Class): метод getComponentType(). Для не-массивов этот
метод вернет null.
Даже такие простейшие механизмы позволяют сделать
нечто полезное. Вот пример — функция для подсчета
объема памяти, занятого массивом примитивных типов:
public static int sizeOfArray(Object v) {
if (v==null) return 0;
Class componentClass= v.getClass().getComponentType();
if (componentClass==null)
throw new IllegalArgumentException(«Not an array»);
int s= componentClass==byte.class? 2:
componentClass==short.class? 4:
componentClass==char.class? 4:
componentClass==int.class? 4:
componentClass==float.class? 8:
componentClass==long.class? 8:
componentClass==double.class? 16:
-1;
// íå îáðàáàòûâàåì òèï boolean: äëÿ íåãî ðàçìåð ýëåìåíòà
// íå ñïåöèôèöèðîâàí äîêóìåíòàöèåé ïî ÿçûêó Java
if (s==-1)
throw new IllegalArgumentException(«Unknown component type»);
return java.lang.reflect.Array.getLength(v)*s;
// ìåòîä getLength() êëàññà java.lang.reflect.Array ïîëó÷àåò
// íà âõîäå ìàññèâ ïðîèçâîëüíîãî òèïà è âîçâðàùàåò åãî äëèíó
} char.class и т.д.
java.lang.reflect.Array — «странный»
способ работать с массивами
Прежде чем переходить к более мощным (и ценным) воз-
можностям класса Class, давайте обратим внимание на
java.lang.reflect.Array. Этот очень простой класс из пакета
java.lang.reflect представляет собой библиотеку статических
методов, позволяющих выполнять все основные примитив-
ные действия с массивом неизвестного (на этапе компиля-
ции) типа, представленного общим типом данных Object.
Пример мы видели в приведенной выше функции
sizeOfArray() — метод getLength(). Этот метод объявлен в
исходном коде фирмы Sun следующим образом:
public static native int getLength(Object array)
throws IllegalArgumentException;
Любой массив в Java является объектом, т.е. наследни-
ком Object, поэтому его можно передать в getLength() в ка-
честве параметра. На самом деле, только массивы и можно
передавать в этот метод — как и в большинство других ме-
тодов класса Array. Для объектов других типов методы класса
Array возбуждают исключение IllegalArgumentException.
Большинство остальных методов класса Array предназ-
начены для чтения и записи элементов в массив:
public static Object get(Object array, int index)
возвращает элемент номер index; если массив состоит из
элементов примитивного типа (byte, char и т.п.), возвра-
щается объект-оболочка (Byte, Char, ...);
public static boolean getBoolean(Object array, int index),
public static char getChar(Object array, int index)
52
è àíàëîãè÷íûå ìåòîäû äëÿ òèïîâ byte, short, int, long,
float, double
специальные версии get на случай, когда массив состоит
из элементов соответствующего примитивного типа;
public static void set(Object array, int index, Object value),
public static void setBoolean(Object array, int index, boolean
z),
public static void setChar(Object array, int index, char c)
è ò.ä.
обратные функции для записи элементов в массив.
Наконец, можно создать массив c помощью одного из
двух методов:
public static Object newInstance(Class componentType, int
length),
public static Object newInstance(Class componentType, int[]
dimensions)
Первый метод удобен для одномерных массивов, второй —
позволяет создавать сразу многомерные массивы. В каче-
стве componentType передается класс элементов — напри-
мер, один из классов примитивных типов boolean.class,
Все подробности — в документации фирмы Sun.
На первый взгляд у неискушенного Java-программис-
та все это вызывает некоторое недоумение. Зачем столь
замысловатым способом манипулировать с массивом,
когда можно просто воспользоваться встроенными язы-
ковыми средствами? Зачем писать:
v.getByte(n)
для массива v типа byte[], когда можно просто написать v[n]?
Ответ — класс Array позволяет писать универсаль-
ные функции, принимающие на вход массив произволь-
ного, неизвестного заранее типа. Пример такой функ-
ции мы уже видели — sizeOfArray() из предыдущего пун-
кта. Если бы не класс Array, нам бы либо пришлось на-
писать 7 версий этой функции для каждого варианта мас-
сивов примитивных типов, либо заменить вызов
java.lang.reflect.Array.getLength(v) чем-то вроде:
v instanceof byte[]? ((byte[])v).length:
v instanceof short[]? ((short[])v).length:
v instanceof char[]? ((char[])v).length:
v instanceof int[]? ((int[])v).length:
v instanceof long[]? ((long[])v).length:
v instanceof float[]? ((float[])v).length:
v instanceof double[]? ((double[])v).length: -1
Приведем более практичный пример использования
класса Array. Достаточно часто возникает задача преоб-
разовать произвольный объект в текстовую строку — на-
пример, в целях отладки. Предназначенный для этого
метод toString() обычно выдает достаточно внятную ин-
формацию о содержимом объекта. Но, к сожалению, для
массивов этот метод ведет себя весьма тупо — просто
возвращает внутренний адрес массива.
Я написал простую функцию toS(Object v, String
separator), преобразующую произвольный массив в стро-

ку. Все элементы массива преобразуются (стандартным
образом) в строки и конкатенируются через разделитель
separator, заданный в качестве параметра функции. Вот
текст этой функции:
public static String toS(Object v, String separator) {
if (v==null) return «»;
if (v.getClass().isArray()) {
int len;
if ((len=java.lang.reflect.Array.getLength(v))==0) return «»;
StringBuffer result= new StringBuffer();
for (int k=0; k<len; k++) {
if (k>0) result.append(separator);
result.append(String.valueOf(
java.lang.reflect.Array.get(v,k)));
} String s= «»;
return result.toString();
} InputStream stream= MyClassWithResource.class
return String.valueOf(v);
} if (stream==null)
Если аргумент v не является массивом, действие toS
не отличается от стандартного метода v.toString(). Если
v==null, возвращается пустая строка (обычно это удобнее
стандартной реакции — возврата строки «null»).
Без класса Array пришлось бы написать 9 вариантов
такой функции — для 8 примитивных типов и для масси-
ва объектов произвольного типа Object[].
Здесь нужно сделать одно важное замечание. Хотя
класс Array действительно позволяет существенно эконо-
мить текст программы и не писать разные варианты мето-
да для массивов разных типов, следует иметь в виду —
получаемый код сравнительно неэффективен. Скажем,
цикл суммирования всех элементов числового массива
через вызов java.lang.reflect.Array.getDouble() будет рабо-
тать на порядок дольше банального:
double s= 0.0;
for (int k=0; k<v.length; k++) s+= v[k];
В случае функции toS() разница была бы непринципи-
альной, так как преобразование числа в строку — срав-
нительно медленная операция.
Class.getResourceAsStream()- ресурсы
Один из самых очевидных примеров использования
класса Class — загрузка ресурсов.
Ресурс в Java — это файл с данными, прилагаемый к
Вашей программе и обычно размещаемый «рядом» с
class-файлами. В графических приложениях и апплетах
это чаще всего изображения (jpg- или gif-файлы), но с
таким же успехом это может быть и файл специального
формата — например, содержащий справочные таблицы
или какие-либо ваши объекты.
Наиболее общий способ прочитать файл-ресурс произ-
вольного формата, расположенный «рядом» с некоторым
классом — обратиться к методу getResourceAsStream()
объекта Class, соответствующего данному классу. В ка-
честве параметра этому методу нужно передать путь к фай-
лу ресурса относительно каталога, в котором размещен ваш
класс. В качестве результата getResourceAsStream() вернет
объект InputStream, с помощью которого можно прочитать
файл ресурса стандартными средствами ввода/вывода Java.
Для наиболее популярных типов ресурсов, таких как
№1, октябрь 2002
программирование
изображения, обычно существуют более удобные спосо-
бы прочитать ресурс — например, метод getImage() клас-
са java.applet.Applet. Но для текстовых файлов и файлов
нестандартного формата getResourceAsStream(), как пра-
вило, — самое разумное решение.
Вот пример законченного класса, использующего эту
технику:
import java.io.*;
public class MyClassWithResource {
public static final String myTextResourceName= «mydata.txt»;
public static final String myTextResource;
static {
try {
.getResourceAsStream(myTextResourceName);
throw new FileNotFoundException(myTextResourceName+» not
found»);
StringBuffer sb= new StringBuffer(stream.available());
InputStreamReader reader= new InputStreamReader(stream);
char[] buf= new char[32768];
int len;
while ((len=reader.read(buf,0,buf.length))>=0) {
sb.append(buf,0,len);
}
s= sb.toString();
} catch (IOException e) {
e.printStackTrace();
}
myTextResource= s;
}
public static void main(String[] args) {
System.out.println(«Loaded resource:»);
System.out.println(myTextResource);
}
}
В этом примере файл «mydata.txt» должен быть рас-
положен в том же каталоге, что и class-файл
«MyClassWithResource.class».
Файл ресурса необязательно размещать в том же ката-
логе, что и class-файл. Если он расположен в одном из под-
каталогов этого каталога, в качестве имени ресурса нужно
передать относительный путь, разделяя имена подкатало-
гов символом «/» (как это принято в Internet и Unix). Можно
также указать в качестве имени ресурса «абсолютный»
путь, начинающийся с символа «/». Тогда Java будет ис-
кать ресурс во всех каталогах, перечисленных в путях по-
иска классов CLASSPATH — т.е. по тем же правилам, по
которым отыскиваются class-файлы программы.
Может возникнуть вопрос — зачем нужен специаль-
ный метод класса Class, когда можно прочитать файл ре-
сурса обычными средствами файлового ввода/вывода?
Основная причина — использование метода
getResourceAsStream() является гораздо более общим ре-
шением, работающим в большем числе ситуаций.
Например, по традиции, законченные наборы классов —
Java-приложения или библиотеки — принято упаковывать в
архивы JAR и устанавливать на компьютер именно в таком
виде. Классы Java прекрасно загружаются непосредствен-
но из архива JAR, без предварительной распаковки. То же
самое относится и к ресурсам, загружаемым методом
getResourceAsStream() — или более специальными метода-
ми типа java.applet.Applet.getImage(). В то же время, обыч-
ные средства файлового ввода/вывода для чтения ресурса
из JAR уже непригодны — нужно использовать специаль-
ные классы для анализа и чтения JAR-файлов.
53
 программирование
Аналогичная ситуация — апплеты, когда файлы ресур-
сов и class-файлы находятся на сервере. Метод
getResourceAsStream() в этом случае обеспечит чтение ре-
сурса с сервера через Internet.
Тем не менее, в некоторых случаях для чтения ресур-
са все-таки может быть целесообразным использование
традиционных средств файлового ввода/вывода — конеч-
но, если вы не используете JAR и пишете сервлет или при-
ложение, а не апплет. Например, для достижения макси-
мальной производительности может понадобиться отобра-
зить ресурс в память средствами отображения файлов из
пакета java.nio, появившегося в Java начиная с версии SDK
1.4. Или, может быть, вы захотите просканировать ката-
лог с ресурсами и загрузить все файлы с определенным
расширением — для сканирования каталога в классе Class
нет соответствующих средств.
Если ресурс, как это принято, расположен рядом с
class-файлами — или, скажем, если вы хотите поработать
с самими class-файлами вашего приложения — то при-
дется решить следующую задачу: определить дисковый
каталог, в котором находится ваш class-файл. Будьте вни-
мательны: это отнюдь не простая задача.
Ниже приведен текст функции, возвращающей полный
путь к class-файлу.
public static java.io.File getClassFile(Class clazz) {
// The file will exist only if it is usual class-file,
// not a part of JAR or Web resource
String s= clazz.getName();
s= s.substring(s.lastIndexOf(«.»)+1);
s= clazz.getResource(s+».class»).getFile();
try {
s= java.net.URLDecoder.decode(s,»UTF-8");
} catch(java.io.UnsupportedEncodingException e) {
}
return new java.io.File(s);
} public static Class forName(String className)
Прежде всего мы получаем имя класса без имени па-
кета, добавляем к нему расширение «.class» и передаем
методу getResource() объекта Class. Этот метод возвра-
щает экземпляр класса java.net.URL, представляющий
файл в виде универсального пути к ресурсу (URL, Universal
Resource Locator). В нашем случае (когда классы распо-
ложены в обычных файлах в локальной файловой систе-
ме) URL будет выглядеть примерно так:
file://ïóòü_ê_äèñêîâîìó_êàòàëîãó/èìÿ_êëàññà.class
Метод getFile() объекта URL «отрежет» префикс «file:/
/», оставив все остальное без изменений.
А вот дальше начинаются сложности. Оставшийся путь
к файлу записан в стандарте URL, который может отли-
чаться от формата имен файлов, принятого в текущей
файловой системе.
Первое отличие: в URL подкаталоги всегда разделя-
ются прямым слэшем /, в то время как в операционных
системах, отличных от Unix, могут использоваться другие
символы (например, обратный слэш \ в случае Windows).
Это различие несущественно для Java — классы пакета
java.io прекрасно будут работать и с именем файла, запи-
санным через прямые слэши.
Но есть и второе отличие. Если путь к файлу содержит
54
пробелы, русские буквы или другие символы, недопусти-
мые в стандарте URL, то они будут закодированы комби-
нациями вида %XX, где XX — ASCII-код символа. Такое имя
файла непригодно для обработки средствами ввода/выво-
да Java. Для восстановления «нормального» имени файла
нужно вызвать метод java.net.URLDecoder.decode(), обяза-
тельно указав при этом кодировку символов (encoding).
Опытным путем я установил, что для кодирования не-
латинских букв в имени файла Java использует кодиров-
ку UTF-8 — по крайней мере, на Windows-платформе. К
сожалению, я не нашел в документации прямых указа-
ний, что это всегда будет так на всех платформах. Поэто-
му я бы порекомендовал, по возможности, все же разме-
щать свои классы в каталогах, путь к которым состоит
только из латинских символов — тогда приведенная выше
функция будет достаточно надежна.
Class.forName() и Class.newInstance() —
динамическая загрузка классов
Мы подошли к рассмотрению по-настоящему важных и
интересных технологий мира отражений. Речь пойдет о фун-
даметальном и чрезвычайно мощном механизме Java: ди-
намической загрузке произвольного класса по заданному
имени. Эта возможность встроена непосредственно в Java
и реализуется классом Class. В других языках типа С++ или
Delphi аналогичных целей можно достигнуть, используя спе-
циальные средства конкретной операционной системы (типа
загрузки dll в Windows функцией loadLibrary()), но в Java это
сделано по-настоящему удобно.
Итак, Вашему вниманию предлагается статический ме-
тод Class.forName(). Вот его формальное объявление:
throws ClassNotFoundException
Метод отыскивает в системе (среди путей поиска клас-
сов CLASSPATH) класс с заданным именем className и
возвращает соответствующий экземпляр класса Class.
Имя className должно быть полным, т.е. включать имя
пакета. Например:
Class clazz= Class.forName(«java.lang.String»);
Если такой класс отсутствует, возбуждается исключе-
ние ClassNotFoundException.
После получения переменной типа Class, следующее
наиболее типичное действие — создание экземпляра
только что загруженного класса. Для этого служит метод
Class.newInstance(). Его объявление:
public Object newInstance()
throws InstantiationException, IllegalAccessException
В нашем примере вызов newInstance() мог бы выгля-
деть так:
Object object= clazz.newInstance();
Чтобы этот метод мог выполниться, у загруженного клас-

са должен существовать пустой конструктор (без аргумен-
тов), либо — что по существу то же самое — не должно
быть описано вообще никаких конструкторов. В противном
случае будет возбуждено исключение InstantiationException.
Конечно, этого еще мало, чтобы работать с полученным
объектом. Если вы не знаете, что умеет делать класс — ка-
кие у него есть методы, что они ожидают получить на входе
и для чего они предназначены — вы не сможете извлечь из
него ничего полезного. Для формального определения, что
«умеет» класс, в Java существует стандартный механизм —
интерфейсы. Остается просто применить этот механизм.
Например, предположим, ваша программа должна в
некоторые моменты выполнять перевод с одного языка
на другой. Формально это можно описать интерфейсом:
public interface LanguageTranslator {
public String translate(String source,
String sourceLanguage,
String targetLanguage);
// ïåðåâîäèò òåêñò source ñ ÿçûêà sourceLanguage
// íà ÿçûê targetLanguage
} getDeclaredXXX возвращает список членов класса (кон-
Пусть Ваша программа сама по себе не умеет выпол-
нять перевод, но ее можно расширить классами сторон-
них разработчиков, которые эту задачу решать умеют. Все
эти классы реализуют интерфейс LanguageTranslator и
имеют конструктор без параметров (либо лишены конст-
руктора). В настройках Вашей программы пользователь
указывает имя такого класса, независимо инсталлирован-
ного в систему (или выбирает из списка классов), после
чего для выполнения перевода ваша программа исполь-
зует следующие операторы:
String source= «òåêñò, òðåáóþùèé ïåðåâîäà»;
String sourceLanguage= «Russian»;
String targetLanguage= «English»;
Class clazz= Class.forName(«ïîëíîå_èìÿ_êëàññà_ïåðåâîä÷èêà»);
Object object= clazz.newInstance();
if (!(object instanceof LanguageTranslator)) {
throw new Exception(«...»);
// ñîîáùàåì îá îøèáêå: óêàçàííûé êëàññ
// íå ðåàëèçóåò òðåáóåìûé èíòåðôåéñ,
// ò.å. íå ÿâëÿåòñÿ ïåðåâîä÷èêîì
} public Constructor getDeclaredConstructor(Class[]
String result= ((LanguageTranslator)object)
.translate(source,sourceLanguage,targetLanguage);
Описанная техника может оказаться очень полезной
практически в любой достаточно большой и серьезной си-
стеме, рассчитанной на разработку многими участника-
ми. Многие компоненты таких систем являются достаточ-
но изолированными, и их набор может быть совершенно
неизвестен на этапе компиляции основной программы —
известны лишь интерфейсы, который они обязуются реа-
лизовывать. Например, так обычно строятся системы
plugin’ов — модулей, добавляемых к уже работающей си-
стеме. В подобных случаях механизм отражений — мето-
ды Class.forName() и Class.newInstance() — становится
единственным грамотным решением.
Constructor, Field, Method — работа с
классами через отражения
На самом деле технология отражений позволяет сделать
гораздо больше, чем просто загрузить по имени некоторый
№1, октябрь 2002
программирование
(заранее неизвестный) класс и создать его экземпляр. Можно
получить полный список всех конструкторов, полей и мето-
дов класса и обратиться к любому из них, передав (в случае
конструктора или метода) список всех параметров. Для это-
го служат следующие методы класса Class:
public Constructor[] getConstructors(),
public Field[] getFields(),
public Method[] getMethods(),
public Constructor[] getDeclaredConstructors(),
public Field[] getDeclaredFields(),
public Method[] getDeclaredMethods()
Перечисленные методы возвращают массивы объек-
тов типа Constructor, Field и Method. Эти классы содер-
жатся в пакете java.lang.reflect и обеспечивают исчерпы-
вающий доступ к полям, конструкторам и методам.
Сразу бросается в глаза наличие двух версий методов:
getXXX и getDeclaredXXX (где XXX — «Constructors»,
«Fields» или «Methods»). Поначалу это может даже несколь-
ко сбить с толку — какой версией следует пользоваться?
структоров, полей или методов), объявленных при описа-
нии класса, но не унаследованных от классов-предков. При
этом в список включаются все члены, независимо от их
уровня защиты — т.е. public, protected, private и друже-
ственные члены.
getXXX возвращает полный список членов, объявленных
в самом классе либо унаследованных от одного из предков.
Но в этот список уже попадают только public-члены.
При желании, конечно, можно получить и максимально
полную информацию — список всех членов, объявленных
в самом классе либо в любом из его предков. Для этого
достаточно организовать цикл по цепочке классов-пред-
ков, пользуясь специальным методом Class.getSuperclass().
Кроме получения полного списка, можно также отыс-
кать в классе конкретный член. Для этого служат методы:
public Constructor getConstructor(Class[] parameterTypes),
public Field getField(String name),
public Method getMethod(String name, Class[]
parameterTypes),
parameterTypes),
public Field getDeclaredField(String name),
public Method getDeclaredMethod(String name, Class[]
parameterTypes)
(Собственно, чаще используются как раз эти методы,
а не описанные выше методы получения списков.)
Аргумент name в этих методах должен содержать имя
требуемого члена. Аргумент parameterTypes связан с воз-
можностью Java перегружать конструкторы и методы —
определять несколько конструкторов, либо несколько ме-
тодов с одинаковым именем, отличающихся только типа-
ми параметров. (В случае конструкторов это единствен-
ный способ создать много конструкторов класса.) В каче-
стве parameterTypes нужно отдать массив объектов типа
Class, соответствующих типам всех параметров конструк-
тора или метода.
Разница между вариантами getXXX и getDeclaredXXX
здесь та же самая, что и в случае методов получения
списков.
Здесь я бы порекомендовал написать небольшой тест,
55
 программирование
который распечатает списки всех конструкторов, полей и
методов (объявленных и унаследованных) какого-нибудь
класса. Для преобразования объектов Constructor, Field,
Method в строки можно использовать стандартный метод
toString(). Попробуйте распечатать такие списки для клас-
сов без конструкторов, с пустым конструктором, с конст-
руктором, обладающим параметрами, с private- и public-
полями. Попробуйте унаследовать класс и переопреде-
лить в нем (под тем же именем) public-, protected- или
private-поле. Такой текст хорошо помогает понять, как в
Java устроены классы, конструкторы и наследование.
Как реально работать с классами Constructor, Field,
Method?
Прежде всего, заметим, что все они реализуют общий
интерфейс Member, позволяющий:
n получить символьное имя члена (конструктора, поля
или метода) с помощью метода:
public String getName();
n получить обратную ссылку на класс, в котором объяв-
лен данный член (т.е. тот класс, который возвращает
этот член в соответствующем массиве
getDeclaredXXX()), с помощью метода:
public Class getDeclaringClass();
n получить набор битовых флагов — модификаторов
данного члена с помощью метода:
public int getModifiers();
Модификаторы — это битовые флаги, описывающие,
обладает ли данный член следующими свойствами: public,
private, protected, static, final, synchronized, volatile, transient,
native, abstract или strictfp. Полный список модификато-
ров и средства работы с ними можно найти в классe
java.lang.reflect.Modifier — см. документацию фирмы Sun.
Кстати заметим, что некоторые модификаторы (напри-
мер, public) определены также у классов; их можно получить
методом Class.getModifiers(). Для классов определен еще
один модификатор — java.lang.reflect.Modifier.INTERFACE,
означающий, что объект Class ассоциирован не с классом,
а с интерфейсом.
Главное назначение классов Constructor, Field, Method —
конечно, получить доступ к соответствующим членам, т.е. в
случае конструкторов — создать экземпляр класса, в слу-
чае полей — прочитать или изменить поле, в случае мето-
дов — вызвать метод.
Это делается достаточно просто. Чтобы не дублиро-
вать документацию по Java, я просто приведу пример го-
тового тестового класса, где использованы все основные
приемы доступа к членам:
import java.lang.reflect.*;
public class TestClass {
public int a;
public TestClass(int a) {this.a= a;}
public void b() {a= 1;}
public void b(int p1) {a= p1;}
public String toString() {return a+"";}
56
public static void main(String[] args) throws Exception {
Class clazz= TestClass.class;
Constructor c= clazz.getConstructor(new Class[]
{int.class});
Object o= c.newInstance(new Object[] {new Integer(23)});
Field f= clazz.getField("a");
System.out.println(f.getInt(o));
f.setInt(o,24);
System.out.println(o);
Method m= clazz.getMethod("b",new Class[] {});
m.invoke(o,new Object[] {});
System.out.println(o);
m= clazz.getMethod("b",new Class[] {int.class});
m.invoke(o,new Object[] {new Integer(2)});
System.out.println(o);
}
}
Создание экземпляра объекта с помощью конструктора
похоже на вызов метода Class.newInstance(). Но в данном
случае можно легко создать экземпляр класса, не обладаю-
щий конструктором без параметров — нужно только знать
список типов параметров требуемого конструктора.
Для передачи параметров в конструкторы и методы
используется массив объектов (типа Object[]). Если нуж-
но передать параметр примитивного типа, он «заворачи-
вается» в соответствующий класс-оболочку — в случае
int это объект Integer. Такое «заворачивание» — традици-
онная практика в мире отражений.
Для доступа к полю в классе Field реализованы общие
методы get() и set(), рассчитанные на произвольный объект,
и частные версии getBoolean(), getInt(), ..., setBoolean(),
setInt(), ..., рассчитанные на примитивный тип поля. Пер-
вым параметром у этих методов всегда передается экзем-
пляр объекта, к полю которого нужно получить доступ.
Для вызова метода служит метод invoke() класса
Method. Ему передается экземпляр объекта, метод ко-
торого следует вызвать, и список параметров в виде мас-
сива Object[].
Если метод класса возвращает результат (а не опи-
сан как void, как в данном примере), этот результат бу-
дет возвращен в качестве результата invoke — в виде
общего типа Object. (Примитивный тип в этом случае,
как обычно, «заворачивается» в класс-оболочку.)
Располагая объектом Constructor или Method, можно уз-
нать список типов всех параметров в виде массива Class[]:
для этого служат методы Constructor.getParameterTypes()
и Method.getParameterTypes(). В случае метода можно так-
же узнать тип результата: Method.getReturnType(). Кстати,
это та самая экзотическая ситуация, когда находит приме-
нение исключительно редкий объект void.class (я упоми-
нал об этой объекте в разделе 2): void.class будет возвра-
щен getReturnType(), если метод объявлен как void.
С помощью классов Field и Method можно также по-
лучить доступ к статическим полям и методам класса,
даже не создавая экземпляра объекта. При этом в ка-
честве первого параметра методов getXXX(), setXXX()
или invoke() допускается передать null. Можно, скажем,
легко написать Java-код, аналогичный по действию
стандартной утилите «java» — а именно, запускающий
статическую функцию «public static void main(String[]
args)» у произвольного класса. Техника интерфейсов,
описанная в предыдущем разделе, не позволила бы это
сделать.

Обход защиты Java
В очень многих учебниках по Java подчеркивается, что
модификаторы protected и private вместе с «дружествен-
ным» уровнем доступа (отсутствие модификаторов) по-
зволяют обеспечить «100-процентную защиту» ваших по-
лей и методов от использования посторонними класса-
ми. Например, вы никогда не сможете добраться до поля
private char value[];
объявленного в исходном коде класса String и представ-
ляющего реальное содержимое строки.
На самом деле все это не так. Смотрите, как можно
добраться до этого самого поля и «нелегально» изменить
строку — вопреки известному утверждению, что тип String
является абсолютно неизменяемым:
import java.lang.reflect.*;
public class HackString {
public static void main(String[] args) throws Exception {
String s= «Hello!»;
System.out.println(s);
Field f= s.getClass().getDeclaredField(«value»);
// Èìåííî getDeclaredField, à íå getField:
// ïîñëåäíèé ìåòîä ïðîñòî íå íàøåë áû ñêðûòîãî ïîëÿ
f.setAccessible(true);
char[] value= (char[])f.get(s);
value[5]= “?”;
System.out.println(s);
} мощный механизм, позволяющий распределять вычисле-
}
Здесь «магический» метод — setAccessible(). Этот ме-
тод (и симметричный getAccessible()) имеется у всех клас-
сов Constructor, Field, Method и предназначен специально
для того, чтобы отключить стандартную проверку моди-
фикаторов, осуществляемую Java-машиной.
(Естественно, все это сработает только при условии,
что в вашей версии Sun Java SDK реализация класса String
точно так же основана на private-поле «char value[]». Так
как это поле скрытое, фирма Sun вправе в любой момент
переименовать его или вообще заменить чем-нибудь дру-
гим.) Спрашивается — зачем же это сделано? И разве
это не является брешью в системе безопасности?
Что до второго вопроса — разумеется, метод
setAccessible() контролируется менеджером безопаснос-
ти Java (так же как, например, работа с файлами), и ни-
какая мало-мальски защищенная Java-система не позво-
лит злоупотребить подобной возможностью.
А чтобы понять, зачем это нужно, взгляните на любую
среду разработки Java-проектов — скажем, NetBeans или
JavaBuilder. Традиционная возможность подобных сред —
показать все поля и методы некоторого класса, напри-
мер, визуальной компоненты — в том числе и скрытые, а
в некоторых случаях — дать возможность отредактиро-
вать значения полей. Язык Java уникален в том отноше-
нии, что подобные действия можно легко выполнить со-
вершенно законными средствами самого языка, не при-
бегая, скажем, к анализу исходного текста программы.
На самом деле неограниченный доступ ко всем конст-
рукторам, полям и методам даже гораздо более ценен.
Этот механизм мира отражений дает возможность удоб-
но и естественно реализовать чрезвычайно мощные тех-
нологии, нереализуемые (или крайне сложно реализуе-
мые) другими способами.
№1, октябрь 2002
программирование
Приведем два примера. Во-первых, в Java поддержива-
ется механизм сериализации. Достаточно реализовать в
вашем классе пустой интерфейс-индикатор
java.io.Serializable, и появляется возможность полностью (т.е.
со всеми полями и вложенными объектами) записать этот
объект в поток java.io.ObjectOutputStream и впоследствии
прочитать из потока java.io.ObjectInputStream.
Те, кто изучал механизм сериализации Java, согласят-
ся — во многом этот механизм напоминает черную магию.
Каким-то образом классы java.io.ObjectInputStream и
java.io.ObjectOutputStream, без всяких дополнительных под-
сказок со стороны разработчика класса, «догадываются»,
как записать или прочитать все поля объекта, включая
private-поля. Более того, для «подсказки», когда она все
же требуется, используются private-методы writeObject() и
readObject() — классы java.io.ObjectOutputStream и
java.io.ObjectInputStream каким-то образом обнаруживают
и вызывают эти методы.
Конечно же, в действительности эта «черная магия» —
не что иное, как магия отражений. Описанные выше техно-
логии, в том числе метод setAccessible(), в принципе, позво-
ляют даже разработать свою собственную схему сериали-
зации, отличную отстандартной, предлагаемой фирмой Sun.
Второй пример — технология RMI. Это чрезвычайно
ния по сети — так, чтобы с точки зрения кода Java вызов
метода выглядел, как обычно, а на самом деле этот ме-
тод отрабатывался на другом компьютере. Здесь тоже не
обойтись без технологий отражения. Только они позволя-
ют динамически превратить объект (со всеми своими по-
лями) в поток данных, передать его по сети, реконструи-
ровать объект на другом компьютере и вызвать нужный
метод — и все это скрыто от пользователя класса.
Конечно, все это не повод, чтобы использовать отра-
жения не по назначению для «взлома» защиты Java. От-
ражения следует использовать только тогда, когда без это-
го нельзя обойтись — иначе вы потеряете все преимуще-
ства, которые дает идеология объектно-ориентированно-
го программирования.
Заключение
Я постарался описать самые, на мой взгляд, важные и
интересные аспекты технологии отражений. Статья — не
справочник и не учебник. Многие вещи «остались за бор-
том». Не все методы классов были описаны; некоторые спе-
цифичные классы, такие как java.lang.reflect.Proxy, я вооб-
ще не рассматривал. Чтобы получить полную и точную ин-
формацию, всегда лучше обращаться к первоисточнику —
документации фирмы Sun. Кроме сайта http://java.sun.com,
документацию почти всегда можно найти в комплекте по-
ставки Java или извлечь из комментариев к исходным тек-
стам фирмы Sun.
Я также хотел бы порекомендовать книгу: «Язык Про-
граммирования Java», К.Арнолд, Дж.Гослинг, Д.Холмс, Из-
дательский дом «Вильямс», Москва — С.-Петербург —
Киев, 2001. Это наиболее грамотная из попадавшихся мне
книг на русском языке. Она написана сотрудниками фир-
мы Sun, участвовавшими в разработке технологии Java —
т.е. в некотором роде является первоисточником.
57
программирование
COLDFUSION
ИЛИ,
возможно, лучшее решение для создания
динамических сайтов Александр Меженков
Эта статья – первая в серии, адресованной читателям, де-
лающим первые шаги в программировании на ColdFusion,
а также тем, кто все еще не определился с выбором
средств, позволяющих создавать динамические сайты, уп-
равляемые данными.
Сколько раз вам приходилось слышать или самим за-
давать вопросы типа “как я могу сохранить информацию
из HTML-форм на своих Web-страницах?” или “как мне сде-
лать счетчик посещений?” или, наконец, “как мне защитить
код своих Web-страниц от всеобщего обозрения?” В самом
языке HTML нет никаких простых способов обработки дан-
ных HTML-форм. Броузер может лишь собрать информа-
цию из форм и передать ее на Web-сервер. Обработка ин-
формации может быть возложена на CGI серверные рас-
ширения. Одно название чего стоит! А ведь их еще нужно
написать и отладить своими руками, потратив немало вре-
мени на изучение различных стандартов и протоколов! Бе-
зусловно, это полезное, с точки зрения общего развития,
занятие. Кто из нас не проходил на первых курсах институ-
та сопромат или теорию машин и механизмов, с тем, что-
бы позже получить диплом программиста или специалиста
по микропроцессорам?! Так ли уж это было необходимо?
Пара слов пояснений для тех, кто не совсем в курсе.
Хотя бы для того, чтобы понять от чего Вас может уберечь
ColdFusion.
CGI, или Common Gateway Interface, - это стандартный
шлюзовый интерфейс. Проще говоря – это некоторый стан-
дарт или набор правил, определяющий порядок общения
Я намеренно вынес спорное утверждение в
заголовок, главным образом с целью привлечь
внимание читателя к этому, безусловно,
выдающемуся продукту.
(взаимодействия, обмена данными, если угодно) между
Web-сервером и прикладными программами, выполняющи-
ми ту или иную задачу. По существу, написанные вами CGI
программы расширяют возможности Web-сервера, допол-
няя его нужной вам функциональностью. Отсюда, собствен-
но и второе название CGI программ – серверные расшире-
ния. В принципе, CGI программа может быть написана на
любом языке: C/C++, Perl, TCL, Visual Basic, Clipper, Fortran.
Все зависит от того, какая у вас система и в какой среде
программирования вы чувствуете себя более комфортно.
Главное, чтобы ваша программа обеспечивала средства
общения с Web-сервером, или, говоря иначе, удовлетворя-
ла стандарту CGI. Естественно, если вы пишите на С, то
перед запуском вам нужно скомпилировать программу.
Если же вы используете один из языков-сценариев типа
Perl, TCL или Unix shell, то все, что вам надо сделать перед
запуском, это поместить файлы в каталог /cgi-bin, где по
умолчанию их будет искать Web-сервер. В чем же недоста-
ток CGI программ? Во-первых, не каждый специалист по
электронной торговле или Web-дизайнер знает С или Visual
Basic. Во-вторых, CGI программы слишком расточительны
по отношению к системным ресурсам. При каждом обра-
щении на вашу страницу и, соответственно, при каждом
запуске CGI программы, система порождает новый поток,
выделяя для него в оперативной памяти компьютера но-
вое пространство. И если у вашего сайта много посетите-
лей (а ведь именно для этого вы и создаете сайт), то легко
может сложиться ситуация, когда в памяти сервера одно-

временно будет находиться много копий одной и той же
CGI программы, что, в свою очередь, очень быстро исчер-
пает всю оперативную. Наконец, при создании CGI про-
грамм немало усилий будет затрачено на программирова-
ние рутинных задач ввода/вывода, вместо того чтобы на-
править в созидательное русло решения прикладных за-
дач сайта.
Однако вернемся к теме статьи...
Вначале немного истории. В далеком (по меркам Сети)
1995 году два брата Дж.Дж. И Джереми Эллейр (J.J. И
Jeremy Allaire) в США (ну а где же еще?) основали новую
компанию «Allaire Corporation» для продвижения первого в
мире сервера Web-приложений, который они назвали
ColdFusion. Одной из причин создания ColdFusion как раз
и была сложность создания сайтов, управляемых данными
с помощью CGI программ. Перед одним из братьев – Дже-
реми – стояла задача периодического обновления элект-
ронной версии издававшегося в печатном виде журнала.
Занятие это было крайне утомительным, и Джереми обра-
тился к своему брату-программисту с просьбой написать
для него какое-нибудь приложение, которое избавило бы
его от излишней траты времени и сил, и позволило бы ему
сосредоточиться на основной задаче – собственно, обнов-
лению электронной версии журнала. Когда проект был за-
вершен, оба брата осознали, что они испекли горячий пи-
рожок, который наверняка многим придется по вкусу. Не-
долго думая, братья основали новую компанию и, не мудр-
ствуя лукаво, дали ей свою фамилию. Вложив в свое дети-
ще 18 тысяч долларов личных сбережений, шестью года-
ми позже, в 2001 году, братья Эллейр продали его корпо-
рации Macromedia более чем за 360 миллионов долларов.
У вас еще осталось желание писать низкоуровневые про-
цедуры ввода/вывода?
Что же представляет собой этот чудесный продукт, ко-
торый принес своим создателям такую прибыль? Безус-
ловно, вам знакомы термины hardware и software. Так вот,
ColdFusion – это middleware. Термином middleware называ-
ют программное обеспечение, осуществляющее некоторые
преобразования. В самом общем смысле сервер приложе-
ний ColdFusion является посредником, преобразующим ваш
код, написанный на языке высокого уровня, называемом
CFML (ColdFusion Markup Language) в теги HTML-докумен-
та, который может отобразить Web-броузер. Официальное
программирование
название ColdFusion – сервер Web-приложений, но в зави-
симости от того, как вы решите его использовать, он мо-
жет быть средством разработки Web-страниц, сервером баз
данных или вашим счастливым билетом в благополучную
жизнь. От версии к версии ColdFusion предлагал все боль-
ше возможностей. Версия 1.5 в 1996 году содержала всего
лишь 35 тегов, обеспечивавших простейшие функции дос-
тупа к базам данных и поддержки электронной почты. Се-
годня 5-я версия ColdFusion предоставляет более 80 тегов
и 255 функций для решения практически любой задачи,
которая может возникнуть в Web-программировании.
ColdFusion позволяет начать создание нового приложе-
ния на основе прочного фундамента развитого и полнос-
тью ориентированного на Web-среду языка программиро-
вания, обеспеченного серьезной поддержкой солидной ком-
пании (Macromedia), ее бизнес - партнерами и тысячами
разработчиков, публикующих свои решения на специаль-
ном Web-ресурсе под названием Developers exchange. Этот
ресурс настолько богат, что прежде, чем приступать к раз-
работке решения какой–бы то ни было задачи, имеет смысл
заглянуть сюда. Очень часто здесь можно найти совершен-
но бесплатно готовое решение.
Конечно, на рынке существует много других техноло-
гий, которые вы можете использовать для создания дина-
мических Web-приложений. Диапазон их достаточно ши-
рок: от “open source” технологий, таких как Perl и PHP, до
коммерческих Java Server Pages (JSP) или Microsoft Active
Server Pages (ASP). При таком богатстве выбора, что нас
может побудить использовать ColdFusion, который, кстати
сказать, является коммерческим и весьма недешевым про-
дуктом. Его цена больше $1,000. Но пусть вас это не сму-
щает. Во-первых, его покупают, как правило, не частные
лица, а фирмы. А во-вторых, практика показывает, что сто-
имость конечного продукта или, говоря другими словами,
“стоимость владения” (Total Cost of Ownership), включаю-
щая, помимо цены инструментальных средств, стоимость
разработки алгоритмов, кодирования и отладки, часто ока-
зывается ниже, чем стоимость приложения, разработанно-
го с помощью “бесплатных” средств. Деньги, вложенные в
ColdFusion окупаются очень быстро.
Одной из главных причин, побуждающих, выбирать
ColdFusion в качестве рабочего инструмента является лег-
кость разработки. В отличие от большинства упоминавших-
программирование
ся технологий, вам не нужно быть гуру программирования
для того, чтобы начать работу с ColdFusion и успешно за-
вершить свой первый проект, который приятно удивит ва-
шего шефа. Эта простота использования отнюдь не озна-
чает отсутствия мощи и функциональной гибкости. Просто
благодаря усилиям программистов из Allaire, а теперь и
Macromedia, многие сложные вещи происходят за сценой.
ColdFusion упрощает решение большинства задач, таких
как обработка данных форм или выполнение запросов баз
данных. Однако когда у вас возникает нужда выполнения
более сложных операций, ColdFusion предоставляет вам
такие возможности. В компаниях, использующих
ColdFusion, сложные задачи, сборку всего приложения и
его отладку осуществляет, как правило, действительно
классный высокооплачиваемый специалист, тогда как про-
стые операции возлагаются на новичков, которые еще толь-
ко учатся программированию.
Другим важным достоинством ColdFusion является на-
личие версий для всех популярных систем и Web-серве-
ров. Неважно, на чем вы работаете: Windows 95/98/NT/2000,
Solaris, Linux или HP-UX. ColdFuison совместим с большин-
ством известных Web-серверов: Netscape Enterprise и
iPlanet, Microsoft IIS и PWS, O’Reilly Website, Apache. Вы
можете переносить ColdFusion приложения с платформы
на платформу и легко переключаться между различными
системами управления базами данных.
Наиболее близким конкурентом ColdFusion является
технология ASP. Какими, качествами кроме межплатфор-
менной совместимости, может еще похвастать ColdFusion?
Легкость и простота. Языком ASP является VBScript – под-
множество Visual Basic, который сложнее ColdFusion. Срав-
ним, например, два фрагмента кода. Вначале на ASP
(VBScript):
1. <%
2. Dim RandomFraction
3. Randomize
4. RandomFraction = Rnd
5. Response.Write(RandomFraction)
6. %>
Теперь то же самое на ColdFusion:
1. <cfset RandomFraction = Rand()>
2. <cfoutput>#RandomFraction#</cfoutput>
Что проще – решать вам.
При использовании ASP одной распространенной про-
блемой является необходимость закрывать базы данных
после окончания работы с ними. Часто программисты за-
бывают это делать. Конечно, если все делать без ошибок,
эта проблема не возникает.
Но покажите мне программиста, который пишет без
ошибок. Подобная забывчивость приводит к тому, что про-
странство памяти, занимаемое объектом базы данных, не
освобождается. Страницы с таким кодом, обращение к ко-
торым происходит несколько раз в минуту, весьма интен-
сивно расходуют оперативную память, что очень скоро
может привести к зависанию сервера. ColdFusion отсле-
живает подобные ситуации автоматически. В части функ-
циональных возможностей (без привлечения продуктов сто-
ронних фирм) ColdFusion также дает некоторую фору ASP.
60
Вот лишь несколько из них: работа с почтой, встроенные
HTTP, POP и FTP клиенты, встроенный поисковый меха-
низм. Это ни в коем случае не агитация в пользу ColdFusion,
просто объективная попытка познакомить с малоизвест-
ным в России пакетом.
Технология ASP, в свою очередь, также имеет преиму-
щества. Но это уже тема другой статьи.
За названием ColdFusion на самом деле скрываются два
понятия: собственно сервер Web-приложений ColdFusion и
язык программирования ColdFusion, называемый CFML
(ColdFusion Markup Language). Файлы приложения
ColdFusion имеют расширение .cfm и называются шабло-
нами (templates). Шаблоны ColdFusion наряду с тегами и
функциями CFML могут содержать обычные HTML-теги и
встроенные JavaScript и/или VBScript сценарии. CFML часть
шаблона обрабатывается сервером приложений, в резуль-
тате чего динамически генерируется часть выходной стра-
ницы основанная на данных формы, базы данных и так
далее, которая позже объединяется со статической его
частью, представленной HTML-тегами и сценариями
JavaScript/VBScript в единый выходной HTML-документ, пе-
редаваемый Web-серверу.
Рассмотрим, как ColdFusion обрабатывает пользова-
тельские запросы.
1. Web-броузер направляет запрос к Web-серверу с
требованием открыть файл ColdFusion. Эти файлы имеют
расширение .cfm.
2. Получив запрос, Web-сервер перенаправляет его
серверу приложений ColdFusion.
3. Сервер приложений анализирует шаблон и выпол-
няет действия, предписанные встретившимися тегами и
функциями CFML, взаимодействуя, если надо, с другими
службами и приложениями, например источниками данных
или почтовым сервером. В результате динамически созда-
ется часть результирующей HTML страницы.
4. Далее сервер приложений собирает воедино только
что созданную динамическую часть страницы со статичес-
кой частью исходного шаблона и возвращает результиру-
ющую страницу Web-серверу.
5. Web-сервер отправляет полученную от сервера
ColdFusion страницу на пославшую запрос клиентскую ма-
шину.
В заключение приведем полезные ссылки, а также при-
меры сайтов, построенных с использованием ColdFusion.
1. Îôèöèàëüíàÿ ñòðàíèöà îïèñàíèÿ ñòàíäàðòà CGI
http://www.w3.org/CGI/
2. Äîêóìåíòàöèÿ è ïðèìåðû CGI ïðîãðàìì
http://hoohoo.ncsa.uiuc.edu/cgi/
3. Ïðîãðàììíûå ïðîäóêòû Macromedia - íûíåøíåãî âëàäåëüöà
ColdFusion.
Îòñþäà æå ìîæíî ñêà÷àòü ïðîáíûå (trial)âåðñèè
http://www.macromedia.com/software/
4. Developer's exchange. Êîëëåêöèÿ ãîòîâûõ ðåøåíèé íà ColdFusion
http://devex.macromedia.com/developer/gallery/index.cfm
5. ColdFusion ôîðóìû
http://webforums.macromedia.com/coldfusion/
7. On-line äîêóìåíòàöèÿ ïî ColdFusion
http://www.macromedia.com/support/coldfusion/documentation.html
программирование
 программирование
Недавно я занимался разработкой утилитки, позволяющей запускать с сервера по сети некоторые
программы на определённое время. При этом обмен происходил через UDP-сокеты. Для написания
клиентской части необходимы были требования, чтобы она работала под управлением Windows
2000, и обычный непривилегированный пользователь не мог выключить или включить её.

ПРОГРАММИРОВАНИЕ
СЕРВИСОВ
В WINDOWS 2000 ВСЕВОЛОД СТАХОВ
62

Для этой цели идеально подходят сервисы — слу-
жебные программы, выполняющиеся в фоновом режи-
ме и без возможности завершения процесса через дис-
петчер задач. Для управления сервисами используется
админис тративный компонент Windows NT —
services.msc (находится в папке «Администрирование»
панели управления). Как сервисы организовано множе-
ство системных служб Windows, таких как сетевые кли-
енты и серверы, утилиты управления оборудованием
(пресловутый Plug and Play), а также драйверы ядра.
Из компонента управления сервисами можно изменять
режим работы сервисов. Сервис характеризуется со-
стоянием: запущен, остановлен, приостановлен. Для
управления сервисами используются соответствующие
кнопки: запустить, остановить, приостановить (доступ-
но лишь для некоторых сервисов), перезапустить. Мож-
но сделать, чтобы некоторые сервисы запускались при
запуске компьютера. Для этого существует три режи-
ма запуска сервиса: автоматический (auto) — сервис
запускается при входе в систему вручную, (manual) —
сервис запускается по требованию пользователя или
системы, отключено (disabled) — сервис вообще не бу-
дет запускаться.
Для изменения режима запуска откройте диалог
свойств сервиса и на вкладке «Общие» выберите нуж-
ный режим. На данной вкладке также показано имя и
описание сервиса (их можно изменить), а также путь к
исполняемому файлу сервиса. Кроме того, можно из-
менять и другие параметры сервиса. Для этого смотри-
те встроенную справку Windows. При любых манипуля-
циях с сервисами учтите, что изменение базы данных
сервисов доступно только администраторам. Кроме это-
го, возможна модификация сервисов на членах NT до-
мена через MMC (Microsoft Management Console —
mmc.exe) пользователем, имеющим права администра-
тора домена.
Создание сервиса в ОС Windows — задача нетриви-
альная. Например, создание демона в ОС Unix намно-
го проще, хотя, я думаю, система сервисов лучше про-
думана и более централизована. Для создания нового
сервиса, прежде всего, его нужно зарегистрировать в
базе данных сервисов. Для этого открывается база дан-
ных сервисов функцией OpenSCManager для записи-со-
здания, далее добавляется сам сервис функцией
CreateService. После этого система может запустить
приложение, зарегистрировавшее себя сервисом, но за-
пуск идёт несколько необычным образом: запускается
не WinMain, а ServiceMain, которая определяет обра-
ботчики событий сервиса (таких как запуск, пауза, ос-
тановка) функцией RegisterServiceCtrlHandler, устанав-
ливает текущее состояние сервиса SetServiceStatus и
выполняет функцию StartService для каждого зарегист-
рированного сервиса (их может быть несколько). Не-
много сложновато, не так ли? Но реально создать сер-
вис ещё сложнее, так как данные функции принимают
очень много параметров, например функция
CreateProcess принимает аж 13 (!) параметров. Но я всё
же попытаюсь вкратце рассказать о каждой функции и
приведу конкретный пример сервиса. Итак, начнём с
№1, октябрь 2002
программирование
функции открытия базы данных сервисов:
SC_HANDLE OpenSCManager (const char *MachineName, const char*
DatabaseName, DWORD Desired Access);
Функция возвращает дескриптор базы данных серви-
сов с именем DatabaseName, если данный параметр ра-
вен NULL, то используется база данных по умолчанию (для
этой же цели можно использовать константу
SERVICES_ACTIVE_DATABASE) на компьютере
MachineName или на локальном компьютере, если дан-
ный параметр NULL. Параметр DesiredAccess определя-
ет режим доступа к файлу. Обычно используются констан-
ты GENERIC_READ, для чтения GENERIC_WRITE для со-
здания новых сервисов или изменения параметров ста-
рых и GENERIC_EXECUTE разрешение на выполнение
сервисов. При ошибке возвращается NULL, иначе — дес-
криптор базы данных.
Далее происходит регистрация сервиса функцией
CreateService, которая возвращает дескриптор сервиса
для использования в данном процессе:
SC_HANDLE CreateService(
SC_HANDLE hSCManager,
LPCTSTR lpServiceName,
LPCTSTR lpDisplayName,
DWORD dwDesiredAccess,
DWORD dwServiceType,
DWORD dwStartType,
DWORD dwErrorControl,
LPCTSTR lpBinaryPathName,
LPCTSTR lpLoadOrderGroup,
LPDWORD lpdwTagId,
LPCTSTR lpDependencies,
LPCTSTR lpServiceStartName,
LPCTSTR lpPassword
);
Итак, поподробнее о параметрах, так как я не думаю,
что их названия говорят сами за себя.
SC_HANDLE hSCManager — дескриптор базы дан-
ных сервисов, полученный функцией OpenSCManager.
LPCTSTR lpServiceName — строка (до 256 символов),
реальное имя сервиса в базе данных.
LPCTSTR lpDisplayName — данный параметр — имя
сервиса, которое показывается в инструменте управ-
ления сервисами.
DWORD dwDesiredAccess — флаг доступа к серви-
су. Может принимать любые значения доступа.
Обычно используются константы GENERIC_READ,
GENERIC_WRITE, GENERIC_EXECUTE, а также значе-
ние SERVICE_ALL_ACCESS для предоставления полно-
го доступа к сервису.
DWORD dwServiceType — флаг типа сервиса, то есть
то, как он будет выполняться системой.
Возможные значения:
SERVICE_WIN32_OWN_PROCESS — сервис суще-
ствует в виде отдельного процесса;
SERVICE_WIN32_SHARE_PROCESS — сервис раз-
деляет процесс под названием services с другими сер-
висами;
SERVICE_WIN32_KERNEL_DRIVER — сервис явля-
63
 программирование
ется драйвером ядра (то есть сам является частью
ядра);
SERVICE_WIN32_FILE_SYSTEM_DRIVER — сервис пред-
ставляет собой драйвер файловой системы. Практически
все сервисы, не являющиеся системными, создаются как
собственные процессы SERVICE_WIN32_OWN_PROCESS.
В этом случае, если необходимо, чтобы сервис взаи-
модействовал с рабочим столом, можно указать через
битовое “или” флаг SERVICE_INTERACTIVE_PROCESS.
DWORD dwStartType — флаг способа запуска сер-
виса, может принимать следующие значения:
SERVICE_BOOT_START — служба запускается заг-
рузчиком, NT то есть при загрузке ядра (допустимо толь-
ко при создании драйвера ядра);
SERVICE_SYSTEM_START — сервис запускается
после загрузки ядра при инициализации драйверов (это
также допустимо только для драйверов);
SERVICE_AUTO_START — служба запускается при
входе в систему;
SERVICE_DEMAND_START — сервис запускается
другим приложением (в том числе инструментом управ-
ления службами);
SERVICE_DISABLED — сервис не может быть запу-
щен. Для стандартных служб обычно применяются фла-
ги SERVICE_AUTO_START и SERVICE_DEMAND_START
для, соответственно, автоматической или ручной заг-
рузки.
DWORD dwErrorControl — флаг поведения при ошибке.
Для большинства сервисов (кроме критичных и системных
драйверов) разумно писать SERVICE_ERROR_IGNORE для
игнорирования ошибки или SERVICE_ERROR_NORMAL
для вывода сообщения о невозможности запуска (также
добавляется запись в системный журнал). Для драйверов
при невозможности их загрузки обычно происходит откат
системы и (или) перезагрузка.
LPCTSTR lpBinaryPathName — полный путь к испол-
няемому файлу сервиса. Учтите, что если путь содер-
жит пробелы или является очень длинным, то писать
его нужно в кавычках внутри строки, то есть “\”d:\\my
folder\\my_super service.exe\».
LPCTSTR lpLoadOrderGroup — имя группы сервиса,
обычное значение — NULL, для указания, что сервис
не принадлежит никакой группе.
LPDWORD lpdwTagId — этот параметр содержит тег
группы, которые применяются драйверами для иденти-
фикации внутри группы, обычное значение — NULL.
LPCTSTR lpDependencies — массив строк-зависимо-
стей сервиса. Если службы, от которых зависит дан-
ный сервис не запустились, то не произойдёт и запуска
данного сервиса. Данный параметр помогает выстро-
ить иерархическую структуру служб.
LPCTSTR lpServiceStartName — имя пользователя
для запуска сервиса. Имя вводится в формате Имя_до-
мена\имя_пользователя (или .\имя_пользователя для
локального домена). Если данный параметр NULL, то
используется системный профиль LocalSystem, что под-
ходит для большинства сервисов.
LPCTSTR lpPassword — параметр, определяющий пароль
для выбранного профиля. Если параметр равен NULL, то счи-
64
тается, что пароль — пустая строка. Для профиля локаль-
ной системы LocalSystem пароль всегда должен быть NULL.
Итак, если вы дочитали, до этого момента, то всё
остальное должно показаться Вам детскими играми.
Кстати, сообщу информацию, которая многим пока-
жется полезной: после регистрации сервиса его пара-
метры записываются в системный реестр Windows в улей
HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services
\имя_сервиса. Для людей, любящих копаться в настрой-
ках ОС сообщаю: большинство системных драйверов
являются сервисами и их настройки можно поменять в
реестре. Например, очень интересным является ключ
Tcpip — можно менять очень много “скрытых” настроек
сети (включая настройки сетевых карт!). Для поклон-
ников безопасной сети ес ть ещё один ключик:
Lanmanserver — позволяет прикрыть некоторые дыры
безопасности, например NetBios NULL session. Но вер-
нёмся к реальности — к созданию сервисов. Чтобы еще
больше отпугнуть читателя, приведу пример создания
функции CreateService:
CreateService (hsSManager,lpServiceName, lpDisplayName,
dwDesiredAccess, dwServiceType, dwStartControl,
lpBinaryPathName, lpLoadOrderGroup, lpdwTagId, lpDependencies,
lpServiceStartName, lpPassword);
После создания сервиса считайте, что ваше дело за-
вершено – смело пишите CloseServiceHandle
(SC_HANDLE sh) и выходите из программы. Тут я сде-
лаю небольшое лирическое отступление. Как извест-
но, в ОС Windows после загрузки программы в память
вызывается специализированная функция main для кон-
сольных приложений и WinMain для приложений GUI
Windows.
Программа, работающая как служба, ведёт себя не-
сколько по-другому: вызов сервиса происходит функ-
цией StartService(SC_HANDLE sh, DWORD param_count,
char **parameters), после чего он загружается в память
(если ещё не был загружен) и вызывается функция
ServiceMain(DWORD param_count, char **parameters), ко-
торая также ведёт себя очень хитро, но об этом чуть
позднее.
Если для регистрации и для самого сервиса исполь-
зуется одна и та же программа, то обычно считывают
аргументы командной строки. При этом используется
следующая схема:
#include <windows.h>
int main(int argc, char **argv){
SC_HANDLE sh;
SC_HANDLE svdb; // Äåñêðèïòîð áàçû ñåðâèñîâ
SERVICE_TABLE_ENTRY DispatchTable[] =
{
{ «MyService», MyServiceStart },
{ NULL, NULL }
};
if(argc < 2){ // Çàïóñê áåç àðãóìåíòîâ
// Çàïóñê ñåðâèñà
if (!StartServiceCtrlDispatcher( DispatchTable))
{

write_to_log(«Can`t execute service»);
} ñòèìûå ñîñòîÿíèÿ ñåðâèñà(÷åðåç ïîáèòíîå «èëè»).
}
if(argc == 2){ // Ïåðåäàí îäèí ïàðàìåòð
if(strcmp(argv[1], “-i”))
install_service(); // Óñòàíîâêà ñåðâèñà åñëè àð-
ãóìåíò -i
if(strcmp(argv[1], “-u”))
uninstall_service(); // Óäàëåíèå ñåðâèñà åñëè àð-
ãóìåíò -u
} DWORD dwWin32ExitCode; — ýòîò ïàðàìåòð ñîîáùàåò ñèñòåìå
else{
write_to_log(“Bad usage”);
return -1;
} èçîøåäøàÿ â ñåðâèñå.
return 0;
} öåññà çàïóñêà ñåðâèñà.
В принципе, всё не так уж и сложно, хотя я кое-чего
не рассказал. Во-первых, функция OpenService служит
для загрузки сервиса в память. Функция принимает три
параметра: дескриптор базы сервисов, имя сервиса и тип
доступа – тут всё понятно. Для удаления сервиса исполь-
зуется функция DeleteService(SC_HANDLE sh), которая
возвращает ноль в случае ошибки. При использовании
данной функции учтите, что при открытии сервиса фун-
кцией OpenService, вы должны указать в правах досту-
па единственный флаг DELETE для удаления его из базы.
Для запуска самого сервиса используется функция
StartServiceCtrlDispatcher(LPSERVICE_TABLE_ENTRY
lpServiceStartTable). Функция принимает единственный
аргумент — массив строк, содержащий две строки — имя
сервиса и имя функции-обработчика, заканчивается спи-
сок двумя пустыми строками. После этого начинается
обработка функции сервиса ServiceMain.
Итак, начало самого интересного — написание фун-
кции ServiceMain. Данная функция служит для запуска,
инициализации и изменения статуса сервиса. Поведе-
ние данной функции строго регламентировано: во-пер-
вых, она должна заполнить поля струк т уры
SERVICE_STATUS значениями параметров данного сер-
виса; во-вторых — зарегистрировать обработчик собы-
тий сервиса функцией RegisterServiceCtrlHandler; и, в-
третьих — выполнить действия по инициализации сер-
виса и ус тановить сос тояние сервиса функцией
SetServiceStatus. Итак, обо всём по порядку. Думаю, от-
дельного описания заслу живает струк т ура
SERVICE_STATUS:
struct SERVICE_STATUS {
DWORD dwServiceType; — ýòî ïîëå îçíà÷àåò òî æå, ÷òî è â
ôóíêöèè CreateService, ò.å. òèï ïðèëîæåíèÿ ñåðâèñà(îòäåëüíûé,
äðàéâåð ÿäðà, äðàéâåð ÔÑ).
DWORD dwCurrentState; — à âîò ýòî ñïåöèôè÷åñêîå ïîëå -
ñîäåðæèò òåêóùåå ñîñòîÿíèå ñåðâèñà, èìåííî åãî äîëæíà óñòà-
íàâëèâàòü ServiceMain.
Äîïóñòèìûå çíà÷åíèÿ:
SERVICE_STOPPED - ñåðâèñ îñòàíîâëåí;
SERVICE_START_PENDING - ñåðâèñ çàïóñêàåòñÿ;
SERVICE_STOP_PENDING - ñåðâèñ îñòàíàâëèâàåòñÿ;
SERVICE_RUNNING - ñåðâèñ óæå çàïóùåí;
SERVICE_CONTINUE_PENDING - ñåðâèñ ïðîäîëæàåò ðàáîòó;
SERVICE_PAUSE_PENDING - ñåðâèñ ïåðåõîäèò â ðåæèì ïàóçû;
SERVICE_PAUSED - ñåðâèñ íàõîäèòñÿ â ðåæèìå ïàóçû.
№1, октябрь 2002
программирование
DWORD dwControlsAccepted; — áèòîâàÿ ìàñêà, ñîäåðæàùàÿ äîïó-
Äîïóñòèìûå êîíñòàíòû:
SERVICE_ACCEPT_STOP - ñåðâèñ ìîæåò áûòü îñòàíîâëåí;
SERVICE_ACCEPT_PAUSE_CONTINUE - ñåðâèñ ìîæåò áûòü ïîñòàâëåí
è ñíÿò ñ ïàóçû;
SERVICE_ACCEPT_SHUTDOWN - ñåðâèñ áóäåò îïîâåù¸í ïðè âûõîäå
èç ñèñòåìû.
çíà÷åíèå, êîòîðîå âîçâðàùàåò ñåðâèñ ïðè îøèáêå, ïîäðîáíåå îøèáêà
îïðåäåëÿåòñÿ ñëåäóþùèì ïàðàìåòðîì.
DWORD dwServiceSpecificExitCode; — êîíêðåòíàÿ îøèáêà, ïðî-
DWORD dwCheckPoint; — à ýòî ïîëîæåíèå ïðîãðåññ-áàðà ïðè
çàïóñêå-îñòàíîâêå ñåðâèñà, èñïîëüçóåòñÿ äëÿ âèçóàëèçàöèè ïðî-
DWORD dwWaitHint; — âðåìÿ â ìèëëèñåêóíäàõ, êîòîðîå æä¸ò
âûçûâàþùàÿ ïðîãðàììà äî èçìåíåíèÿ ëèáî òåêóùåãî ñòàòóñà, ëèáî
dwCheckPoint. Åñëè ýòîãî íå ñëó÷èëîñü, òî ñ÷èòàåòñÿ, ÷òî çà-
ïóñê ñåðâèñà áûë íåóäà÷åí. Åñëè äàííîå çíà÷åíèå íîëü, òî óáè-
åíèÿ íå ïðîèñõîäèò.
};
Итак, обычно вначале устанавливается значение ста-
туса SERVICE_START_PENDING, затем устанавливает-
ся обработчик сообщений, инициализация сервиса и
только после этого статус сервиса устанавливается в
SERVICE_RUNNING. При данных действиях не забудьте
корректно установить dwWaitHint, иначе система сочтёт,
что ваш сервис не успел запуститься, и замочит его без
сожаления. Для регистрации обработчика событий ис-
пользуется функция SERVICE_STATUS_HANDLE
RegisterServiceCtrlHandler(LPCTSTR service_name,
LPHANDLER_FUNCTION handler_function) — первый па-
раметр — имя сервиса, второй — указатель на функ-
цию-обработчик, данная функция возвращает дескрип-
тор состояния сервиса для функции SetServiceStatus или
NULL в случае ошибки. Для установки текущего состоя-
ния сервиса используется функция SetServiceStatus
(SERVICE_STATUS_HANDLE ssh, LPSERVICE_STATUS
status) — первый параметр — дескриптор состояния, а
второй — указатель на структуру статуса. После этого
приведу простенький пример главной функции:
void MyServiceStart (DWORD argc, LPTSTR *argv)
{
DWORD status;
DWORD specificError;
SERVICE_STATUS MyServiceStatus; //Ýòà òà ñàìàÿ
ñòðóêòóðà ñòàòóñà
// À âîò ìû å¸ çàïîëíÿåì
MyServiceStatus.dwServiceType =
SERVICE_WIN32_OWN_PROCESS;
MyServiceStatus.dwCurrentState =
SERVICE_START_PENDING;
MyServiceStatus.dwControlsAccepted =
SERVICE_ACCEPT_STOP;
MyServiceStatus.dwWin32ExitCode = 0;
MyServiceStatus.dwServiceSpecificExitCode = 0;
MyServiceStatus.dwCheckPoint = 0;
MyServiceStatus.dwWaitHint = 5000;
//Ðåãèñòðèðóåì îáðàáîò÷èê ñîáûòèé
MyServiceStatusHandle =
RegisterServiceCtrlHandler(«MyService»,
MyServiceCtrlHandler);
if (MyServiceStatusHandle == (SERVICE_STATUS_HANDLE)0)
65
 программирование

{ write_to_log(«Yeah, this works!»,0);

write_to_log(«Can not register handler function»);
return; return;
} }
//À òåïåðü âûïîëíÿåì íåêîòîðûå èíèöèàëèçàöèîííûå äåé- Прекрасная функция, не так ли? Ну и для последне-
ñòâèÿ.
го штриха расскажу ещё про обработчик сообщений.
status = MyServiceInitialization(argc,argv, Если Вы когда-нибудь писали GUI программу, то, на-
&specificError);
верное, знаете, что обработчики событий — это длин-
// Ïðîâåðÿåì, êàê ïðîøëà èíèöèàëèçàöèÿ ная функция, которая получает номер события и выпол-
if (status != NO_ERROR)
няет в соответствии с этим некие действия. Так, в сер-
{ висах наблюдается нечто подобное. Формат функции
//Îøèáêà - îñòàíàâëèâàåì ñåðâèñ è âûõîäèì
MyServiceStatus.dwCurrentState = должен быть такой:
SERVICE_STOPPED; void WINAPI Handler(DWORD fdwControl); параметр
MyServiceStatus.dwCheckPoint = 0;
MyServiceStatus.dwWaitHint = 5000; fdwControl содержит текущее сообщение от системы.
MyServiceStatus.dwWin32ExitCode = status; Возможные значения этого параметра:
MyServiceStatus.dwServiceSpecificExitCode =
specificError; SERVICE_CONTROL_STOP — cервис должен оста-
новиться.
SetServiceStatus (MyServiceStatusHandle,
&MyServiceStatus); StartServiceCtrlDispatcher (LPSERVICE_TABLE_ENTRY
return; lpServiceStartTable) SERVICE_CONTROL_PAUSE —
}
cервис должен перейти в режим паузы.
// Âñ¸ ïðîøëî óñïåøíî :) èä¸ì äàëüøå. SERVICE_CONTROL_CONTINUE — cервис должен
MyServiceStatus.dwCurrentState = SERVICE_RUNNING;
MyServiceStatus.dwCheckPoint = 0; выйти из режима паузы.
MyServiceStatus.dwWaitHint = 0; SERVICE_CONTROL_INTERROGATE — cервис дол-
if (!SetServiceStatus (MyServiceStatusHandle,
&MyServiceStatus)) жен сообщить о себе информацию.
SERVICE_CONTROL_SHUTDOWN — cистема соби-
{
status = GetLastError(); рается выключаться.
write_to_log(«Can not set service status 8-(«); Ну вот, в принципе, и всё. Для дальнейшей инфор-
} мации Вы можете обратиться к MSDN. Но для большин-
ства сервисов этой информации оказывается достаточ-
//Ñåðâèñ íà÷àë ðàáîòàòü.
но. Итак, дерзайте!

66
СЕТИ
 сети
АНАЛИЗАТОР
СЕТЕВОГО
ТРАФИКА
Введение
Если Вы - системный администратор,
специалист по безопасности, или Вам про-
сто интересно, что происходит в Вашей ло-
кальной сети, то перехват и анализ несколь-
ких сетевых пакетов может быть полезным
упражнением. При помощи небольшой про-
граммы на языке С и базовых знаний сете-
вых технологий Вы сможете перехватить
данные сетевого траффика, даже если они
адресованы не Вам. В данной статье мы
рассмотрим, как это можно сделать в сети
Ethernet - наиболее распространенной на
данный момент технологии построения ло-
кальных компьютерных сетей.
Обзор технологии
Ethernet
Для начала вспомним, как функциони-
рует сеть Ethernet (те из вас, кто уже знаком
с данным вопросом, могут пропустить этот
параграф). IP-пакеты (дейтаграммы), источ-
ником которых является приложение
пользователя, инкапсулируются в Ethernet-
кадры (пакеты Ethernet-протокола, переда-
ваемые в сети). Каждый кадр содержит ис-
ходный IP-пакет и другую информацию, не-
обходимую для доставки его адресату, в
частности, 6-ти байтовый Ethernet-адрес
(MAC-адрес) назначения, который при по-
мощи протокола ARP ставится в соответ-
ствие IP-адресу назначения. Таким образом,
сформированный кадр, содержащий пакет,
начинает свое путешествие от хоста-отпра-
вителя к хосту-получателю через кабельное
соединение.
68
На уровне протокола Ethernet маршру-
тизация отсутствует. Другими словами, кадр,
отправленный хостом-отправителем, не
попадает напрямую хосту-получателю, а бу-
дет доступен для всех хостов, объединен-
ных в сеть. Каждая сетевая карта принима-
ет кадр и считывает из него первые 6 байт.
Эти байты содержат MAC-адрес хоста-по-
лучателя, но только одна карта в сети опре-
делит его как свой собственный и передаст
кадр для дальнейшей обработки сетевому
драйверу. Сетевой драйвер проверит поле
«Тип протокола» заголовка кадра и, осно-
вываясь на этом значении, направит инкап-
сулированный пакет соответствующей при-
емной функции данного протокола. В боль-
шинстве случаев это протокол IP. Прием-
ная функция изымает IP заголовок из при-
нятой дейтаграммы и передает инкапсули-
рованное сообщение соответствующему
модулю протокола транспортного уровня
(например, TCP или UDP). Эти протоколы,
в свою очередь, обрабатывают свои заго-
ловки и передают данные протоколам при-
кладного уровня. В течение этой «экскур-
сии» по различным уровням сетевого стека
исходный пакет теряет все служебные поля
протоколов и, в конце концов, данные, пе-
редаваемые в пакете, принимаются пользо-
вательским приложением.
Пакетные сокеты
При создании сокета стандартным вы-
зовом socket (int domain, int type, int protocol)
параметр domain определяет коммуникаци-
онный домен, в котором будет использовать-
ся сокет. Обычно используются значения
PF_UNIX для соединений, ограниченных
локальной машиной, и PF_INET для соеди-
нений, базирующихся на протоколе IPv4.
Аргумент type определяет тип создаваемо-
го сокета и имеет несколько значений. Зна-
чение SOCK_STREAM указывается при со-
здании сокета для работы в режиме вирту-
альных соединений (протокол TCP), а зна-
чение SOCK_DGRAM - для работы в режи-
ме пересылки дейтаграмм (протокол UDP).
Последний параметр protocol определяет
используемый протокол (в соответствии с
IEEE 802.3).
В версиях LINUX, начиная с 2.2, появил-
ся новый тип сокетов - пакетные сокеты.
Пакетные сокеты используются для отправ-
ления и приема пакетов на уровне драйве-
ров устройств. Сокеты данного типа созда-
ются вызовом socket (SOCK_PACKET, int
type, int protocol). Параметр type равен или
SOCK_RAW, или SOCK_DGRAM.
Пакеты типа SOCK_RAW передаются
драйверу устройства и принимаются от него
без всяких изменений данных пакета.
SOCK_DGRAM работает на более вы-
соком уровне. Физический заголовок (MAC-
адрес) удаляется перед тем, как пакет от-
правляется на обработку пользователю.
Пример реализации
Итак, приступим непосредственно к со-
зданию анализатора. Для этого нам необ-
ходимо:
- определить необходимые переменные;
- получить параметры сетевого интер-
 сети
фейса (IP-адрес, маску подсети, номер под- Функция получения Получим маску подсети:
сети, размер MTU, индекс (номер) интер- параметров сетевого
фейса); интерфейса if (ioctl (fd, SIOCGIFNETMASK, ifr) <0 )
{
- создать пакетный сокет и привязать perror («ioctl»);
его к определенному интерфейсу; #include «ip.h» return (-1);
#include <sys/ioctl.h> }
- принять сетевой пакет и проанализи- int getifconfig (struct ifreq *ifr, char memset(&s, 0, sizeof (struct
ровать его структуру. Этим будет занимать- *intf, struct ifparam *ifp) sockaddr_in));
{ memcpy(&s, &ifr->ifr_netmask, sizeof
ся главная функция программы. (struct sockaddr));
Для удобства каждый из пунктов офор- int fd; - дескриптор сокета. memcpy(&ifp-mask, &to.sin_addr.s_addr,
sizeof (u_long));
мим в виде отдельной функции или заголо- Создадим сокет:
вочного файла. Получим номер подсети:
if (( fd= socket (AF_INET, SOCK_DGRAM,
0)) <0 ) {
Переменные perror ( «socket» );
ifp->sunbet = check_subnet(ifp->mask,
ifp->ip);
Необходимые заголовочные файлы: return ( - 1 );
}
#include <stdio.h> Получим размер MTU:
#include <sys/types.h> Скопируем имя интерфейса в поле
#include <sys/socket.h> if (ioctl (fd, SIOCGIFMTU, ifr) <0 ) {
#include <errno.h> ifr_name структуры ifr: perror («ioctl»);
#include <linux/if.h> return (-1);
#include <linux/if_ether.h> }
#include <linux/in.h> sprintf (ifr->ifr_name, «%s»,
intf); ifp -> mtu = ifr -> ifr_mtu;
#include <linux/ip.h>
Структура для хранения принятого IP - Получим IP адрес интерфейса: Получим индекс (номер) интерфейса:
пакета:
if (ioctl (fd, SIOCGIFADDR, ifr) <0 ) {
perror («ioctl»); if ( ioctl (fd, SIOCGIFINDEX, ifr) <0 )
struct ip_packet { return (-1); {
struct iphdr ip; } perror («ioctl»);
char *ip_data; memset(&s, 0, sizeof (struct return (-1);
} ip_pack; sockaddr_in)); }
memcpy(&s, &ifr->ifr_addr, sizeof (struct ifp -> index = ifr -> ifr_ifindex;
Cтруктура для хранения параметров sockaddr));
сетевого интерфейса: memcpy(&ifp-ip, &to.sin_addr.s_addr, Переведем интерфейс в неразборчи-
sizeof (u_long));
вый режим. Для этого получим значение
struct ifreq ifr;

Структура для получения адресной ин-

формации:

struct sockaddr_in s;

Структура для хранения заголовка IP-

пакета:

struct iphdr *ip;

Структура для хранения заголовка

Ethernet-кадра:

struct ethhdr eth;

Вспомогательная структура, содержа-

щая параметры интерфейса:

struct ifparam {
u_long ip;
u_long mask;
u_long subnet;
int mtu;
int index;
} ifp;

int e0_r, - дескриптор сокета;

rec; - размер принятого пакета в байтах;
char *buff; - буфер для приема пакетов.
Переменные разместим в файле ip.h.

№1, октябрь 2002 69

 сети
флагов интерфейса: Функция check_subnet сканирует пер- return (fd);
}
if ( ioctl (fd, SIOCGIFFLAGS, ifr)
вый переданный параметр (маску подсе-
<0 ) { ти) до первого появления 1 и запоминает Функция getsock_recv принимает в ка-
perror («ioctl»); эту позицию. Эта позиция соответствует честве параметра индекс интерфейса и
close (fd);
return (-1); числу разрядов, отведенных в адресе на возвращает дескриптор пакетного сокета.
} сетевую составляющую. Далее, во втором Значение поля protocol в системном вызо-
Установим флаг неразборчивого ре- переданном параметре (адресе) происхо- ве socket равно htons (ETH_P_ALL). Это
жима: дит логический сдвиг на число разрядов, означает, что мы будем принимать пакеты
отведенных под адрес хоста. Таким обра- всех протоколов. Все входящие пакеты
ifr -> ifr_flags |= IFF_PROMISC; зом, у нас остается только сетевая состав- будут передаваться пакетному сокету до
ляющая, которая и является адресом под- того, как они будут переданы протоколам,
Установим новое значение флагов ин- сети. реализованным в ядре. Список возможных
терфейса: протоколов приведен в файле <linux/
Функция для создания if_ether.h>.
if ( ioctl (fd, SIOCSIFFLAGS, ifr) пакетного сокета Для получения пакетов только с опре-
<0 ) {
perror («ioctl»); Заголовочные файлы: деленного интерфейса используется фун-
close (fd); кция bind: таким образом мы соединяем
return (-1);
} #include <sys/types.h> пакетный сокет с интерфейсом, адрес ко-
return 1; #include <sys/socket.h>
#include <errno.h > торого указан в структуре struct sockaddr_ll.
}
#include <linux/if_packet.h> Если этого не сделать, мы будем получать
#include <linux/if_ether.h>
Параметрами функции getifconfig явля- int getsock_recv (int index) пакеты со всех сетевых интерфейсов, ко-
ются структура struct ifreq *ifr, имя интер- { торые в данный момент активны.
int fd;
фейса char *intf и структура struct ifparam
*ifp. Номер подсети определяется при по- Структура для хранения адресной ин- Главная функция
мощи вызова функции check_subnet, при- формации об интерфейсе (см. файл <linux/ #include «ip.h»
веденной ниже. if_packet.h>): int main ()
{
Установкой флага интерфейса
IFF_PROMISC мы добиваемся приема всех struct sockaddr_ll s_ll; Получим параметры сетевого интер-
пакетов, даже если они не адресованы фейса:
нашему хосту. Создадим пакетный сокет:
memset (&ifr, 0, sizeof (struct ifreq));
if (( fd= socket (SOCK_PACKET, SOCK_RAW, if (getifconfig (&ifr, «eth0», &ifp)
Функция определения htons (ETH_P_ALL) )) <0 ) { <0 ) {
номера подсети perror («getifconfig»);
perror ( «socket» ); exit (1);
return ( - 1 );
BITS 32 } }
GLOBAL check_subnet

SECTION .text
Выделим память для структуры struct Выделим память:
check_subnet: sockaddr_ll s_ll:
push ebp - ñîõðàíèì buff = (char *) malloc (ifp.mtu + 18);
àäðåñ âîçâðàòà èç ôóíêöèè memset(&ip, 0, sizeof (struct
mov ebp, esp memset (&s_ll, 0, sizeof (struct ip_packet));
mov edx, [ebp+8] - ïåðâûé ïà- sockaddr_ll)); ip_pack.ip_data = (char *) malloc (
ðàìåòð - ìàñêà ïîäñåòè ifp.mtu - sizeof (struct iphdr));
mov eax, [ebp+12] - âòîðîé ïà- ip=(struct iphdr *)&ip_pack.ip;
ðàìåòð - IP àäðåñ Заполним поля структуры s_ll необхо-
mov cx, 32 - ÷èñëî ðàç-
ðÿäîâ â IP àäðåñå â ôîðìàòå IPv4 димыми значениями: Получим дескриптор пакетного сокета:
push cx - ñîõðàíèì çíà÷åíèå
â ñòåêå
xor esi, esi - îáíóëèì s_ll.sll_family = PF_PACKET; if ((e0_r = getsock_recv (ifp.index)) <0
ñ÷åò÷èê - òèï ñîêåòà ) {
.label s_ll.sll_protocol = htons (ETH_P_ALL); perror («getsock_recv»);
bt edx, esi - ñêàíèðóåì - òèï ïðèíèìàåìîãî ïðîòîêîëà exit(1);
ìàñêó â ïîèñêàõ 1 s_ll.sll_ifindex = index; }
jnc .msk - âûõîä èç - íîìåð èíòåðôåéñà
öèêëà ïðè ñîâïàäåíèè s_ll.sll_pkttype = PACKET_HOST; Цикл приема пакетов:
inc esi - èíêðåìåíò - òèï ïàêåòà (äëÿ ëîêàëüíîé ìàøèíû)
ñ÷åò÷èêà
loop .label - ïðîäîëæèòü Привяжем сокет к интерфейсу: for (;;) {
ïîèñê
.mask Îáíóëèì áóôåð:
pop cx - èçâëå÷ü if ((bind (fd, (struct sockaddr bzero (buff, ifp.mtu+18);
ðàíåå ñîõðàíåííîå çíà÷åíèå èç ñòåêà *) &s_ll, sizeof (struct sockaddr_ll)) rec = 0;
sub cx, si - ÷èñëî ðàçðÿäîâ â <0 ) { Принять пакет:
àäðåñå, îòâåäåííûõ ïîä õîñòîâóþ ÷àñòü perror («bind»);
close (fd); rec=recvfrom (e0_r, (char
shl eax, cl - ëîãè÷åñêèé ñäâèã *)buff, ifp.mtu+18, 0, NULL, NULL);
íà ýòî çíà÷åíèå return (-1);
} if (rec<0) {
mov esp, ebp perror («recvfrom»);
pop ebp - âîññòàíîâèì ñòåê Возвратим дескриптор сокета в вызы- exit(1);
ret - âîçâðàò èç ôóíê- }
öèè вающую функцию:

70

Число принятых байт (длина принято-
го пакета):
printf («\nrec = %d\n», rec);
Первые 12 байт в принятом буфере
содержат MAC - адреса отправителя и по-
лучателя. Заполним структуру struct ethhdr
eth адресной информацией:
memcpy ((char *) &eth, buff, 12);
По смещению 14 в данном буфере рас-
положены данные Ethernet-кадра - IP-па-
кет:
memcpy ((char *)&ip.pack, (buff + 14),
ifp.mtu );
Проведем анализ принятого Ethernet-
кадра.
if ((ip -> version) !=4)
continue;
версия IP-протокола MAC-адрес отправи-
теля:
printf (« %.2x: %.2x: %.2x: %.2x: %.2x:
%.2x \t -> \t «,
eth.h_source[0], eth.h_source[1],
eth.h_source[2],
eth.h_source[3], eth.h_source[4],
eth.h_source[5]);
MAC-адрес получателя:
printf (« %.2x: %.2x: %.2x: %.2x: %.2x:
%.2x»,
eth.h_dest[0], eth.h_ dest[1], eth.h_
dest[2],
eth.h_ dest[3], eth.h_ dest[4], eth.h_
dest[5]);
printf («%d \n», ip -> ihl);
- äëèíà çàãîëîâêà IP-ïàêåòà
printf («%d \n», ntohs (ip
-> tot_len));
- äëèíà âñåãî ïàêåòà
printf («%d \n», ip ->
protocol); - ïðîòîêîë
âåðõíåãî óðîâíÿ
printf («%s \t -> \t»,
inet_ntoa (ip -> saddr)); - à ä ð å ñ
èñòî÷íèêà
printf («%s \n», inet_ntoa
(ip -> daddr)); - àäðåñ
íàçíà÷åíèÿ
} IP
return (1);
} $(name): $(IP)
Прием пакетов осуществляется с по-
мощью функции recvfrom. Эта функция
принимает данные через дескриптор e0_r.
Принятое сообщение копируется в струк-
туру ip_pack.
В принятом пакете первым следует за-
головок Ethernet-кадра. По смещению 14
расположен IP-пакет. Поле «Версия» ука-
зывает тип данного пакета. Для IPv4-па-
кета данное поле содержит значение 4 в
двоичной форме. Значение длины заголов-
ка лежит в диапазоне между 20 и 60 байта-
ми и находится в поле «Длина заголовка».
Поле «Протокол» содержит идентифика-
цию протокола следующего, более высо-
кого уровня, содержащегося в разделе дан-
ных (т.е. в теле сообщения) данного IP-
пакета. В документе RFC 1700 перечисле-
ны все значения, которые могут содержать-
ся в поле «Протокол» в заголовке IP-паке-
та. Поле «Адрес источника» и поле «Адрес
назначения» содержат соответственно IP-
адрес отправителя пакета и IP-адрес пред-
полагаемого получателя.
Дальнейшая обработка принятого па-
кета зависит от полей «Длина заголовка»
и «Протокол». В принятом буфере по сме-
щению, указанном в поле «Длина заго-
ловка» (с учетом заголовка кадра Ethernet)
будет расположен заголовок протокола
следующего уровня. Его анализ аналоги-
чен вышеприведенному анализу заголов-
ка IP.
Для получения исполняемого модуля
создадим Makefile следующего содержания:
сети
# Êîìïèëÿòîð Ñ
CC = gcc
# Êîìïèëÿòîð àññåìáëåðà
NASM = nasm
# Èìÿ èñïîëíÿåìîãî ìîäóëÿ
name = ip
= ip.o check_snet.o
getsock_recv.o getifconf.o
$(CC) -g -o $(name) $(IP)
ip.o: ip.c
$(CC) -c ip.c
check_snet.o: check_snet.asm
$(NASM) -f elf
check_snet.asm
getsock_recv.o: getsock_recv.c
$(CC) -c getsock_recv.c
getifconf.o: getifconf.c
$(CC) -c getifconf.c
clean:
rm -f *.o
В файле ip.c находится главная функция
программы. Командой make мы получим ис-
полняемый модуль ip. Команда make clean
удалит все объектные файлы. Результаты
работы программы будут отображаться на
консоли. Иногда это не совсем удобно, по-
этому, немного модифицировав программу,
результаты можно сохранять в файле.
Компиляцию производим с ключем -g для
возможности последующей отладки. Наде-
юсь, что читателю это не понадобится, но
все-таки хочу показать простой прием поис-
ка неисправностей в программе (не только в
этой). Иногда программа, хотя и компилиру-
ется без ошибок, при запуске выдает сооб-
щение Segmentation fault и завершается. Для
нашего примера, если программа работает
некорректно, запустите исполняемый файл
ip на отладку командой gdb ip. В командной
строке отладчика наберите run и изучите
информацию, которую выдаст отладчик. Он
укажет место, где программа аварийно за-
вершилась, и Вам останется только устра-
нить неисправность. Если все в порядке, то
перекомпилируйте программу с ключем -s.
В следующей статье мы рассмотрим, как
можно передать принятый пакет, создав, тем
самым, простейший шлюз.
сети
СКАНЕР ПОРТОВ:
ПРИМЕР
РЕАЛИЗАЦИИ
Введение
Подавляющее большинство сете-
вых служб использует при работе про-
токол TCP. Согласно модели OSI, ТСР
является протоколом транспортного
уровня. Он обеспечивает надежное
двунаправленное соединение между
двумя процессами; данные передают-
ся в обоих направлениях без ошибок,
пакеты не теряются и не дублируют-
ся, последовательность передачи дан-
ных не нарушается.
72
Процесс, получающий или отправ-
ляющий данные, идентифицируется
на этом уровне номером, который на-
зывается номером порта, или просто
портом. Другими словами, порт опре-
деляет сетевую службу, которой пред-
назначен пакет.
Для возможности установления
соединения с какой-либо сетевой
службой соответствующий ей порт
должен быть открыт, или, выражаясь
терминологией TCP-соединения, на-
ВЛАДИМИР МЕШКОВ
ходится в состоянии LISTEN (прослу-
шиваться). Быстро определить состо-
яние порта позволяет специальное
программное обеспечение - сканер
портов.
Сканирование портов выполняет-
ся, как правило, для того, чтобы най-
ти на узле службу, уязвимую с точки
зрения безопасности сети. Это свое-
го рода разведка, которая может осу-
ществляться как администратором
сети, так и злоумышленником.

Целью данной статьи является
описание принципов функционирова-
ния и внутреннего устройства просто-
го сканера портов TCP протокола.
Порядок установления
TCP соединения
Для понимания принципа работы
сканера необходимо знать, каким об-
разом устанавливается TCP соедине-
ние.
При установлении соединения за-
действуются поля «Порядковый но-
мер» (SEQ), «Номер подтверждения»
(ACK-SEQ), флаги SYN, ACK и RST
заголовка TCP-пакета. Флаг SYN яв-
ляется флагом синхронизации. Он
используется при установлении со-
единения и устанавливает начальный
порядковый номер, используемый для
последующей передачи данных. Флаг
ACK указывает на то, что поле номе-
ра подтверждения содержит досто-
верные данные. Флаг RST использу-
ется для сброса соединения.
Соединение устанавливается в 3
этапа:
n инициатор соединения (клиент)
формирует SYN-пакет (TCP-пакет
с установленным флагом SYN), за-
полняет поле SEQ и передает па-
кет серверу;
n если порт, на который пришел зап-
рос на соединение, открыт, сервер
формирует SYN|ACK-пакет, запол-
няет поля SEQ, ACK-SEQ и пере-
дает пакет клиенту. Значение поля
ACK-SEQ равно значению поля
SEQ из пакета клиента, увеличен-
ному на 1 (т.е. ACK-SEQ-сервера
= SEQ-клиента + 1). Если порт зак-
рыт, клиенту отправляется RST-
пакет;
n получив SYN|ACK-пакет, клиент
проверяет поле ACK-SEQ и высы-
лает серверу ACK-пакет. После
этого соединение считается уста-
новленным и переходит в фазу
обмена данными между клиентом
и сервером.
Методы сканирования
Существует достаточно большое
число методов сканирования, каждый
из которых имеет свои преимущества
и, соответственно, недостатки. Под-
робнее о каждом из них можно про-
№1, октябрь 2002
сети
читать в статье «NESSUS - современ- добятся следующие header-файлы:
ный анализ безопасности, методы
сканирования»(http://www.hack #include <stdio.h>
#include <stdlib.h>
zone.ru/articles/nessus.htm#scan), а #include <errno.h>
также в документации на сканер #include <sys/types.h>
#include <sys/socket.h>
Nmap (http://www.insecure.org/nmap). #include <sys/ioctl.h>
Мы рассмотрим один из методов - #include <linux/in.h>
#include <linux/ip.h>
SYN-сканирование. Этот метод часто #include <linux/tcp.h>
называют half-open (полуоткрытым) #include <linux/if.h>
#include <linux/if_ether.h>
сканированием, т.к. полное TCP-со-
единение с портом сканируемой ма- структуры:
шины не устанавливается. Суть дан- struct ifreq *ifr - ñòðóêòóðà äëÿ
ного метода заключается в следую- õðàíåíèÿ ïàðàìåòðîâ ñåòåâîãî èíòåðôåéñà
щем. Вы посылаете TCP-пакет с ус- struct iphdr *ih - ñòðóêòóðà, ñîäåð-
æàùàÿ çàãîëîâîê IP-ïàêåòà
тановленным флагом SYN, как если sturct tcphdr *th - ñòðóêòóðà, ñîäåð-
бы собирались установить реальное æàùàÿ çàãîëîâîê TCP-ïàêåòà
struct sockaddr_in local - ñòðóêòóðà,
соединение с выбранным портом, и ñîäåðæàùàÿ àäðåñíóþ èíôîðìàöèþ î ëîêàëü-
ожидаете ответ. Принятый пакет с ус- íîé ñèñòåìå
struct sockaddr_in dest - ñòðóêòóðà,
тановленными флагами SYN и ACK ñîäåðæàùàÿ àäðåñíóþ èíôîðìàöèþ îá óäà-
указывает на то, что выбранный порт ëåííîé ñèñòåìå
struct p_header {
открыт и ожидает соединения. Флаг u_long s_addr;
RST означает обратное. Если получен u_long d_addr;
u_char zer0;
SYN|ACK-пакет, следует немедленно u_char protocol;
отправить пакет с флагом RST для u_int lenght;
}
сброса соединения, хотя реально за *pseudo - ïñåâäîçàãîëîâîê. Íåîáõî-
вас это сделает ядро. Преимуществом äèì ïðè ðàñ÷åòå êîíòðîëüíîé ñóììû TCP-
ïàêåòà (âçÿò èç èñõîäíûõ òåêñòîâ ñêàíå-
данной технологии является отсут- ðà Nmap)
ствие в log-файлах сканируемой ма-
шины записей о попытках установле- и переменные:
ния соединения с ней. Недостаток -
необходимость наличия прав root для int fd - äåñêðèïòîð âñïîìîãàòåëüíîãî
ñîêåòà
формирования SYN-пакета. e0_s- äåñêðèïòîð ñîêåòà äëÿ ïåðåäà÷è
e0_r- äåñêðèïòîð ñîêåòà äëÿ ïðèåìà
sent- ÷èñëî ïåðåäàííûõ áàéò
Пример реализации rec- ÷èñëî ïðèíÿòûõ áàéò
сканера port- íîìåð ñêàíèðóåìîãî ïîðòà
index- èíäåêñ èíòåðôåéñà, ÷åðåç êîòî
ðûé îñóùåñòâëÿåòñÿ ñêàíèðîâàíèå.
Приведенный ниже код был разра- u_char *packet- ïàêåò, ïåðåäàâàåìûé â
ñåòü.
ботан и протестирован в ОС GNU/
Linux, дистрибутив Slackware 7.1, ком-
пилятор gcc-2.95.2. Сокет для передачи
Алгоритм реализации следующий:
n определить необходимые пере- Дескриптор сокета для передачи
менные и заголовочные файлы; получим при помощи функции
n создать сокеты для приема и пе- getsock_send, приведенной ниже.
редачи пакетов;
n сформировать SYN-пакет и отпра- Необходимые заголовочные файлы:
вить его сканируемому хосту; #include <errno.h>
n принять ответный пакет и проана- #include <sys/types.h>
#include <sys/socket.h>
лизировать состояние флагов #include <linux/in.h>
SYN, ACK, RST; #include <linux/if.h>
#include <linux/if_ether.h>
n сделать вывод о статусе проверя- int getsock_send ( char *intf)
емого порта. - âûçîâ ôóíêöèè
Заголовочные файлы и Функция getsock_send принимает
переменные строковое значение (имя интерфейса)
и возвращает дескриптор сокета в
Заголовочные файлы и перемен- случае положительного завершения
ные разместим в файле, который на- или -1, если произошла ошибка.
зовем scan.h. Для работы нам пона-
73
сети
Переменные:
int fd - äåñêðèïòîð ñîêåòà
const int on=1 - ôëàã âêëþ÷åíèÿ çàãî-
ëîâêà (ñì. íèæå)
struct ifreq ifr - ñòðóêòóðà äëÿ õðà-
íåíèÿ ïàðàìåòðîâ ñåòåâîãî èíòåðôåéñà.
Сокет создадим следующим сис-
темным вызовом:
if (( fd = socket ( AF_INET,
SOCK_RAW, htons(ETH_P_IP) )) < 0 ) {
perror ( «socket» );
return (-1);
}
В данном и последующих вызовах
мы будем включать код, обрабатыва-
ющий возможные ошибки. Комменти-
ровать его особого смысла нет, и так
все понятно, надеюсь.
Сокеты типа SOCK_RAW (RAW-
сокеты) домена AF_INET удобны тем,
что позволяют получить непосред-
ственный доступ к служебным полям
протокола TCP/IP, в отличии от типов
SOCK_STREAM и SOCK_DGRAM (для
TCP и UDP соединений, соответствен-
но). Существуют также пакетные со-
кеты, о которых я рассказывал в ста-
тье «Анализатор сетевого траффи-
ка», на них мы сейчас останавливать-
ся не будем.
Так как формировать пакеты мы
будем вручную, то необходимо в оп-
циях сокета указать данный факт.
Делается это при помощи системно-
го вызова setsockopt следующим об-
разом:
if ( setsockopt ( fd, IPPROTO_IP,
IP_HDRINCL, ( const void *) &on, sizeof
( on ) ) < 0 ) {
perror ( «setsockopt
IP_HDRINCL» );
close ( fd );
return ( -1 );
}
Опция IP_HDRINCL является опци-
ей протокола IP, поэтому параметр
level вызова setsockopt равен
IPPROTO_IP. Если опция IP_HDRINCL
установлена, приложение строит и
вставляет в исходящий пакет полный
IP заголовок. Данная опция включа-
ется ненулевым значением (const int
on=1).
Поскольку мы собираемся рабо-
тать через определенный интерфейс,
необходимо осуществить привязку
сокета к выбранному интерфейсу. Для
этой цели также используется систем-
ный вызов setsockopt:
sprintf ( ifr.ifr_name, «%s», intf );
74
if ( setsockopt ( fd, SOL_SOCKET,
SO_BINDTODEVICE, (void *)&ifr, sizeof
(ifr)) <0 ) {
perror ( « SO_BINDTODEVICE»
);
close ( fd );
return ( -1 );
}
Опция SO_BINDTODEVICE являет-
ся опцией сокета, параметр level вы-
зова setsockopt принимает значение
SOL_SOCKET.
Опция SO_BINDTODEVICE исполь-
зует экземпляр структуры ifreq. Вызов
setsockopt считывает из буфера дан-
ной структуры имя интерфейса, при
помощи которого будут обслуживать-
ся все доступы к рассматриваемому
сокету. Поэтому вначале мы заполня-
ем соответствующее поле структуры
ifreq именем интерфейса, который
был передан как параметр функции
getsock_send.
Если все успешно, возвращаем в
главную функцию дескриптор сокета:
return ( fd ).
Сокет для приема
Дескриптор сокета для приема
получим при помощи функции
getsock_recv (пример данной функции
был рассмотрен ранее в статье «Ана-
лизатор сетевого траффика»).
Заголовочные файлы:
#include <sys/types.h>
#include <sys/socket.h>
#include <errno.h >
#include <linux/if_packet.h>
#include <linux/if_ether.h>
int getsock_recv (int index)
- âûçîâ ôóíêöèè
Функция getsock_recv принимает в
качестве параметра индекс интер-
фейса и возвращает дескриптор со-
кета.
Дескриптор сокета:
int fd;
Структура для хранения адресной
информации об интерфейсе (см. файл
<linux/if_packet.h>):
struct sockaddr_lls_ll;
Создадим пакетный сокет:
if (( fd= socket (SOCK_PACKET,
SOCK_DGRAM, htons (ETH_P_ALL) )) <0 )
{ }
perror ( «socket» );
return ( - 1 );
}
Пакетный сокет имеет тип
SOCK_DGRAM. Это означает, что за-
головок физического уровня (MAC-
адрес в случае Ethernet) будет отбро-
шен при приеме.
Выделим память для структуры
struct sockaddr_ll s_ll:
memset (&s_ll, 0, sizeof (struct
sockaddr_ll));
Заполним поля структуры s_ll не-
обходимыми значениями:
s_ll.sll_family = PF_PACKET;
- òèï ñîêåòà
s_ll.sll_protocol = htons
(ETH_P_ALL); - òèï ïðèíèìàåìîãî ïðî-
òîêîëà
s_ll.sll_ifindex = index;
- íîìåð èíòåðôåéñà
s_ll.sll_pkttype = PACKET_HOST;
- òèï ïàêåòà (äëÿ ëîêàëüíîé ìàøèíû)
Для получения пакетов только с
определенного интерфейса использу-
ется функция bind: таким образом мы
соединяем пакетный сокет с интер-
фейсом, номер которого указан в
структуре struct sockaddr_ll s_ll.
Привяжем сокет к интерфейсу:
if ((bind (fd, (struct sockaddr *)
&s_ll, sizeof (struct sockaddr_ll)) <0
) {
perror («bind»);
close (fd);
return (-1);
}
Возвратим дескриптор сокета в
вызывающую функцию:
return (fd)
Главная функция
#include «scan.h» - ôàéë ñ ïåðåìåííû-
ìè è header-ôàéëàìè
int main ( int argc, char *argv [ ] )
- âûçîâ ãëàâíîé ôóíêöèè
Главной функции мы передаем два
параметра: IP-адрес сканируемого
хоста (аргумент argv[1]) и номер пор-
та (аргумент argv[2]). Обработкой
ошибочного ввода параметров будет
заниматься функция usage ():
void usage () {
printf ( « \n scan [ dest_IP ] [
dest_port ] \n» );
return;
Первое, что необходимо сделать

при запуске программы, это прове-
рить, все ли необходимые параметры
указаны:
if ( argc != 3 ) {
usage ();
exit ( 1 );
} pseudo -> protocol = 6;
Преобразуем введенные строко-
вые значения адреса и порта в сете-
вой формат и заполним адресную
структуру удаленной системы:
port = atoi ( argv [2] );
memset ( &dest, 0, sizeof ( struct
sockaddr_in ));
dest.sin_addr.s_addr = inet_ntoa ( argv
[1] );
dest.sin_port = htons ( port );
Тоже самое проделаем для ло-
кального хоста.
memset ( &local, 0, sizeof ( struct
sockaddr_in ));
Получим IP-адрес интерфейса и
занесем его в адресную структуру
local:
fd = socket ( AF_INET, SOCK_DGRAM, 0
);
sprintf ( ifr -> ifr_name, «%s»,
«eth0»);
octl ( fd, SIOCGIFADDR, ifr );
memcpy (( char *) &local, ( char *)&(
ifr -> ifr_addr ), sizeof ( struct
sockaddr ));
local.sin_port = htons (53);
Получим индекс интерфейса:
ioctl ( fd, SIOCGIFINDEX, ifr );
index = ifr -> ifindex;
Выделим память для хранения
данных, передаваемых и принимае-
мых из сети. Пакет будет состоять
только из заголовков IP и TCP прото-
колов.
packet = ( u_char * )malloc( sizeof (
struct iphdr ) + sizeof ( struct tcphdr
));
Внутри общего пакета разместим
служебные заголовки IP и TCP прото-
колов, а также псевдозаголовок.
in = ( struct iphdr * ) packet;
th = ( struct tcphdr * ) (packet +
sizeof ( struct iphdr ));
pseudo = (struct p_header *) ( packet
+ sizeof ( struct iphdr) - sizeof ( struct
p_header ));
Заполним поля псевдозаголовка
необходимыми значениями.
memset ( pseudo, 0, sizeof ( struct
№1, октябрь 2002
сети
p_header )); - îáíóëèì ñòðóêòó- printf ( «IP-àäðåñ íàçíà÷åíèÿ \t -\t
ðó %s \n «, inet_ntoa ( ih -> daddr ));
pseudo -> s_addr = printf ( «IP-àäðåñ èñòî÷íèêà \t -
local.sin_addr.s_addr; - \t %s \n «, inet_ntoa ( ih -> saddr ));
àäðåñ ëîêàëüíîãî õîñòà printf ( «Ïîðò íàçíà÷åíèÿ \t \t -
pseudo -> d_addr = \t %d \n «, ntohs ( th -> dest ));
dest.sin_addr.s_addr; - printf ( «Ïîðò èñòî÷íèêà \t\t - \t
àäðåñ óäàëåííîãî õîñòà %d \n «, ntohs ( th -> source ));
- ïðîòîêîë (TCP)
pseudo -> lenght = htons ( sizeof Создадим сокеты для передачи и
( struct tcphdr )); - äëèíà ïñåâäîçàãî-
ëîâêà приема пакетов.
Сформируем TCP заголовок. if (( e0_s = getsock_send ( «eth0» ))
< 0 ) {
perror ( «getsock_send» );
memset ( th, 0, sizeof ( struct tcphdr exit ( 1 );
)); - îáíóëèì ñòðóêòóðó }
th -> source = local.sin_port; -
ëîêàëüíûé ïîðò if (( e0_r = getsock_recv ( index
th -> dest = dest.sin_port; )) < 0 ) {
- óäàëåííûé ïîðò perror ( «getsock_recv» );
th -> seq = htonl ( 1156270349 ); exit ( 1 );
- íà÷àëüíûé ïîðÿäêîâûé íîìåð }
th -> ack_seq = 0; -
íîìåð ïîäòâåðæäåíèÿ Передадим сформированный
th -> doff = 5; -
äëèíà çàãîëîâêà ( â 32-õ ðàçðÿäíûõ ñëî- SYN-пакет хосту назначения.
âàõ )
th -> syn = 1; - dest.sin_family = AF_INET;
óñòàíîâèòü ôëàã SYN sent = sendto ( e0_s, (char *)
th -> window = htons ( 3072 ); - packet, ntohs ( ih -> tot_len), 0, (
ðàçìåð îêíà struct sockaddr *)&dest,
th -> check = 0; - sizeof (struct
îáíóëèòü ïîëå êîíòðîëüíîé ñóììû sockaddr_in));
th -> check = in_cksum (( u_short if ( sent <= 0 ) {
*)pseudo, sizeof ( struct tcphdr) + sizeof perror ( «sendto» );
( struct p_header)); exit ( 1 );
}
printf ( «\n Ïåðåäàíî %d áàéò \n»,
Алгоритм расчета контрольной sent );
суммы для заголовков TCP и IP оди-
наковый и будет изложен ниже. Примем ответ на наш запрос. При-
Сформируем IP заголовок. ем будем осуществлять в бесконеч-
ном цикле, каждый раз обнуляя при-
memset ( ih, 0, sizeof ( struct iphdr емный буфер.
)); - îáíóëèì ñòðóêòóðó
ih -> version = 4;
- âåðñèÿ ïðîòîêîëà for ( ; ; ) {
ih -> ihl = 5; -
äëèíà çàãîëîâêà (÷èñëî 32-õ áèòíûõ ñëîâ) bzero ( packet, sizeof (packet));
ih -> tot_len = htons (sizeof rec = 0;
(struct iphdr)+sizeof(struct tcphdr));
- äëèíà ïàêåòà rec = recvfrom ( e0_r, (char *)
ih -> id = 3290; packet, sizeof ( struct iphdr ) + sizeof
- ïîðÿäêîâûé íîìåð ïàêåòà (èäåíòèôèêà- ( struct tcphdr ),
öèÿ) 0, NULL,
ih -> ttl = 42; NULL );
- âðåìÿ æèçíè if ( rec <0 || rec > 1500 ) {
ih -> protocol = 6; perror ( «recvfrom» );
- òðàíñïîðòíûé ïðîòîêîë (TCP) exit ( 1 );
ih -> saddr = }
local.sin_addr.s_addr; - ëîêàëüíûé
àäðåñ Число 1500 определяет макси-
ih -> daddr = dest.sin_addr.s_addr;
- óäàëåííûé àäðåñ мальный размер MTU для сети
ih -> check = in_cksum (( u_short Ethernet. Больше этого значения в
*) ih, sizeof (struct iphdr )); -
êîíòðîëüíàÿ ñóììà одном пакете принять мы не можем,
и любое превышение данного преде-
Некоторые поля заголовков (на- ла трактуется как ошибка.
пример, поле «Начальный порядко- Теперь займемся анализом приня-
вый номер» TCP заголовка и поле того пакета.
«Идентификация» заголовка IP) были Для начала проверим соответ-
выбраны совершенно произвольно, ствие версии протокола IP. Поле
т.к. в данном случае эти значения ни «Версия» должно содержать 4. Если
на что не влияют. это не так (к нам мог поступить ARP-
Отобразим для контроля имеющу- запрос, который мы не собираемся
юся адресную информацию: обрабатывать), то принятый пакет от-
75
сети
брасывается и продолжается ожида- Контрольная сумма Makefile
ние:
Расчет контрольной суммы выпол- Для сборки выполняемого модуля
if (( ih -> version ) != 4 ) continue; няет следующая функция: создадим Makefile следующего содер-
жания:
Также мы не будем обрабатывать #include < linux/types.h >
__u16 in_cksum ( __u16 *ptr, int CC = gcc
IP-пакеты, отправителем которых не nbytes ) name = scan
является сканируемый хост: { SCAN = scan.o checksum.o
register __u32 sum; getsock_send.o getsock_recv.o
__u16 oddbyte; $( name ) : $( SCAN )
if (( ih -> saddr != register __u16 answer; $( CC ) -g -o $( name ) $(
dest.sin_addr.s_addr ) continue; NAME )
sum = 0; scan.o : scan.c
и если транспортный протокол не есть while ( nbytes > 1 ) { $( CC ) -c scan.c
sum += *ptr ++; checksum.o : checksum.c
TCP: nbytes -= 2; $( CC ) -c checksum.c
} getsock_send.o : getsock_send.c
$( CC ) -c getsock_send.c
if (( ih -> protocol != 6 ) continue; if ( nbytes == 1 ) { getsock_recv.o : getsock_recv.c
oddbytes = 0; $( CC ) -c getsock_recv.c
* (( unsigned char clean:
Если принятый пакет соответству- *) &oddbyte ) = * (unsigned char *) ptr; rm -f *.o
ет всем условиям, то нам останется sum += oddbyte;
}
только отобразить результаты: Для получения исполняемого мо-
sum = ( sum >> 16 ) + ( sum дуля достаточно ввести команду
printf ( «Ïðèíÿòî %d áàéò \n \n «, rec ); & 0xFFFF);
printf ( «%s \t -> \t « , inet_ntoa ( ih sum += (sum >> 16 ); make. После этого в каталоге, где раз-
->saddr )); answer=~sum; мещены файлы программы, появить-
printf ( «%s \t \n \n «, inet_ntoa ( ih - return (answer);
> daddr )); } ся файл scan. При запуске в команд-
printf ( «Âåðñèÿ \t \t \t = %d \n», ih - ной строке модуля необходимо ука-
> version );
printf ( «Äëèíà çàãîëîâêà \t \t = %d \n», Код для расчета контрольной сум- зать IP-адрес сканируемого хоста и
ih -> ihl ); мы взят из исходных текстов сканера номер проверяемого порта.
printf ( «Äëèíà ïàêåòà \t \t= %d \n»,
ntohs (ih -> tot_len )); Nmap, поэтому приводится без ком- Вот в принципе и все.
printf ( «Èäåíòèôèêàòîð \t \t = %d \n», ментариев. Порядок расчета конт- Обо всех замечаниях и пожелани-
ih -> id );
printf ( «Âðåìÿ æèçíè \t \t = %d \n», ih рольной суммы изложен в RFC 1071. ях пишите на ubob@mail.ru.
-> ttl );
printf ( «Ïðîòîêîë \t \t = %d \n», ih ->
protocol );
printf ( «Êîíòðîëüíàÿ ñóììà IP \t= %d
\n», ih -> check );
printf ( «Ïîðò èñòî÷íèê \t \t = %d \n»,
ntohs ( th -> source ));
printf ( «Ïîðò íàçíà÷åíèÿ \t \t = %d \n»,
ntohs ( th -> dest ));
printf ( «Êîíòðîëüíàÿ ñóììà TCP \t = %d
\n», th->check);
printf ( «SEQ \t \t \t = %lu \n», ntohl (
th -> seq ));
printf ( «ACK-SEQ \t \t \t = %lu \n»,
ntohl ( th -> ack_seq ));
if ( th -> syn == 1 ) printf ( «Ôëàã SYN
óñòàíîâëåí \n» );
if ( th -> ack == 1 ) printf ( «Ôëàã ACK
óñòàíîâëåí \n» );
if ( th -> fin == 1 ) printf ( «Ôëàã FIN
óñòàíîâëåí \n» );
if ( th -> rst == 1 ) printf ( «Ôëàã RST
óñòàíîâëåí \n» );
if ( th -> psh == 1 ) printf ( «Ôëàã PUSH
óñòàíîâëåí \n» );
if ( th -> urg == 1 ) printf ( «Ôëàã URG
óñòàíîâëåí \n» );
if (( th -> syn == 1 )&&(th->ack==1))
printf («Ïîðò %d îòêðûò \n», ntohs (th -
> source ));

Здесь все предельно ясно. После

этого мы прерываем цикл приема па-
кетов и выходим из программы.
break;
}
return (1); }

Сброс соединения возложим на

ядро.

76

Можно ли
скомпилировать из Perl
исполняемый файл?
Вы можете воспользоваться про-
граммой Perl2Exe. Это утилита для
преобразования Perl сценариев в
выполняемые файлы, не требую-
щие присутствия интерпретатора
языка Perl.
Perl2Exe может сгенерировать
модули для Win32 и многих клонов
Unix.
Perl2Exe также позволяет Вам
создавать не консольные програм-
мы, с использованием Tk.
ht tp://www.indigostar.com/
perl2exe.htm — разработчик —
IndigoSTAR Software.
Еще один продукт IndigoSTAR
Software — SendMail for
Windows(TM) — Windows версия по-
пулярной программы Unix Sendmail.
Она позволяет отправлять сообще-
ний из командной строки, CGI сце-
нария или BAT-файла.
Proc::Background —
Общий ли для Unix и
Win32 интерфейс
управление фоновыми
процессами?
Это общий интерфейс для уп-
равления фоновыми процессами
как на Unix, так и на Win32 плат-
формах. Модуль позволяет Вам за-
пускать и завершать фоновые про-
цессы, получать выходные данные
и отслеживать состояние фоновых
процессов.
P.S. Рекомендую при использо-
вании под Win32 брать архив со
CPAN и посмотреть прилагаемые
примеры и скрипты.
Proc::Background — http://
search.cpan.org/search?dist=Proc-
Background
№1, октябрь 2002
FAQ PERL
Как можно Как удалить дерево
стандартизировать каталогов?
(оформить в виде
процедуры) получение В «Perl Cookbook» by Tom
выборки из БД, чтобы Christiansen and Nathan Torkington,
получать набор записей O’Reilly («Библиотека программис-
с именованными та: Perl», издательство «Питер»),
полями? приводится два примера рекурсив-
ного удаления каталога вместе с
Это можно сделать так: его содержимым. В одном исполь-
зуется функция finddepth из моду-
sub QueryArrayOfHashes ля File::Find, во втором - функция
my ($DB, $query) = @_; rmtree из File::Path.
my ($result,$data_hash,@items,$key, Вот еще один способ:
$val,%hash);
$result = $DB->prepare($query); # в качестве параметров скрипт
$result->execute or return;
while ($data_hash=$result- принимает
>fetchrow_hashref) # список директорий для удале-
%hash=%$data_hash; ния
push @items,{%hash};
} die «usage: $0 <dir1> [<dir2> ...
$result->finish;
@items; <dirN>]\n» unless @ARGV;
} foreach $path (@ARGV) {
del_folder($path);
Комментарии: }
$data_hash - ññûëêà íà õýø sub del_folder {
my $dir=shift;
%$data_hash == %{$data_hash} - ïîëó- return 0 unless $dir;
÷åíèå ñàìîãî õýøà èç ññûëêè my (@dirs,@files,$filename,
{%hash} = ðàçèìåíîâàííûé õýø - ÷òîá
ïîëó÷èëñÿ ìàññèâ õýøåé, à íå ïðîñòî îäèí $newdir,$list);
ìàññèâ opendir(DIR,$dir) or (warn «Can’t
@items â äàííîì ñëó÷àå == return @items
rmdir $dir: $!» and return 0);
@dirs=grep {!(/^\./) && -d «$dir/
Ïðèìåð èñïîëüçîâàíèÿ: $_»} readdir(DIR);
use DBI;
... rewinddir(DIR);
@files=grep {!(/^\.(\.)?$/) && -f
$dbh=DBI->connect(“DBI:mysql:mysql: «$dir/$_»}
localhost”, $user, $password,
{RaiseError => 1}) readdir(DIR);
closedir (DIR);
or die «connecting : $DBI::errstr\n»;
@res = QueryArrayOfHashes($dbh, «select for $list(0..$#dirs) {
user, password from user»);
for ($i=0; $i<=$#res; $i++) { $newdir=$dir.»/».$dirs[$list];
del_folder($newdir);
print «\n[Record #$i]::\n»; }
foreach $key (sort keys
%{$res[$i]}) { for $list(0..$#files) {
$filename=$dir.»/».$files[$list];
# çàïèñü âèäà $a[1]{b} ýêâèâàëåí- unlink $filename or (warn «Can’t
òíà $a[1]->{b}
print $key, «\t», $res[$i]{$key}, unlink $filename: $!» and next);
}
«\n»; rmdir $dir or (warn «Can’t rmdir $dir:
}
} $!» and return 0);
return 1;
}
$dbh->disconnect;
по материалам www.xpoint.ru
составил Дмитрий Горяинов
77
ПРОГРАММИРОВАНИЕ
СОКЕТОВ ВСЕВОЛОД СТАХОВ

Подавляющее большинство сетевых
серверных программ организовано с
использованием сокетов. По сути дела,
сокеты аналогичны файловым дескрипторам
с одним очень важным отличием - сокеты
служат для общения между приложениями
либо в сети, либо на локальной машине.
Таким образом, для программиста нет
проблемы с доставкой данных, за него это
делают сокеты. Необходимо только
позаботиться о том, чтобы параметры
сокетов у двух приложений совпадали.
сети
Таким образом, сетевые сокеты представляют собой
парные структуры, жёстко между собой синхронизиро-
ванные. Для создания сокетов в любой операционной
системе, поддерживающей их, используется функция
socket (к счастью, сокеты достаточно стандартизиро-
ваны, поэтому их можно использовать для передачи
данных между приложениями, работающими на разных
платформах). Формат функции таков:
int socket(int domain, int type, int protocol);
Параметр domain задаёт тип транспортного прото-
кола, т.е. протокола доставки пакетов в сети. В настоя-
щее время поддерживаются следующие протоколы (но
учтите, что для разных типов протокола тип адресной
структуры будет разный):
PF_UNIX èëè PF_LOCAL Ëîêàëüíàÿ êîììóíèêàöèÿ äëÿ ÎÑ
Unix(è ïîäîáíûõ)
PF_INET IPv4, ip ïðîòîêîë Internet, íàè-
áîëåå ðàñïðîñòðàí¸í ñåé÷àñ(32-õ
áèòíûé àäðåñ)
PF_INET6 IPv6, ñëåäóþùåå ïîêîëåíèå ïðîòî-
êîëà ip(IPng) - 128 áèòíûé àäðåñ
PF_IPX IPX - ïðîòîêîëû Novell
Поддерживаются и другие протоколы, но эти 4 явля-
ются самыми популярными.
Параметр type означает тип сокета, т.е. то, как бу-
дут передаваться данные: обычно применяется констан-
та SOCK_STREAM, её использование означает безопас-
ную передачу данных двунаправленным потоком с кон-
тролем ошибок. При таком способе передачи данных
программисту не приходится заботиться об обработке
ошибок сети, хотя это не уберегает от логических оши-
бок, что актуально для сетевого сервера.
Параметр protocol определяет конкретный тип про-
токола для данного domain, например IPPROTO_TCP
или IPPROTO_UDP (параметр type должен в данном
случае быть SOCK_DGRAM).
Функция socket просто создаёт конечную точку и воз-
вращает дескриптор сокета; до того, как сокет не со-
единён с удалённым адресом функцией connect, дан-
ные через него пересылать нельзя! Если пакеты теря-
ются в сети, т.е. произошло нарушение связи, то при-
ложению, создавшему сокет, посылается сигнал Broken
Pipe — SIGPIPE, поэтому целесообразно присвоить об-
работчик данному сигналу функцией signal. После того,
как сокет соединён с другим функцией connect, по нему
можно пересылать данные либо стандартными функ-
циями read — write, либо специализированными recv —
send. После окончания работы сокет надо закрыть фун-
кцией close. Для создания клиентского приложения до-
статочно связать локальный сокет с удалённым (сер-
верным) функцией connect. Формат этой функции та-
кой:
int connect(int sock_fd, const struct *sockaddr serv_addr,
socketlen_t addr_len);
При ошибке функция возвращает -1, статус ошибки
79
сети
можно получить средствами операционной системы.
При успешной работе возвращается 0. Сокет, однажды
связанный, чаще всего не может быть связан снова, так,
например, происходит в протоколе ip. Параметр sock_fd
задаёт дескриптор сокета, структура serv_addr назна-
чает удалённый адрес конечной точки, addr_len содер-
жит длину serv_addr (тип socketlen_t имеет историчес-
кое происхождение, обычно он совпадает с типом int).
Самый важный параметр в этой функции — адрес уда-
лённого сокета. Он, естественно, неодинаков для раз-
ных протоколов, поэтому я опишу здесь структуру ад-
реса только для ip(v4) протокола. Для этого использу-
ется специализированная структура sockaddr_in (её не-
обходимо прямо приводить к типу sockaddr при вызове
connect). Поля данной структуры выглядят следующим
образом:
struct sockaddr_in{
sa_family_t sin_family;
— îïðåäåëÿåò ñåìåéñòâî àäðåñîâ, âñåãäà äîëæíî áûòü AF_INET
u_int16_t sin_port;
— ïîðò ñîêåòà â ñåòåâîì ïîðÿäêå áàéò
struct in_addr sin_addr;
— ñòðóêòóðà, ñîäåðæàùàÿ ip àäðåñ
};
Ñòðóêòóðà, îïèñûâàþùàÿ ip-àäðåñ:
struct in_addr{
u_int32_t s_addr;
— ip àäðåñ “ñîêåòà â ñåòåâîì ïîðÿäêå áàéò
};
Обратите внимание на особый порядок байт во всех
целых полях. Для перевода номера порта в сетевой по-
рядок байт можно воспользоваться макросом htons
(unsigned short port). Очень важно использовать имен-
но этот тип целого — беззнаковое короткое целое.
Адреса IPv4 делятся на одиночные, широковеща-
тельные (broadcast) и групповые (multicast). Каждый
одиночный адрес указывает на один интерфейс хоста,
широковещательные адреса указывают на все хосты в
сети, а групповые адреса соответствуют всем хостам
в группе (multicast group). В структуре in_addr можно
назначать любой из этих адресов. Но для сокетных кли-
ентов в подавляющем большинстве случаев присваи-
вают одиночный адрес. Исключением является тот слу-
чай, когда необходимо просканировать всю локальную
сеть в поисках сервера, тогда можно использовать в
качестве адреса широковещательный. Затем, скорее
всего, сервер должен сообщить свой реальный ip ад-
рес и сокет для дальнейшей передачи данных должен
присоединяться именно к нему. Передача данных че-
рез широковещательные адреса не есть хорошая идея,
так как неизвестно, какой именно сервер обрабатыва-
ет запрос. Поэтому в настоящее время сокеты, ориен-
тированные на соединение, могут использовать лишь
одиночные адреса. Для сокетных серверов, ориентиро-
ванных на прослушивание адреса, наблюдается другая
ситуация: здесь разрешено использовать широковеща-
тельные адреса, чтобы сразу же ответить клиенту на
запрос о местоположении сервера. Но обо всём по по-
рядку. Как вы заметили, в структуре sockaddr_in поле
ip адреса представлено как беззнаковое длинное це-
лое, а мы привыкли к адресам либо в формате x.x.x.x
80
(172.16.163.89) либо в символьном формате
(myhost.com). Для преобразования первого служит фун-
кция inet_addr (const char *ip_addr), а для второго — фун-
кция gethostbyname (const char *host). Рассмотрим обе
из них:
u_int32_t inet_addr(const char *ip_addr)
— возвращает сразу же целое, пригодное для исполь-
зования в структуре sockaddr_in по ip адресу, передан-
ному ей в формате x.x.x.x. При возникновении ошибки
возвращается значение INADDR_NONE.
struct HOSTENT* gethostbyname(const char *host_name)
— возвращает структуру информации о хосте, исходя
из его имени. В случае неудачи возвращает NULL. По-
иск имени происходит вначале в файле hosts, а затем в
DNS. Структура HOSTENT предоставляет информацию
о требуемом хосте. Из всех её полей наиболее значи-
тельным является поле char **h_addr_list, представля-
ющее список ip адресов данного хоста. Обычно исполь-
зуется h_addr_list[0], представляющая первый ip адрес
хоста, для этого можно также использовать выражение
h_addr. После выполнения функции gethostbyname в
списке h_addr_list структуры HOSTENT оказываются
простые символические ip адреса, поэтому необходи-
мо воспользоваться дополнительно функцией inet_addr
для преобразования в формат sockaddr_in.
Итак, мы связали клиентский сокет с серверным фун-
кцией connect. Далее можно использовать функции пе-
редачи данных. Для этого можно использовать либо
стандартные функции низкоуровневого ввода/вывода
для файлов, так как сокет — это, по сути дела файло-
вый дескриптор. К сожалению, для разных операцион-
ных систем функции низкоуровневой работы с файла-
ми могут различаться, поэтому надо посмотреть руко-
водство к своей операционной системе. Учтите, что пе-
редача данных по сети может закончиться сигналом
SIGPIPE, и функции чтения/записи вернут ошибку. Все-
гда нужно помнить о проверке ошибок, кроме того,
нельзя забывать о том, что передача данных по сети
может быть очень медленной, а функции ввода/вывода
являются синхронными, и это может вызвать существен-
ные задержки в работе программы.
Для передачи данных между сокетами существуют
специальные функции, единые для всех ОС — это фун-
кции семейства recv и send. Формат их очень похож:
int send(int sockfd, void *data, size_t len, int flags);
— îòïðàâëÿåò áóôåð data
int recv(int sockfd, void *data, size_t len, int flags);
— ïðèíèìàåò áóôåð data
Первый аргумент — дескриптор сокета, второй —
указатель на данные для передачи, третий — длина
буфера и четвёртый — флаги. В случае успеха возвра-
щается число переданных байт, в случае неудачи — от-
рицательный код ошибки. Флаги позволяют изменить

параметры передачи (например, включить асинхронный
режим работы), но для большинства задач достаточно
оставить поле флагов нулевым для обычного режима
передачи. При отсылке или приёме данных функции
блокируют выполнение программы до того, как будет
отослан весь буфер. А при использовании протокола
tcp/ip от удалённого сокета должен прийти ответ об ус-
пешной отправке или приёме данных, иначе пакет пе-
ресылается ещё раз. При пересылке данных учитывай-
те MTU сети (максимальный размер передаваемого за
один раз кадра). Для разных сетей он может быть раз-
ным, например, для сети Ethernet он равен 1500.
Итак, для полноты изложения приведу самый про-
стенький пример программы на Си, реализующей со-
кетного клиента:
#include <sys/socket.h>
/* Ñòàíäàðòíûå áèáëèîòåêè ñîêåòîâ äëÿ Linux */
#include <net/netinet.h>
/* Äëÿ ÎÑ Windows èñïîëüçóéòå #include<winsock.h> */
#include <stdio.h>
int main(){
int sockfd = -1;
/* Äåñêðèïòîð ñîêåòà */
char buf[128];
/* Óêàçàòåëü íà áóôåð äëÿ ïðè¸ìà */
char s[] = "Client ready\n";
/* Ñòðîêà äëÿ ïåðåäà÷è ñåðâåðó */
HOSTENT *h = NULL;
/* Ñòðóêòóðà äëÿ ïîëó÷åíèÿ ip àäðåñà */
sockaddr_in addr;
/* Còðóêòóðà tcp/ip ïðîòîêîëà */
unsigned short port = 80;
/* Çàïîëíÿåì ïîëÿ ñòðóêòóðû: */
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
sockfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP);
/* Ñîçäà¸ì ñîêåò */
if(sockfd == -1)
/* Ñîçäàí ëè ñîêåò */
return -1;
h = gethostbyname("www.myhost.com");
/* Ïîëó÷àåì àäðåñ õîñòà */
if(h == NULL)
/* À åñòü ëè òàêîé àäðåñ? */
return -1;
addr.sin_addr.s_addr = inet_addr(h->h_addr_list[0]);
/* Ïåðåâîäèì ip àäðåñ â ÷èñëî */
if(connect(sockfd, (sockaddr*) &addr, sizeof(addr)))
/* Ïûòàåìñÿ ñîåäèíèòñÿ ñ óäàë¸ííûì ñîêåòîì */
return -1;
/* Ñîåäèíåíèå ïðîøëî óñïåøíî - ïðîäîëæàåì */
if(send(sockfd, s, sizeof(s), 0) < 0)
/* Ïîñûëàåì óäàë¸ííîìó ñîêåòó ñòðîêó s */
return -1;
if(recv(sockfd, buf, sizeof(buf), 0) < 0)
/* Ïîëó÷àåì îòâåò îò óäàë¸ííîãî ñåðâåðà */
return -1;
printf("Recieved string was: %s", buf);
/* Âûâîä áóôåðà íà ñòàíäàðòíûé âûâîä */
close(sockfd);
/* Çàêðûâàåì ñîêåò */
/* Äëÿ Windows ïðèìåíÿåòñÿ ôóíêöèÿ closesocket(s) */
return 0;
} int accept(int sockfd, struct *sockaddr, socklen_t addr_len)
Вот видите, использовать сокеты не так трудно. В
серверных приложениях используются совершенно дру-
гие принципы работы с сокетами. Вначале создается
№1, октябрь 2002
сети
сокет, затем ему присваивается локальный адрес фун-
кцией bind, при этом можно присвоить сокету широко-
вещательный адрес. Затем начинается прослушивание
адреса функцией listen, запросы на соединение поме-
щаются в очередь. То есть функция listen выполняет
инициализацию сокета для приёма сообщений. После
этого нужно применить функцию accept, которая воз-
вращает новый, уже связанный с клиентом сокет. Обыч-
но для серверов характерно принимать много соедине-
ний через небольшие промежутки времени. Поэтому
нужно постоянно проверять очередь входящих соеди-
нений функцией accept. Для организации такого пове-
дения чаще всего прибегают к возможностям операци-
онной системы. Для ОС Windows чаще используется
многопоточный вариант работы сервера (multi-threaded),
после принятия соединения происходит создание ново-
го потока в программе, который и обрабатывает сокет.
В *nix системах чаще используется порождение дочер-
него процесса функцией fork. При этом накладные рас-
ходы уменьшены за счёт того, что фактически проис-
ходит копия процесса в файловой системе proc. При
этом все переменные дочернего процесса совпадают с
родителем. И дочерний процесс может сразу же обра-
батывать входящее соединение. Родительский же про-
цесс продолжает прослушивание. Учтите, что порты с
номерами от 1 до 1024 являются привилегированными
и их прослушивание не всегда возможно. Ещё один мо-
мент: нельзя, чтобы два разных сокета прослушивали
один и тот же порт по одному и тому же адресу! Для
начала рассмотрим форматы вышеописанных функций
для создания серверного сокета:
int bind(int sockfd, const struct *sockaddr, socklen_t
addr_len);
— присваивает сокету локальный адрес для обеспече-
ния возможности принимать входящие соединения. Для
адреса можно использовать константу INADDR_ANY, ко-
торая позволяет принимать входящие соединения со
всех адресов в данной подсети. Формат функции ана-
логичен connect. В случае ошибки возвращает отрица-
тельное значение.
int listen(int sockfd, int backlog);
— функция создаёт очередь входящих сокетов (коли-
чество подключений определяется параметром backlog,
оно не должно превышать числа SOMAXCONN, кото-
рое зависит от ОС). После создания очереди можно
ожидать соединения функцией accept. Сокеты обычно
являются блокирующими, поэтому выполнение програм-
мы приостанавливается, пока соединение не будет при-
нято. В случае ошибки возвращается -1.
— функция дожидается входящего соединения (или из-
влекает его из очереди соединений) и возвращает но-
вый сокет, уже связанный с удалённым клиентом. При
81
сети
этом исходный сокет sockfd остается в неизменном со-
стоянии. Структура sockaddr заполняется значениями
из удалённого сокета. В случае ошибки возвращается
-1.
Итак, приведу пример простого сокетного сервера,
использующего функцию fork для создания дочернего
процесса, обрабатывающего соединение:
int main(){
pid_t pid;
/* Èäåíòèôèêàòîð äî÷åðíåãî ïðîöåññà */
int sockfd = -1;
/* Äåñêðèïòîð ñîêåòà äëÿ ïðîñëóøèâàíèÿ */
int s = -1;
/* Äåñêðèïòîð ñîêåòà äëÿ ïðè¸ìà */
char buf[128];
/* Óêàçàòåëü íà áóôåð äëÿ ïðè¸ìà */
char str[] = «Server ready\n»;
/* Ñòðîêà äëÿ ïåðåäà÷è ñåðâåðó */
HOSTENT *h = NULL;
/* Ñòðóêòóðà äëÿ ïîëó÷åíèÿ ip àäðåñà */
sockaddr_in addr;
/* Còðóêòóðà tcp/ip ïðîòîêîëà */
sockaddr_in raddr;
unsigned short port = 80;
/* Çàïîëíÿåì ïîëÿ ñòðóêòóðû: */
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
sockfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP);
/* Ñîçäà¸ì ñîêåò */
if(sockfd == -1)
/* Ñîçäàí ëè ñîêåò */
return -1;
addr.sin_addr.s_addr = INADDR_ANY;
/* Ñëóøàåì íà âñåõ àäðåñàõ */
if(bind(sockfd, (sockaddr*) &addr, sizeof(addr)))
/* Ïðèñâàèâàåì ñîêåòó ëîêàëüíûé àäðåñ */
return -1;
if(listen(sockfd, 1))
/* Íà÷èíàåì ïðîñëóøèâàíèå */
return -1;
s = accept(sockfd, (sockaddr *) &raddr, sizeof(raddr));
/* Ïðèíèìàåì ñîåäèíåíèå */
pid = fork();
/* ïîðîæäàåì äî÷åðíèé ïðîöåññ */
if(pid == 0){
/* Ýòî äî÷åðíèé ïðîöåññ */
if(recv(s, buf, sizeof(buf), 0) < 0)
/* Ïîñûëàåì óäàë¸ííîìó ñîêåòó ñòðîêó s */
return -1
if(send(s, str, sizeof(str), 0) < 0)
/* Ïîëó÷àåì îòâåò îò óäàë¸ííîãî ñåðâåðà */
return -1;
printf(«Recieved string was: %s», buf);
/* Âûâîä áóôåðà íà ñòàíäàðòíûé âûâîä */
close(s);
/* Çàêðûâàåì ñîêåò */
return 0;
/* Âûõîäèì èç äî÷åðíåãî ïðîöåññà */
} umask(0);
close(sockfd);
/* Çàêðûâàåì ñîêåò äëÿ ïðîñëóøèâàíèÿ */
return 0;
} /* Ñîáñòâåííî ñàì êîä äåìîíà */
При создании потока (thread) для обработки сокета
смотрите руководство к ОС, так как для разных систем
вызов функции создания потока может существенно
различаться. Но принципы обработки для потока оста-
ются теми же. Функции обработки необходимо только
передать в качестве аргумента указатель на сокет
(обычно в функцию потока можно передавать данные
любого типа в формате void *, что требует использова-
ния приведения типов).
Важное замечание для систем Windows. Мною было
замечено, что система сокетов не работает без приме-
нения функции WSAStartup для инициализации библио-
теки сокетов. Программа с сокетами в ОС Windows дол-
жна начинаться так:
WSADATA wsaData;
WSAStartup(0x0101, &wsaData);
И при выходе из программы пропишите следующее:
WSACleanup();
Так как в основном операции с сокетами являются
блокирующими, приходится часто прерывать исполне-
ние задачи ожиданием синхронизации. Поэтому часто
в *nix подобных системах избегают блокировки консо-
ли созданием особого типа программы — демона. Де-
мон не принадлежит виртуальным консолям и возника-
ет, когда дочерний процесс вызывает fork, а родитель-
ский процесс завершается раньше, чем 2-й дочерний
(а это всегда бывает именно таким образом). После
этого 2-й дочерний процесс становится основным и не
блокирует консоль. Приведу пример такого поведения
программы:
pid = fork();
/* Ñîçäàíèå ïåðâîãî äî÷åðíåãî ïðîöåññà */
if (pid <0){
/* Îøèáêà âûçîâà fork */
printf(«Forking Error : )\n»);
exit(-1);
}else if (pid !=0 ){
/* Ýòî ïåðâûé ðîäèòåëü! */
printf(«\nThis is a Father 1\n»);
}else{
pid = fork();
/* Ðàáîòà 1-ãî ðîäèòåëÿ çàâåðøàåòñÿ */
/* È ìû âûçûâàåì åù¸ îäèí äî÷åðíèé ïðîöåññ */
if (pid <0){
printf(«Forking error : )\n»);
exit(-1);
}else if (pid !=0 ){
/* Ýòî âòîðîé ðîäèòåëü */
printf(«\nThis is a father 2\n»);
}else{
/* À âîò ýòî òîò ñàìûé 2-é äî÷åðíèé ïðîöåññ */
/* Ïåðåõîä â «ñòàíäàðòíûé» ðåæèì äåìîíà */
setsid();
/* Äàííûé ïðîöåññ ñòàíîâèòñÿ ãëàâíûì â ãðóïïå */
/* Ñòàíäàðòíàÿ ìàñêà ôàéëîâ */
chdir(«/»);
/* Ïåðåõîä â êîðíåâîé êàòàëîã */
daemoncode();
/* Ïðè âûçîâå fork äåìîíà ïîÿâëÿåòñÿ ïîòîìîê-äåìîí */
}
}
Вот и всё. Я думаю, для создания простенького со-
кетного сервера этого достаточно.

82
ОБРАЗОВАНИЕ
 образование

ВЗАИМНЫЕ
ФУНКЦИОНАЛЬНЫЕ
ЗАВИСИМОСТИ АНДРЕЙ ФИЛИППОВИЧ

84
 образование
Обычно к системному администратору Однако ни в одной из них не говорится об ограниченности
обращаются по самым разным вопросам, их использования. Рассмотрим пример использования пра-
при возникновении любой проблемы: будь вила объединения:
это забытый пароль, неработающая Если A→B, A→С то A→BС.
программа, нечитающаяся дискета или Пусть имеется два простейших отношения ЗАРПЛАТА(-
пропавшие неизвестно куда данные. Этот Сотрудник, Зарплата) и СЧЕТА(Сотрудник, N_Кредитки). Во
список можно продолжать бесконечно. второй таблице задаются номера кредитных карточек со-
Мне хотелось бы остановиться на трудников. Предположим, что у Невезинского нет кредитки.
ошибках, которые возникают при работе с Специалист по БД решил оптимизировать структуру и уст-
СУБД. Статья посвящена тем, кому ранить избыточность, пользуясь вышеупомянутым правилом.
приходится заниматься вопросами Если Сотрудник → Зарплата, Сотрудник → N_Кредитки
проектирования или реструктурирования то Сотрудник → {Зарплата, N_Кредитки}.
реляционных баз данных.
·ÔØÖÙÊÓÎÐ ­ÆÖÕÑÆØÆ ·ÔØÖÙÊÓÎÐ 1B°ÖËÊÎØÐÎ
³ËÈËÍÎÓ×ÐÎÏ  µÔÝØÔÈ 
В настоящее время базы данных являются частью практи-
µÔÝØÔÈ  ·ÆÖÐÎ×âåÓ 
чески любой информационной системы. Современные БД ·ÆÖÐÎ×âåÓ  ¸ÖÎÚÔÓÔÈ 
характеризуются большой размерностью и сложной струк- ¸ÖÎÚÔÓÔÈ  
турой, поэтому для их разработки используются специаль- 
·ÔØÖÙÊÓÎÐ ­ÆÖÕÑÆØÆ 1B°ÖËÊÎØÐÎ
ные программные средства. Они позволяют не только упро-
³ËÈËÍÎÓ×ÐÎÏ  1XOO
стить и ускорить процесс проектирования, но и выполнять µÔÝØÔÈ  
некоторые функции по оптимизации БД. Наиболее популяр- ·ÆÖÐÎ×âåÓ  
ным является подход, в котором осуществляется нормали- ¸ÖÎÚÔÓÔÈ  

зация.
Теория нормализации (зависимостей) появилась одно-
временно с теорией реляционной алгебры. Коддом были
предложены первые нормальные формы. Впоследствии,
третья нормальная форма была уточнена и названа нормаль-
ной формой Бойса-Кодда (НФБК). Позже Фэйджином (Fagin)
были предложены 4 и 5 нормальная формы, а также альтер-
нативная доменно-ключевая нормальная форма [3]. Суще-
ствуют и другие нормальные формы, но наиболее популяр-
ной является 3НФ и НФБК.
В основе теории нормализации лежат различные поня-
тия зависимостей между атрибутами БД. В теории Кодда
используется понятие функциональной зависимости (ФЗ),
реляционный аналог математической функции. Рассмотре-
ние основных вопросов статьи требует четкого определе-
ния понятия ФЗ, поэтому приведем формальное определе-
ние ФЗ из 6-ого издания книги Дейта [4]. Отметим сразу, что
статья ориентирована на читателя, знакомого с основными
понятиями реляционной алгебры и теории нормализации.
Пусть R — это отношение, а X и Y — произвольные под-
множества множества атрибутов отношения R. Тогда Y фун-
кционально зависимо от X (X→Y), тогда и только тогда, ког-
да каждое значение множества X отношения R связано в
точности с одним значением множества Y отношения R.
Иначе говоря, если два кортежа отношения совпадают по X
[t1(X) = t2(X)], то они также совпадают и по Y [t1(Y) = t2(Y)].
X→Y o [t1(X) = t2(X)] => [t1(Y) = t2(Y)]
Возможность применения правил
Армстронга
Проектирование схемы базы данных начинается с опре-
деления универсального отношения, в которое входят все
атрибуты. Для предметной области задается множество ог-
раничений с помощью функциональных, многозначных и
других зависимостей. Для вывода новых ФЗ или сокраще-
ния их числа используются правила Армстронга. Эти прави-
ла общеизвестны и приводятся почти в каждой книге по БД.
Сразу после «оптимизации» в результирующем отноше-
нии появится кортеж, который имеет пустое (неопределен-
ное) значение. Реляционное отношение, да и ФЗ (A→BС)
таких кортежей не поддерживают, поэтому такая запись дол-
жна автоматически удалиться1.
Большинство современных СУБД поддерживают трех-
значную логику (с использованием Null значений), поэтому
запись может не пропасть. Однако наличие неопределен-
ных значений приводит к появлению неоднозначности в зап-
росах и программах.
Таким образом, свободно применять правила Армстрон-
га можно только для проектируемой БД, не имеющей дан-
ных. При реструктуризации необходимо использовать Null-
значения.
Это замечание существенно для баз данных с динами-
чески изменяемой структурой, к которым можно отнести
современные объектно-реляционные разработки. Функцио-
нальные зависимости являются одними из простейших се-
мантических ограничений, поэтому можно смело утверждать,
что все рассматриваемые вопросы будут актуальны и для
объектных СУБД.
Проблемы 3НФ и НФБК
Приведение отношений в 3НФ и НФБК направлено на
избавление от транзитивных зависимостей (A→B, B→C =>
A→C). 3НФ позволяет удалить транзитивные зависимости
неключевого атрибута (C) от ключевого (A) через другой
неключевой (B). В НФБК запрещаются все зависимости сре-
ди ключевых атрибутов и любой неключевой атрибут дол-
жен напрямую (нетранзитивно) зависеть от ключа, т.е. от всех
ключевых атрибутов.
Рассмотрим пример приведения отношения в третью
нормальную форму, предложенный Ульманом[18] и пробле-
мы, которые при этом возникают.
Пусть задана схема отношений R и множество функцио-
нальных зависимостей F. Звездочкой (*) помечены функци-

№1, октябрь 2002 85

 образование
ональные зависимости, которые отсутствуют в указанном
примере.
R = (A, B, C, D, E, T), где
A – читаемый курс,
B – преподаватель,
C – час начала занятий,
D – аудитория,
E – студент,
T – оценка по курсу.
F = {CD→B, CD→A, AC→D, CE→A, A→B, CB→D, AE→T,
CE→D}
A→B — каждый курс ведет один преподаватель;
CD→A — в аудитории в один и тот же момент времени
может читаться только один курс;
CB→D — преподаватель в один и тот же момент време-
ни может находиться только в одной аудитории;
CE→D — студент в один и тот же момент времени может
находиться только в одной аудитории;
AE→T — по каждому курсу каждый студент имеет толь-
ко одну оценку;
AC→D* — каждый курс в один и тот же момент времени
может читаться только в одной аудитории;
CD→B*— в аудитории в один и тот же момент времени
может быть один преподаватель;
CE→A* — каждый студент в один и тот же момент вре-
мени может слушать только один курс.
молетов с номером рейса из B. По условиям, заданным на-
бором ФЗ такая ситуация невозможна. И тем не менее, в
БД, находящейся в НФБК с «сохранением» зависимостей
содержится неутешительный приговор двум самолетам.
Рассмотрим другой случай. Пусть D — это сумма в раз-
мере 120000$ и ее нужно перечислить только на счет Ива-
нова. Как видно из рис.1. эту сумму может также получить и
Петров, а также десятки других сотрудников и это не будет
противоречить структуре БД.
Из примера видно, что приведение отношения в 3НФ или
даже в НФБК с помощью декомпозиции не решает пробле-
мы противоречивости хранимых данных. Конечно, если про-
извести естественное соединение всех отношений, то мы
избавимся от всех противоречий. Обеспечение целостнос-
ти по взаимосвязанности требует использования специаль-
ных средств: внешних ключей, представлений, ограничений
на целостность, триггеров и т.д2.
Взаимные функциональные зависимости
Оставшаяся часть статьи посвящена вопросу обнаруже-
ния и устранения ошибок, описанных выше. Рассматривае-
мая противоречивость данных связана с тем, что во множе-
стве ФЗ имеются взаимные функциональные зависимости
(ВФЗ).
Взаимной функциональной зависимостью атрибутов A и
B называется пара функциональных зависимостей вида
B→A, A→B и обозначается как A↔B.

Для приведения схемы отношения в 3НФ необходимо
найти минимальное покрытие множества функциональных
зависимостей. В описываемом примере оно будет представ-
лено следующим образом[18]:
F = {A→B, CD→A, CB→D, AE→T, CE→D}
Далее, осуществим декомпозицию схемы отношения:
r={AB, CDA, CBD, AET, CED}
Рассмотрим основное свойство ВФЗ. Из функциональ-
ной зависимости A→B вытекает утверждение 1. Кроме того,
может существовать множество кортежей с разными значе-
ниями в атрибуте А и одинаковыми значениями в атрибуте
B (утверждение 2):
(1) A→B o [ti(A) = tj(A)] => [ti(B) = tj(B)]
(2) [∀ ti(B)] ∃ {t(A)} , |{t(A)}|?1

Данная схема находится в НФБК и декомпозируется из Аналогично определим соотношения для ФЗ B→A:
исходной схемы с сохранением зависимостей. Недостатком (3) B→A o [ti(B) = tj(B)] => [ti(A) = tj(A)]
этой декомпозиции является зависимость проекций (по тер- (4) [∀ti(A)] ∃ {t(B)} , |{t(B)}|?1
минологии Риссанена). Отсюда следует, что схема может
обладать аномалиями. Проиллюстрируем это на примере: Соединяя условия (1), (4) и (2), (3) получаем следующие ут-
На рис.1. представлены три таблицы из полученной схе- верждения:
мы отношений. Звездочками отмечены ключевые поля. (5) [∀ ti(A)] ∃ {t(B)} , |{t(B)}|=1
Пусть в БД хранится информация, что в 10 часов в 12 и 13 (6) [∀ ti(B)] ∃ {t(A)} , |{t(A)}|=1
аудиториях должны читаться кур-
·  '  $
сы «Базы данных» и «Операци- Основным свойством ВФЗ является взаимная однознач-
онные системы» (CDA). Извест- ность значений для атрибутов левой и правой части, т.е. каж-
  §ÆÍáªÆÓÓáÛ
но, что эти курсы читают соответ- дый кортеж должен иметь уникальные значения полей, вхо-
  ´ÕËÖ×Î×Ø ственно преподаватели Иванов и дящих во ВФЗ.
 Петров (AB). При этом оба пре- Для задания ВФЗ в СУБД необходимо атрибуты A и B
$  % подавателя должны проводить объединить в одном отношении (таблице) и задать уникаль-
§ÆÍáªÆÓÓáÛ ®ÈÆÓÔÈ
занятия одновременно в одной ность каждого атрибута. Если части ВФЗ более одного ат-
аудитории (CBD). Данная инфор- рибута, то можно использовать первичный и альтернатив-
´ÕËÖ×Î×Ø µËØÖÔÈ
мация является противоречивой, ный ключ (с обязательным заданием уникальности).

·  %  '
несмотря на то, что схема отно- Надо отметить, что алгоритмы нахождения минимально-
шений находится в НФБК и все го покрытия Мейера [11] и Бернштейна [19] учитывают ВФЗ,
 ®ÈÆÓÔÈ 
условия ФЗ соблюдены. но только в рамках сокращения размера покрытия.
 µËØÖÔÈ  Представим теперь, что D — Для дальнейшего рассмотрения материала введем по-
Рис.1. Противоречивость БД. это номер посадочной полосы са- нятие условной ВФЗ (УВФЗ).

86

Условной взаимной функциональной зависимостью ат-
рибутов A и B называется пара функциональных зависимо-
стей вида СB→A, СA→B, где С — набор атрибутов (усло-
вие) такой, что CCA=?, CCB=?.
Будем обозначать УВФЗ как С|A↔B.
Смысл УВФЗ заключается в том, что при определенных
условиях атрибуты находятся во взаимной функциональной
зависимости. Из функциональной зависимости CA→B вы-
текают утверждения 7 и 8:
(7) CA→B o [ti(C) = tj(C)]&[ti(A) = tj(A)] => [ti(B) = tj(B)]
(8) [∀ ti(B)] ∃ {t(СA)} , |{t(СA)}|?1
Аналогично определим соотношения для ФЗ СB→A:
(9) СB→A o [ti(C) = tj(C)]&[ti(B) = tj(B)] => [ti(A) = tj(A)]
(10) [∀ ti(A)] ∃ {t(СB)} , |{t(СB)}|?1
Соединяя условия (7-10) и фиксируя значение атрибута С,
получаем следующие утверждения:
(11) [∀ ti(A)] ∃ {t(B)} , |{t(B)}|=1
(12) [∀ ti(B)] ∃ {t(A)} , |{t(A)}|=1
Основным свойством EВФЗ является взаимная однознач-
ность значений для атрибутов левой и правой части при со-
впадении значений в атрибутах условия, т.е. каждый для
каждого значения атрибутов условия кортеж должен иметь
уникальные значения полей, входящих во ВФЗ.
Существует несколько способов задать УВФЗ. Можно
ввести понятие условного ключа или условной уникальнос-
ти. Проиллюстрируем эти понятия. Пусть имеется условная
взаимная зависимость (УВФЗ) такая, что условием являет-
ся набор атрибутов C, атрибуты B и D входят во ВФЗ. Тогда
при фиксированном значении атрибутов из С значения ат-
рибутов B и D являются уникальными. Для пояснения при-
ведем пример.
В настоящее время возможность введения таких клю-
чей в СУБД отсутствует, поэтому данное ограничение мож-
но реализовать либо программным способом, либо деком-
позицией отношений и дополнительных изменений схемы.
К первому способу можно отнести возможность работы
с представлениями (запросами на отображение). Если реа-
лизовать ввод данных только через представление, тогда
оно должно содержать выборку по одному из значений ус-
ловных атрибутов (например С1), а взаимозависимые атри-
буты должны иметь уникальный ключ.
CREATE VIEW UslFD AS
SELECT Pse1.*
FROM table1 AS Pse1, table1 AS Pse2
WHERE (Pse1.C= Pse2.C) & (Pse1.A<> Pse2.A) & (Pse1.B<> Pse2.B)
образование
При наборе условных атрибутов (C1,.. Cn) конструкция
Where изменится:
WHERE (Pse1.C1= Pse2.C1) &(Pse1.C2= Pse2.C2) &…& (Pse1.Cn=
Pse2.Cn)
& (Pse1.A<> Pse2.A) & (Pse1.B<> Pse2.B)
Альтернативой может послужить общее ограничения на
целостность БД.
CREATE ASSERTION UslFD CHECK (
SELECT Pse1.*
FROM table1 AS Pse1, table1 AS Pse2
WHERE (Pse1.C= Pse2.C) & (Pse1.A<> Pse2.A) & (Pse1.B<> Pse2.B)
)
Вторым способом задания ограничений является соот-
ветствующая организация структуры БД (схемы). Реализо-
вать ограничение в одном отношении можно путем задания
двух ключей (первичного и альтернативного) со свойством
уникальности. Можно также осуществить декомпозицию с
использованием внешних ключей.
Выявление ВФЗ
Рассмотрим теперь причины возникновения взаимных
функциональных зависимостей и методы их выявления, а
также некоторые важные следствия и их применимость на
этапе проектирования структуры базы данных.
Следствие 1
Во всех функциональных зависимостях, в которых при-
сутствует набор условных атрибутов (С) и условная взаим-
ная ФЗ (CA→B, CB→A), можно воспользоваться правилом
A~B для нахождения минимального (канонического) покры-
тия.
Пример:
F = {CD→B, AC→D, CE→A, A→B, CD→A, CB→D, AE→T,
CE→D}
CD→B & CB→D => B→D & D→B => C| D↔B
Выберем все зависимости, в которых присутствует C:
CD→B, AC→D, CE→A, CD→A, CB→D, CE→D
Заменим B на D и получим:
CD→D, AC→D, CE→A, CD→A, CD→D, CE→D
Сократим одинаковые зависимости (CD→D).
Полученная зависимость CD→D является рекурсивной3.
В исходных данных такой зависимости нет, поэтому можно
проверить предметную область на ее наличие. В случае ее
обнаружения необходимо разбить ее на нерекурсивные за-
висимости4. В общем (данном) случае рекурсии нет, поэто-
·½Æ×ÓÆÝÆÑÆÍÆÓåØÎÏ %µÖËÕÔÊÆÈÆØËÑâ '¦ÙÊÎØÔÖÎå му эту функциональную зависимость исключаем из списка
· %µÖËÕÔÊÆÈÆØËÑâ
 '¦ÙÊÎØÔÖÎå
 как тривиальную.
· µËØÖÔÈ  AC→D, CE→A, CD→A, CE→D, C| D↔B
· ®ÈÆÓÔÈ  Аналогично поступаем и AC→D и CD→A
· ·ÔÐÔÑÔÈ 
CE→A, C| A↔D↔B
· %µÖËÕÔÊÆÈÆØËÑâ
 '¦ÙÊÎØÔÖÎå

Итоговое множество функциональных зависимостей будет
· µËØÖÔÈ 
выглядеть следующим образом:
· ·ÔÐÔÑÔÈ 
F = { A→B, AE→T, CE→A, C| A↔D↔B}

№1, октябрь 2002 87

 образование
Следствие 2 лучения 3НФ, а некоторые ВФЗ могут быть исходно нео-
Более простые УВФЗ включают в себя более сложные. чевидны и для их выявления требуется ввести специаль-
Если имеется две УВФЗ такие, что множество условных ный алгоритм. Единственное, что можно посоветовать,
атрибутов одной зависимости входит во множество услов- это проверка на ВФЗ каждой ФЗ, которую можно исклю-
ных атрибутов другой зависимости, то такая УВФЗ являет- чить из начального списка ФЗ.
ся более простой: Ниже приводится алгоритм нахождения ВФЗ для ми-
C|A↔B и D|A↔B, и CID, то C|A↔B => D|A↔B нимального покрытия. Данный алгоритм является схе-
матичным и неоптимизированным, т.к. при нахождении
Следствие 3 ВФЗ не осуществляется изменение (уменьшение) мно-
Нахождение минимального покрытия ФЗ не убирает жества исходных ФЗ. Можно также заранее исключить
и не изменяет ВФЗ, но значительно осложняет их поиск. зависимости, которые точно не образуют ВФЗ. Это так
В качестве примера можно сравнить очевидность ВФЗ называемые неприводимые слева ФЗ, т.е. те зависимо-
в исходном и нормализированном наборе ФЗ (см. выше). сти, в левой части которых содержатся атрибуты, не
Одним из способов обнаружения ВФЗ является графи- встречающиеся в правой части других ФЗ.
ческое отображение ФЗ и поиск кольцевых структур5. Алгоритм можно также применять для произвольно-
CA→B, B→A го множества ФЗ, но в случае минимального покрытия
На рис.2а показаны функциональные зависимости в ВФЗ будут находится только один раз. Существуют мно-
графической форме. Можно заметить, что функциональ- жества ФЗ, которые являются взаимно-независимые.
ные зависимости пересекаются, и, кроме того, образу- Правила определения таких множеств можно найти в
ют циклическую структуру. Воспользовавшись правилом [4,20].
дополнения Армстронга, получаем схему, представлен-
ную на рис.2б. Функциональная зависимость B→A пред- Пусть задана схема отношений R и множество ФЗ S
ставлена отдельно и атрибут B в ней не зависит от CA, такие что:
т.к. зависимость была разделена на B→A при наличии C S ={ X[1]→Y[1]… X[i]→Y[i]… X[n]→Y[n]}, где n — коли-
и на B→A при отсутствии C. На рис.2в представлено вы- чество ФЗ.
деление взаимной зависимости A и B при условии С. Y[i]∈ R, X[i]⊆ R , т.е. Y является атрибутом, а X — на-
На рисунке 3 рассматривается пример нахождения бором атрибутов из R.
УВФЗ для минимального покрытия ФЗ из примера, при- X[i]= {X[i][1]… X[i][j]… X[i][m]}, где m — Количество ат-
веденного выше. В результате нахождения минимально- рибутов в левой части ФЗ. Для разных ФЗ m может из-
го покрытия ВФЗ становятся менее очевидными из-за меняться.
увеличения элементов в цикле. Взаимные зависимости
становятся транзитивными. Алгоритм
Можно сделать вывод, что нахождение минимально-
го покрытия ФЗ усложняет процесс нахождения ВФЗ за for i:=1 to n do // öèêë ïî âñåì ÔÇ
{ m:=m(X[i]); // ïîäñ÷åò êîëè÷åñòâà àòðèáóòîâ â ëåâîé
счет уменьшения числа зависимостей. Тем не менее, на- ÷àñòè
хождение минимального покрытия необходимо для по- for j:=1 to m do // öèêë ïî âñåì àòðèáóòàì
{Left_Part:= X[i][j]; // âûáîð îäíîãî èç
àòðèáóòîâ
for k:=1 to n do // öèêë ïî âñåì ÔÇ
// åñëè óñëîâèå âûïîëíÿåòñÿ, òî âîçìîæíî íàëè÷èå êîëüöåâîé
  ñòðóêòóðû
    {if Left_Part == Y[k] then
   
  //ôóíêöèÿ ïðîâåðÿåò ìíîæåñòâî S íà íàëè÷èå ÂÔÇ
  //ìåæäó X[i][j] è Y[i] ïðè óñëîâèè X[i]- X[i][j]
 call function_1(Left_Part, Y[i], X[i]- X[i][j]);
Restore S, n; //âîññòàíîâëåíèå ïîëíîãî ñïèñêà ÔÇ
à á â }
Рисунок 2. }
}
//ôóíêöèÿ ïðîâåðÿåò ìíîæåñòâî S íà íàëè÷èå ÂÔÇ
$ % //ìåæäó Left_Part è Right_Part ïðè óñëîâèè Usl
function_1(Left_Part, Right_Part, Usl)
for i:=1 to n do // öèêë ïî âñåì ÔÇ
{ if (Right_Part I X[i]) then //åñëè ïðàâûé àòðèáóò âõî
& & $ & äèò
// â ëåâóþ ÷àñòü êàêîé-ëèáî ÔÇ
' $ 7 ' {
% ' ( ( Usl:=Usl+ X[i] - Right_Part; // òî óñëîâèå äîïîë
íÿåòñÿ äðóãèìè
//àòðèáóòàìè èç ëå
âîé ÷àñòè
if (Left_Part == Y[i]) then //åñëè ïðîèçîøëî
çàêîëüöåâàíèå
& { Add «Usl | Left_Part ~ Right_Part» //äîáàâëÿåò
' & ' ñÿ íîâàÿ ÓÂÔÇ
delete X[i]®Y[i]; / /
% äàííàÿ ÔÇ óäàëÿåòñÿ èç S
$ % n:=n-1; //êîëè÷åñòâî ÔÇ óìåíüøàåòñÿ
$ }
else //èíà÷å îñóùåñòâëÿåòñÿ ðåêóðñèâíûé âûçîâ
Рисунок 3. äëÿ äàëüíåéøåãî ïîèñêà

88

{ Программа ERWIN позволяет использовать на ста-
Right_Part := Y[i];
delete X[i]®Y[i]; //äàííàÿ ÔÇ óäàëÿåòñÿ èç S
n:=n-1; //êîëè÷åñòâî ÔÇ óìåíüøàåòñÿ
function_1(Left_Part, Right_Part, Usl);
} 5
} или рекурсивная связь, но они уже используются и не-
}
Выводы
1. Нахождение ВФЗ позволяет избавиться от проти-
воречивости хранимой информации в БД.
2. Одним из способов учета ВФЗ является наложе-
ние ограничений на целостность БД. Для этого введем
понятие «целостности по взаимозависимости».
3. Вторым способом учета ВФЗ является нормали-
зация отношений, т.е. приведение БД к соответствую-
щей структуре (схеме). Введем понятие взаимно-неза-
висимой нормальной формы, если схема отношений не
имеет ВФЗ. ВННФ можно рассматривать как синоним
понятия ациклической БД.
4. Приведение отношения к ВННФ можно осуществ-
лять независимо от приведения отношения в 1НФ, 2НФ,
3НФ, НФБК. Рекомендуется выявлять ВФЗ на этапе на-
хождения минимального покрытия.
5. В последующих нормальных формах используют-
ся несколько другие зависимости. В данной работе эти
вопросы не проработаны.
6. Автор не считает, что вопросы, затронутые в этой
работе являются научной новизной. Более того, автор
уверен, что за такой продолжительный срок существо-
вания теории баз данных и теории нормализации, про-
блемы ВФЗ были затронуты, а может, и решены. К со-
жалению, из всех современных книг по БД, только в кни-
ге Дейта и Мейера отдаленно затрагивается этот воп-
рос, несмотря на его первостепенную важность. Автор
осуществлял поиск и просмотрел большое количество
литературы. На поиск аналогичных разработок было по-
трачено время, в 7-8 раз превышающее теоретическую
разработку проблемы ВФЗ. «Если теорему проще до-
казать, чем найти описание доказательства, то почему
это не сделать?»
Автор пытается акцентировать внимание на вопро-
сах ВФЗ. Если читатель имеет какую-либо информа-
цию по данному вопросу, а также возражения, замеча-
ния или дополнения, присылайте их по адресу
fil@ics.bmstu.ru.
1
Например, если использовать SQL-инструкцию
Select Сотрудник, Зарплата, N_Кредитки
From ЗАРПЛАТА AS R1, СЧЕТА AS R2
Where R1. Сотрудник = R2. Сотрудник
2
Попытка создать описанную БД с заданием связей
в среде ERWin приведет к неудаче.
3
Рекурсивные зависимости невозможны в реляци-
онной алгебре, называются тривиальными и исключа-
ются из множества ФЗ как избыточные. Следует раз-
личать рекурсивные и взаимные зависимости.
№1, октябрь 2002
образование
4
дии проектирования рекурсивные неидентифицирую-
щие связи.
Здесь очень хорошо бы подошло слово замыкание
сут несколько другую смысловую нагрузку. См. также
циклические БД.
Ëèòåðàòóðà:
1. Àðñåíüåâ Á.Ï., ßêîâëåâ Ñ.À. Èíòåãðàöèÿ ðàñïðåäåëåííûõ
ÁÄ, ÑÏá, Ëàíü, 2001, - 464 ñ. Òåîðèÿ íîðìàëèçàöèè (ñòð. 37-41).
2. Âåðáîâåöêèé À.À. Îñíîâû ïðîåêòèðîâàíèÿ áàç äàííûõ., Ðà-
äèî è ñâÿçü, 2000, - 88 ñ. Òåîðèÿ íîðìàëèçàöèè (ñòð. 25-28).
3. Ãîëîñîâ À.Î. Àíîìàëèè â ðåëÿöèîííûõ áàçàõ äàííûõ. Æóðíàë
ÑÓÁÄ, âûïóñê 1.06.1996.
4. Äåéò Ê.Äæ. Ââåäåíèå â ñèñòåìû áàç äàííûõ, 6-å èçäàíèå.
Ê., Ì., ÑÏá.: Èçäàòåëüñêèé äîì «Âèëüÿìñ», 2000. - 848 ñ. Òåîðèÿ
íîðìàëèçàöèè (ñòð. 269-347). Îäíà èç íàèáîëåå ïîëíûõ êíèã íà
ðóññêîì ÿçûêå. Çàòðàãèâàþòñÿ âîïðîñû àòîìàðíûõ îòíîøåíèé è
ÄÊÍÔ. Â 7-îì èçäàíèè áîëåå ïîäðîáíî ðàññìàòðèâàþòñÿ âîïðîñû 4
è 5ÍÔ.
5. Äóíàåâ Ñ. Äîñòóï ê ÁÄ è òåõíèêà ðàáîòû â ñåòè. Ì., Äèà-
ëîã-ÌÈÔÈ, 2000, - 416 ñ.
6. Êàëèíè÷åíêî Ë.À. Ìåòîäû è ñðåäñòâà èíòåãðàöèè íåîäíîðîä-
íûõ áàç äàííûõ. Ì.: Íàóêà, 1983 - 424 ñ.
7. Êàðïîâà Ò. Áàçû äàííûõ, ìîäåëè, ðàçðàáîòêà, ðåàëèçàöèÿ,
ÑÏá., Ïèòåð, 2001, - 304 ñ. Òåîðèÿ íîðìàëèçàöèè (ñòð. 110-120).
1-5ÍÔ, î÷åíü êðàòêî.
8. Êîííîëëè Ò., Áåãã Ê., Ñòðà÷àí À. Áàçû äàííûõ. Ïðîåêòèðî-
âàíèå, ðåàëèçàöèÿ è ñîïðîâîæäåíèå. Òåîðèÿ è ïðàêòèêà, 2-å èçä.,
Ì.:»Âèëüÿìñ», 2000, - 1120 ñ. Òåîðèÿ íîðìàëèçàöèè (ñòð. 222-
258). 1-5ÍÔ, î÷åíü êðàòêî, â îñíîâíîì, ïðèìåðû.
9. Êîðíååâ Â.Â., Ãàðååâ À.Ô., Âàñþòèí Ñ.Â., Ðàéõ Â.Â. Áàçû
äàííûõ. Èíòåëëåêòóàëüíàÿ îáðàáîòêà èíôîðìàöèè. Ì.: «Íîëèäæ». -
352 ñ.
10. Êóëüáà Â.Â., Êîâàëåâñêèé Ñ.Ñ., Êàÿ÷åíêî Ñ.À., Ñèðîòþê
Â.Î. Òåîðåòè÷åñêèå îñíîâû ïðîåêòèðîâàíèÿ îïòèìàëüíûõ ñòðóêòóð
ðàñïðåäåëåííûõ ÁÄ., Ì., Ñèíòåã, 1999, 660 ñ. Òåîðèÿ íîðìàëèçà-
öèè (ñòð. 116-124). 1-3ÍÔ, Ôîðìàëüíîå îïèñàíèå îñóùåñòâëåíî â
òåðìèíàõ êíèãè.
11. Ìåéåð Ä. Òåîðèÿ ðåëÿöèîííûõ áàç äàííûõ. Ì.: Ìèð, 1987. -
608 ñ. Òåîðèÿ íîðìàëèçàöèè ðàñêðûâàåòñÿ â ýòîé êíèãå íàèáîëåå
ïîëíî. Î÷åíü ìíîãî ðåçóëüòàòîâ, ñâÿçàííûõ ñ ìíîãîçíà÷íûìè è
ñîåäèíèòåëüíûìè çàâèñèìîñòÿìè. Ðàññìàòðèâàþòñÿ êîëüöåâûå è
òàáëè÷íûå çàâèñèìîñòè, àëãîðèòìû ñèíòåçà, äåêîìïîçèöèè è ìíî-
ãèå äðóãèå âîïðîñû. Êíèãà äîñòàòî÷íà ñëîæíàÿ, ò.ê. ââîäèòñÿ
ìíîæåñòâî äîïîëíèòåëüíûõ ïîíÿòèé, è ïåðåîïðåäåëÿþòñÿ íåêîòîðûå
ïðèâû÷íûå îïðåäåëåíèÿ.
12. Ìàðòèí Äæ. Îðãàíèçàöèÿ áàç äàííûõ â âû÷èñëèòåëüíûõ ñèñ-
òåìàõ. 2-å èçä., Ì.: Ìèð, 1980.
13. Ðåâóíêîâ Ã.È., ×åòâåðèêîâ Â.Í., Ñàìîõâàëîâ Ý.Í. Áàçû è
áàíêè äàííûõ. Ì.: Âûñøàÿ øêîëà, 1987. - 248 ñ.
14. Ôðîëîâ. À., Ôðîëîâ. Ã. Áàçû äàííûõ â Èíòåðåíåòå: ïðàêòè-
÷åñêîå ðóêîâîäñòâî ïî ñîçäàíèþ WEB-ïðèëîæåíèé ñ ÁÄ., èçä. 2-
å., «Ðóññêàÿ Ðåäàêöèÿ», 2000, - 448 ñ.
15. Õàíñåí Ã., Õàíñåí Äæ. Áàçû äàííûõ. Ðàçðàáîòêà è óïðàâëå-
íèå, Ì., Áèíîì, 2000, - 704 ñ. Òåîðèÿ íîðìàëèçàöèè (ñòð. 200-
210). 1-4ÍÔ, î÷åíü êðàòêî.
16. Öàëåíêî Ì.Ø. Ìîäåëèðîâàíèå ñåìàíòèêè â ÁÄ. Ì.: Íàóêà.
Ãë. ðåä. ôèç-ìàò.ëèò., 1989. - 288 ñ. - (Ïðîáëåìû èñêóññòâåí-
íîãî èíòåëëåêòà).
17. Óëüìàí Äæ., Óèäîì Äæ. Ââåäåíèå â ñèñòåìû ÁÄ. Ì.: Ëîðè,
2000, - 420 ñ. Òåîðèÿ íîðìàëèçàöèè (ñòð. 94-138). 1-5ÍÔ, Ïåðå-
èçäàíèå êíèãè 80 ãîäà ñ íåáîëüøèìè èçìåíåíèÿìè. Ïðèâîäÿòñÿ
àëãîðèòìû ïðèâåäåíèÿ â ÍÔ.
18. Óëüìàí Äæ. Îñíîâû ñèñòåì áàç äàííûõ. - Ì.: Ôèíàíñû è
ñòàòèñòèêà, 1983. - 334 ñ. Òåîðèÿ íîðìàëèçàöèè (ñòð. 152-189).
1-4ÍÔ, Îäíà èç íåìíîãèõ êíèã, ñîäåðæàùàÿ ìíîæåñòâî àëãîðèòìîâ,
òåîðåì, àêñèîì äëÿ ôóíêöèîíàëüíûõ è ìíîãîçíà÷íûõ çàâèñèìîñòåé.
19. Bernstein P.A. Synthesising Third Normal Form Relations
from Functional Dependencies // ACM Trans. on Database Systems.
- 1976. V. 1, ¹ 4. - Ð. 277-298.
20. Rissanen J. Independent Components of Relations// ACM
Trans. on Database Systems. - 1977. - V. 2, ¹4. - Ð. 317-325.
21.Zaniolo C., Melkanoff M.A. A Formal Approach to the
Definition and the Design of Conceptual Schemata for Database
Systems // ACM Trans. on Database Systems. - 1982. - V. 7, ¹.1,
- P. 24-59.
89
CommerceML
стандарт
стандарт обмена
обмена
коммерческой
коммерческой информацией
информацией вв формате
формате XML
XML
Для обмена информацией в элект-
ронной коммерции необходим общий
язык, с помощью которого компании
могли бы обмениваться структуриро-
ванными данными между своими раз-
нотипными компьютерами. Язык
Internet первого поколения, HTML, не
подходит для этой цели - он описывает
форматирование информации, но не ее
смысл. И вот появился XML - Extensible
Markup Language (расширяемый язык
разметки). Как и HTML, он содержит
текст, размеченный тегами. Но теги в
XML описывают уже и смысл и струк-
туру информации, позволяя напрямую
обрабатывать ее программными сред-
ствами. Например, Международный
совет по прессе и телекоммуникациям
недавно утвердил NewsML как основ-
ную систему разметки новостной ин-
формации, также был создан MathML
для математических документов и др.
90
Однако для конкретного бизнес-при-
ложения сам по себе XML еще не от –
вет – он лишь основа, на которой этот
ответ можно построить.
В соответствии с планами, объяв-
ленными в июле 2000 года, специалис-
тами фирм «1С» и «Extra.RU» при под-
держке технических специалистов
представительства Microsoft в России
разработаны стандарты обмена ком-
мерческой информацией в формате
XML для торговых организаций.
Между компанией Microsoft®, фир-
мой «1С» и ведущими отечественными
Интернет-компаниями «Port.ru»,
«Price.Ru» и «Extra.RU», а также мос-
ковским представительством компании
Intel достигнуто соглашение о поддер-
жке единого стандарта обмена коммер-
ческой информацией в формате XML.
Соглашение о дальнейшем разви-
тии и поддержке единого стандарта
РТИЩЕВА ЕЛЕНА
ВАЛЕРЬЕВНА
предполагает совместную работу спе-
циалистов фирм «1С», «Port.ru»,
«Price.Ru», «Extra.RU» и компании
Microsoft над совершенствованием
стандарта, а также предоставление
всей необходимой информации органи-
зациям, которые в дальнейшем захотят
поддерживать предлагаемый стандарт.
Соглашение имеет некоммерческий
характер, ставит целью развитие Ин-
тернет-технологий и технологий обме-
на коммерческой информацией и явля-
ется открытым для всех заинтересован-
ных организаций, готовых к конструк-
тивному сотрудничеству.
Использование
CommerceML
Сегодня рынок Интернет-коммер-
ции в нашей стране находится на эта-
пе становления. Пока что Интернет-
торговлей занимаются в основном

компании, созданные непосредствен-
но для продажи услуг через Сеть, а
также фирмы, работающие в сфере
информационных технологий. Есте-
ственным путем, позволяющим вов-
лечь в Интернет–коммерцию широкий
круг традиционных (off-line) торговых
фирм, расширить сферу применения
Интернет–технологий и продемонст-
рировать преимущества этих техноло-
гий продавцам и покупателям, явля-
ется публикация каталогов фирм на
специализированных Интернет-сай-
тах (Web-витринах). Поэтому количе-
ство Web-витрин растет, и Интернет-
компании заинтересованы в привле-
чении как можно большего числа тор-
говых организаций. Однако этот про-
цесс сдерживается отсутствием стан-
дартов и готовых программно-аппа-
ратных решений, а также большой
трудоемкостью организации взаимо-
действия торговых организаций с
Web-витринами.
Общее описание
стандарта
Разработанный стандарт позво-
ляет существенно снизить затраты на
организацию информационного вза-
имодействия за счет унификации об-
мена коммерческой информацией
между различными организациями:
как выступающими на рынке Интер-
нет-коммерции, так и работающими
в сфере традиционной (off-line) тор-
говли.
Использование торговыми орга-
низациями программного обеспече-
ния, поддерживающего данный стан-
дарт, позволит им с минимальными
усилиями и без привлечения про-
граммистов организовать публика-
цию своих предложений на любых
поддерживающих этот стандарт Web-
витринах, а также реализовать обмен
информацией между собой без спе-
циальной доработки программ. На-
пример, при оприходовании товаров
у покупателя информация о хозяй-
ственной операции может быть авто-
матически загружена из данных, по-
лученных от продавца.
Разработчики стремились обес-
печить максимальную открытость
стандарта с тем, чтобы он в дальней-
шем мог развиваться на основании
объективных потребностей рынка и
поддерживаться как можно более
№1, октябрь 2002
широким кругом производителей
экономического программного обес-
печения и Интернет-компаний. Для
этого разработчики изначально со-
здавали стандарт независимо от осо-
бенностей собственного программ-
ного обеспечения или структур ин-
формационных баз и исходили из
общих принципов организации тор-
говой деятельности. В то же время в
стандарте учтены различные особен-
ности работы как Интернет-компа-
ний, так и торгующих организаций.
Например, решена проблема органи-
зации обмена информацией при не-
зависимой классификации товаров у
каждого участника обмена.
Предлагаемый стандарт суще-
ственно отличается от иностранных
аналогов, так как учитывает отече-
ственную специфику и включает не-
сколько универсальных решений, не-
обходимых для российских Интер-
нет–компаний и торговых организа-
ций. Вместе с тем, новый стандарт
имеет много общего с решениями,
используемыми сейчас в наиболее
популярных отечественных системах
Интернет-торговли.
Описание схемы
CommerceML
Предусматривается использова-
ние данной схемы, в частности, для
обмена:
n каталогами товаров;
n коммерческими предложениями;
n документами.
Формирование
коммерческих
предложений по
каталогу
Предложение практически совпа-
дает с одной строкой «обычного»
прайс-листа. Предлагается такой-то
товар по такой-то цене, имеющийся в
наличии в таком-то количестве. Напри-
мер, гречневая крупа по цене 200 руб-
лей за мешок, на складе имеется 125
мешков. Предложения группируются в
Пакет предложений, в котором зада-
ется общая часть всех предложений
(аналог «шапки» прайс-листа).
Для того чтобы получатели пред-
ложений могли понять, какой товар
предлагается, последний должен быть
описан. Описание товара и его клас-
сификация «складываются» в Ката-
образование
лог. Каталог может быть «внутрен-
ним», т.е. вложенным в тот же доку-
мент, что и пакет предложений, и со-
ставленным непосредственно авто-
ром пакета предложений. Он также
может быть «внешним» – составлен-
ным одной из известных фирм. В этом
случае в пакете предложений огова-
ривается, на какой каталог (класси-
фикатор) он ориентирован. Для одно-
значного определения товара в пос-
леднем случае достаточно ссылки
(идентификатора товара во внешнем
каталоге), т.е. в тот же документ, что
и пакет предложений, каталог товаров
можно вообще не включать. Таким об-
разом, каталог товаров можно рас-
сматривать как некий классификатор.
Следовательно, в каталоге должен
быть оговорен список Свойств (по
каким критериям производится клас-
сификация). Устойчивые сочетания
свойств удобно фиксировать в Набо-
ры свойств (например, «свойства ви-
деомагнитофона», «свойства телеви-
зора»). Для указания, какие свойства
(или наборы свойств) доступны (мо-
гут быть определены, обязательно
должны быть указаны) для всего ка-
талога, для его группы или для от-
дельного товара, используются Ссыл-
ки на свойства (Ссылки на наборы
Свойств). Каталог (классификатор)
обычно создается многоуровневым
(т.е. имеющим разветвленное дерево
категорий (Групп), к которым можно
отнести товар). Иногда однозначная
классификация может вызвать зат-
руднения, поэтому для удобства раз-
решается включать товары сразу в
несколько категорий. Но при этом
одна из них должна быть выбрана в
качестве «основной». Например, ра-
дио-будильник можно отнести как к
категории «Радиоприемники», так и к
категории «Будильники», но в первую
очередь, радио-будильник является
радиоприемником. При разработке
классификаторов принято для каждой
позиции указывать Аналоги (напри-
мер, для лекарства это – другие ле-
карства аналогичного действия, для
запчастей – запчасти, которые мож-
но поставить вместо данной).
Указание, какими собственно
свойствами из заданных в каталоге
может обладать товар (или группа),
достигается с помощью Ссылки на
свойство (при этом еще можно задать
91
 образование
обязательность заполнения данного
свойства). Аналогичный тип элемен-
та создан и для набора (Ссылка на на-
бор свойств).
Для хранения значений свойств, в
том числе и дополнительной, не предус-
мотренной классификатором информа-
ции, служит специальный тип элемен-
та ЗначениеСвойства.
В итоге, для опубликования своего
прайс-листа (составления своего паке-
та предложений) надо сделать следую-
щее.
1. Классифицировать
свой товар
Это можно сделать:
n путем составления собственного
классификатора, для чего нужно:
1. составить список свойств, по
которым будет производится классифи-
кация;
2. объединить устойчивые сочета-
ния свойств в наборы свойств;
3. составить иерархический список
категорий (групп);
4. отнести каждый товар к одной
или нескольким категориям;
5. определить для каждого товара
его аналоги.
n путем нахождения своих товаров во
внешнем классификаторе.
1. если некоторые товары не най-
дены во внешнем классификаторе, то
для них (и только для них!) придется
составлять внутренний классификатор.
2. Отправить пакет
предложений
1. Если при составлении пакета
n Заказ товара
n Cчет на оплату
n Отпуск товара
n Счет-фактура
n Возврат товара
n Передача товара на реализацию
n Возврат товара с реализации
n Отчет о продажах комиссионного
товара
n Выплата наличных денег
n Возврат наличных денег
n Выплата безналичных денег
n Возврат безналичных денег
Причем для предприятий (фирм) –
отправителя и получателя XML-доку-
мента – указанные хозяйственные опе-
рации представляются разными доку-
ментами. Например «Отпуск товара»
для отправителя сопровождается
оформлением «расходной накладной»
(«накладной на отпуск товара»), а для
получателя – оформлением «приход-
ной накладной». Программа автомати-
зации учета может, исходя из вида хо-
зяйственной операции и роли, которая
указана для данного предприятия, «по-
нять», является ли «собственное пред-
приятие» (от лица которого автомати-
зируется учет в программе) получате-
лем данного документа. Роли предус-
мотрены следующие:
n Продавец
n Покупатель
n Плательщик
n Получатель
Например, если в обрабатываемом
Òàáëèöà ¹1
³ÆÎÒËÓÔÈÆÓÎË ¸ÎÕ´ÕÎ×ÆÓÎË
°ÔÒÒËÓØÆÖÎÏ  µÖËÊÓÆÍÓÆÝËÓÊÑåÕËÖËÊÆÝÎ
XML-документе, описывающем «От-
пуск товара» роль «собственного пред-
приятия» обозначена как «Покупа-
тель», то это означает, что XML-доку-
мент описывает расходную накладную
поставщика, и ее следует импортиро-
вать в учетную систему как «наклад-
ную на поступление товара».
Примеры соглашений при исполь-
зовании данной схемы.
Обозначения
«0-1» - атрибут или элемент не
обязателен. Может принимать только
одно значение;
«1-1» - атрибут или элемент обя-
зателен. Может принимать только
одно значение;
«0-*» - атрибут или элемент не обя-
зателен. Может содержать список
значений;
«1-*» - атрибут или элемент обя-
зателен. Может содержать список
значений.
По умолчанию – все атрибуты и
элементы являются не обязательны-
ми и имеют тип «строка», если специ-
ально не оговорено другое.
Коммерческая
Информация
(CommerceInfo)
Описание: Корневой элемент XML-
документа, описывающего каталог (ка-
талоги) товаров, список (списки) пред-
ложений. Содержит один или несколь-
°ÔÒÒËÓØÆÖÎÏ

&RPPHQW ×ÔÕÖÔÈÔÊÎØËÑâÓÔÏÍÆÕÎ×ÐÎÈÈÎÊË
предложений оказалось достаточно ÕÖÔÎÍÈÔÑâÓÔÏØËÐ×ØÔÈÔÏÎÓÚÔÖÒÆÜÎÎÕÔ
внешнего классификатора, то отправ- ÊÔÐÙÒËÓØÙ
ленный файл будет содержать только
пакет предложений. Òàáëèöà ¹2
2. Если для составления пакета ³ÆÎÒËÓÔÈÆÓÎË ¸ÎÕ ´ÕÎ×ÆÓÎË °ÔÒÒËÓØÆÖÎÏ
(всего или его части) понадобился внут- ³ÔÒËÖ·ÝËØÆ  ³ÔÒËÖ×ÝËØÆ 
ренний классификатор, то в отправля- $FFRXQW1XPEHU
емый файл придется включить внутрен- §ÆÓÐ%DQN ,GUHI§ÆÓÐÈÐÔØÔÖÔÒÔØÐÖáØ×ÝËØ 
§ÆÓаÔÖÖË×ÕÔÓÊËÓØ ,GUHI§ÆÓÐÐÔÖÖË×ÕÔÓÊËÓØÈ×ÑÙÝÆËÓË 
ний классификатор. &RUUHVSRQGHQW%DQN ÕÖåÒáÛÖÆ×ÝËØÔÈ
°ÔÒÒËÓØÆÖÎÏ&RPPHQW  µÖÔÎÍÈÔÑâÓáÏ×ÔÕÖÔÈÔÊÎØËÑâÓáÏ 
Обмен документами ØËÐ×Ø
В задачу, решаемую с помощью
данной схемы, не входит обмен произ- Òàáëèöà ¹3
вольными документами. Также не вхо- ³ÆÎÒËÓÔÈÆÓÎË ¸ÎÕ´ÕÎ×ÆÓÎË °ÔÒÒËÓØÆÖÎÏ
дят задачи поддержки распределенной ®ÊËÓØÎÚÎÐÆØÔÖ,G ,G ¹ÓÎÐÆÑËÓÈÖÆÒÐÆÛÈ×ËÉÔÊÔÐÙÒËÓØÆ 
базы данных. Схема описывает доку- ³ÆÎÒËÓÔÈÆÓÎË  ³ÆÎÒËÓÔÈÆÓÎËÓÆÕÖÎÒËÖªÔÒÆÞÓÎÏ 
менты, сопровождающие наиболее рас- 1DPH ØËÑËÚÔÓÊÎÖËÐØÔÖÆ
°ÔÒÒËÓØÆÖÎÏ  µÖÔÎÍÈÔÑâÓáÏ×ÔÕÖÔÈÔÊÎØËÑâÓáÏØËÐ×Ø 
пространенные торговые (хозяйствен- &RPPHQW ÓÆÕÖÎÒËÖÐÆÐÊÔËÛÆØâÓÆÆÈØÔÒÔÇÎÑË
ные) операции:

92
 образование
ко каталогов товаров, включая список °ÔÒÒËÖÝË×ÐÆå®ÓÚÔÖÒÆÜÎå 
возможных свойств товаров в катало- >°ÔÒÒËÓØÆÖÎÏ VWULQJ@ 
ге, один или несколько пакетов пред- !
ложений.  °ÔÓØÖÆÉËÓØ!@

Атрибуты: Таблица №1 > ·ÐÑÆÊ!@

×ÎÓØÆÐ×Î×
> §ÆÓÐ!@

Содержит: Каталог (0-*), ПакетП-  VHT 
> °ÆØÆÑÔÉ!@

редложений (0-*), Контрагент (0-*), > µÆÐËصÖËÊÑÔÌËÓÎÏ!@

Документ (0-*), Банк (0-*), Склад (0-*). > ªÔÐÙÒËÓØ!@

°ÔÒÒËÖÝË×ÐÆå®ÓÚÔÖÒÆÜÎå!
РасчетныйСчет ×Ô×ØÆÈ HOW2QO\
(BankAccount) ÕÔÖåÊÔÐ VHT
Описание: Расчетный счет описы- ÈáÞË×ØÔåßÎË1RSDUHQWVIRXQG7KLVLVSUREDEO\WKHGRFXPHQWHOHPHQW
ÊÔÝËÖÓÎË §ÆÓЪÔÐÙÒËÓØ°ÆØÆÑÔÉ°ÔÓØÖÆÉËÓصÆÐËصÖËÊÑÔÌËÓÎÏ·ÐÑÆÊ
вает банковский счет контрагента в
ÆØÖÎÇÙØá °ÔÒÒËÓØÆÖÎÏ
объеме, необходимом для оформле-
ния (и передачи) документов.
Атрибуты: Таблица №2
Содержит: ДополнительныйРек-
визит (0-*).
Контакт (Contact)
Описание: Контакт предназначен
для ответа на вопросы: «Где найти?»
и «Кого спросить?».
Содержит список ФИО контактных
лиц (например, список сотрудников
отдела продаж), список телефонов,
факсов, адресов электронной почты
контакта, ICQ.
Атрибуты: Таблица №3
Содержит: КонтактноеЛицо (0-*),
Телефон (0-*), Факс (0-*), Почта (0-
*), ICQ (0-*).
Пример структуры XML-
схемы в формате HTML.
<КоммерческаяИнформация> соби-
рательный элемент для всего, что мо-
ÒÔÊËÑâ RSHQÕÔÙÒÔÑÝÆÓÎä
<ElementType name=»Êîììåð÷åñêàÿÈíôîðìàöèÿ» content=»eltOnly» order=»seq»>
<description> Ñîáèðàòåëüíûé ýëåìåíò äëÿ âñåãî, ÷òî ìîæåò áûòü óïîìÿíóòî â ïðîöåññå
îáìåíà</description>
<AttributeType name=»Êîììåíòàðèé» dt:type=»string» required=»no»>
description>Ïðåäíàçíà÷åí äëÿ ïåðåäà÷è «ñîïðîâîäèòåëüíîé çàïèñêè» â âèäå ïðîèçâîëü-
íîé òåêñòîâîé èíôîðìàöèè ïî äîêóìåíòó.</description>
</AttributeType>
<attribute type=»Êîììåíòàðèé»/>
<element type=»Êîíòðàãåíò» minOccurs=»0" maxOccurs=»*»/>
<element type=»Ñêëàä» minOccurs=»0" maxOccurs=»*»/>
<element type=»Áàíê» minOccurs=»0" maxOccurs=»*»/>
<element type=»Êàòàëîã» minOccurs=»0" maxOccurs=»*»/>
<element type=»ÏàêåòÏðåäëîæåíèé» minOccurs=»0" maxOccurs=»*»/>
<element type=»Äîêóìåíò» minOccurs=»0" maxOccurs=»*»/>
</ElementType>
жет быть упомянуто в процессе обме- те. В стандарте учтены различные
на. аспекты работ как интернет-компа-
<description> - предназначен для пе- ний, так и обычных предприятий.
редачи «сопроводительной записки» Стандарт предлагает подробную схе-
в виде произвольной текстовой ин- му обмена с описанием атрибутов и
формации по документу. представлением её в виде кода
Представленный стандарт обме- HTML. Это соглашение является важ-
на коммерческой информацией дает ным шагом, позволяющим расши-
возможность организациям обмени- рить сферу применения Интернет-
ваться информацией в одном форма- технологий на российском рынке.
 женщина и компьютер
Уступите
место
женщине!
С древних времен отношения меж-
ду полами складывались на основании
физического превосходства. Такие от-
ношения остались и сегодня. До сих пор
«положено», что мужчина – сильный
пол – занимается тяжелой работой и
добыванием еды, а женщина – слабое
создание – должна рожать детей и дер-
жать в порядке дом. Мужчина – силь-
ный, а женщина – мудрая. Только се-
годня все немного перепуталось: для
добывания еды мужчине не надо боль-
ше ходить на охоту, а достаточно весь
день просидеть у экрана монитора, на-
жимая кнопочки. И чем эта работа та-
кая тяжелая и трудоемкая? Сегодня
такие профессии, как системный адми-
нистратор или программист приобрели
метку сугубо мужского способа зара-
батывания кучи денег. Сегодня эти спе-
циальности очень престижны и высо-
кооплачиваемы в России (не совсем
так, глав.ред.), а тем более за рубежом.
А почему бы женщине не заняться та-
кой простой работой – и мудрость мож-
но применить, и физической нагрузки
практически никакой. Так почему же
женщине так тяжело найти работу в
этих отраслях? Почему даму неохотно
берут на работу даже тестером, не го-
воря уже о программистах?
Столкнувшись с такой дискримина-
цией по половому признаку, мы с под-
ругой решили провести небольшое ис-
следование в этой области (а заодно и
устроиться на работу), прибегнув к по-
мощи приятельницы, которая работает
в агентстве по трудоустройству.
Резюме выглядели следующим об-
разом: я - студентка шестого курса
МГТУ им. Баумана, знания СУБД:
Access, MS SQL 7.0, администрирова-
ние 1С-Предприятие 7.7; базовые зна-
ния бухучета, опыт Web-разработок,
знание английского языка. Марина – в
этом году закончила МГТУ с красным
дипломом, имела разовый опыт разра-
ботки программы для небольшой фир-
мы, знания: Delphi, MS SQL 7.0, базо-
вые знания 1С, технический английский
+ разговорный, начала изучение C++.
94
Светлана через свое агентство нашла
нам несколько серьезных работодате-
лей и оформила нас на собеседования.
Вакансии были выбраны такие: систем-
ный администратор, тестировщик, про-
граммист.
Мы ожидали услышать байки про
глупеньких девушек, которые готовы
упасть в обморок, когда их просят дать
«подмышку», долго ищут ту кнопку,
которая все выключает, или путает мо-
нитор с телевизором. Однако ответы
были совершенно неожиданными.
Первый ответ был больше похож на
отмазку: в объявлении говорилось, что
фирма не против взять студента стар-
ших курсов технического ВУЗа с базо-
выми знаниями MS SQL 7.0/2000. В
фирме же мне сказали, что брать сту-
дентку они не намерены, при этом не
объясняя конкретной причины. С Мари-
ной же была проведена беседа о «лич-
ном», где подробно допытывались ин-
формации о ее семейном положении.
В итоге ответ был весьма суров: «Де-
вушку на работу не возьму… Девушка
становится мамой, а программирова-
ние – это…», и далее - длинный моно-
лог о непрерывности и качественности
интеллектуального процесса.
В другом, исключительно мужс-
ком коллективе, честно признались,
что если в отделе будет постоянно
находиться женщина (особенно мо-
лодая), то работать будет тяжелее:
придется каждый день бриться, сле-
дить за чистотой рубашек, контроли-
ровать свою речь и вообще соответ-
ствовать «стандарту». Вывод был
однозначен – присутствие барышни,
безусловно, нарушит гармонию в
этом коллективе, и нас здесь не
ждут… А Светлана со своей стороны
узнала от руководителя отдела, авто-
ра многочисленных научных публика-
ций с педагогическим образованием,
что русского литературного языка не
хватает для постановки задачи, поэто-
му он не сможет корректно поставить
задачу женщине-программисту, т.е.
без нормативной лексики…
Для себя с Мариной мы отметили
следующее: в этих фирмах никто не по-
интересовался нашим уровнем профес-
сионализма.
Еще скажу пару слов о размерах
заработной платы: у женщин оплата
труда, в основном, все-таки ниже, чем
у мужчин. По данным все того же кад-
рового агентства, средний уровень за-
работной платы для мужчины-програм-
миста Oracle составляет $600 - $800 в
месяц (в отдельных местах, до $1200),
а женщинам платят всего $200 - $400.
Причем, малейшая профессиональная
ошибка, допущенная женщиной-про-
граммистом, рассматривается коллега-
ми с пристальным вниманием.
Наша собственная статистика тако-
ва: из 16 фирм, в которые были направ-
лены наши резюме, только восемь не
остались без ответа (учитывая, что кад-
ровое агентство уже проводило первич-
ное собеседование), а из восьми ока-
залось 6 отказов.
Так что же теперь? Неужели нам,
женщинам, так и не суждено найти ра-
боту по специальности? Напротив!
Женщина своего добьется! В различ-
ного рода компаниях, занимающихся
разработками бухгалтерского про-
граммного обеспечения, в торговых
центрах, в банках, да и во многих дру-
гих местах успешно работают женщи-
ны: WEB-дизайнеры, системные адми-
нистраторы, координаторы техническо-
го отдела, системные аналитики, да и
программисты-разработчики тоже. Не-
смотря ни на что, самые настойчивые
и упрямые все-таки умудряются добить-
ся потрясающих результатов. И мы с
Мариной тоже добились-таки того, к
чему стремились! Она стала работать
в одной из ведущих компаний по раз-
работке программного обеспечения для
компаний сотовой связи, я же устрои-
лась системным администратором в
торговый центр. Так что вывод один:
при правильном подходе выживет силь-
нейший — будь это мужчина или жен-
щина, надо только быть настойчивым!
Евгения Саблина

Бурно развивающийся бизнес в
сфере компьютерных технологий инте-
ресует многих людей. Привлекатель-
ность работы в крупной компьютерной
фирме состоит из нескольких момен-
тов. Один из них – реальная возмож-
ность заработать деньги. Второй – пер-
спектива достаточно быстрого продви-
жения по служебной лестнице, третий -
шанс показать себя, проявить свои спо-
собности. Именно так или подобным об-
разом отвечают молодые люди в воз-
расте 22-28 лет на вопрос о причинах,
побудивших их к поиску работы в ком-
пьютерной компании. Основной состав
персонала бурно развивающихся ком-
пьютерных фирм – именно такие моло-
дые ребята, со свежими мозгами, оп-
тимизмом и желанием преобразовать
окружающий мир. Есть, правда, одна
особенность: женщин в такие компании
берут на работу достаточно неохотно.
Анализ состава компаний говорит о
том, что компьютерный бизнес преиму-
щественно мужской. И причин для это-
го достаточно много. Прежде всего,
различна мотивация. Для мужчин важ-
но достижение поставленной цели, они,
собственно, для этого и предназначе-
ны – преобразовывать окружающий
мир. Для женщин же характерно жела-
ние сохранения жизни. И довольно ча-
сто представительницы прекрасного
пола идут на работу в такие компании
не от хорошей жизни. Медицинская ста-
тистика, в свою очередь, показывает,
что, как бы компьютеры не были совер-
шенны, они больше предназначены для
мужчин, чем для женщин. В психологи-
ческом плане, компьютерный бизнес
предполагает больше работу в систе-
ме «человек – знак» и требует именно
логического мышления - правополу-
шарного. Женщинам же больше свой-
ственно эмоциональное мышление - ле-
вополушарное. Даже гормональный со-
став у мужчин и женщин сильно отли-
чается. Если сравнить количественный
№1, октябрь 2002
состав гормонов чувства и гормонов
действия у мужчин и женщин, то карти-
на будет выглядеть примерно так: на
одну часть гормонов чувства у мужчин
приходится около тысячи частей гормо-
нов действия, а у женщин – с точнос-
тью до наоборот: на одну часть гормо-
нов действия приходится в тысячу раз
больше гормонов чувства. Получается,
что основная деятельность женщин –
чувства, а основная деятельность муж-
чин – действие. И когда мужчина начи-
нает много чувствовать, а женщина –
много действовать, нарушается гормо-
нальный баланс в организме. Ничего
хорошего из этого, как Вы сами пони-
маете, выйти не может. Да и при рас-
смотрении ситуации взаимоотношений
в группе видно различное отношение
женского коллектива к мужчинам, при-
сутствующих в нем, или мужского – к
1-2 женщинам в том же положении.
Если женщины в такой ситуации будут
чувствовать себя комфортно, то муж-
чины просто заработают невроз, пото-
му что женщине важно отношение к
ней, а мужчине – отношение к тому, что
он делает.
Специфика работы в компьютерной
фирме такова, что часто персоналу при-
ходится работать в стрессовой ситуа-
ции (например, сдача проекта, который
по каким - либо причинам «не идёт»). А
восприятие стресса у мужчин и женщин
различно - мозг реагирует по-разному.
У женщин в момент опасности, пусть
даже гипотетической, в работу включа-
ются все мозговые центры и отключа-
ются только после того, как опасность
перестаёт существовать. У мужчин в
момент опасности включается только
один конкретный мозговой центр, дея-
тельность которого через 7-10 минут
угасает, если опасность не подтверж-
дена другими центрами, отвечающими
за реагирование на конкретный вид
раздражителя. И получается, что муж-
чины при возникновении стрессовой си-
женщина и компьютер
Почему их
мало
в компьютерных
компаниях
туации реагируют на ситуацию, а жен-
щины – на раздражитель. Мужчины ста-
раются найти деловое решение, а жен-
щины – выйти из ситуации с минималь-
ными потерями для себя.
Ещё одна особенность таких фирм
в том, что по роду деятельности про-
граммистам часто приходится рабо-
тать вдвоём, в «тандеме». И от взаи-
моотношений друг с другом часто за-
висит результат такой работы. Здесь
тоже есть несколько моментов. При
работе в паре один из специалистов
становится ведущим, другой – ведо-
мым. При этом роли часто меняются.
Мужская психика довольно спокойно
реагирует на смену ролей, так как
дело важнее. А вот женская – нет.
Выше я уже писал, что для женщины
важно отношение к ней. И по этой при-
чине смена ролей для женщины не
всегда происходит безболезненно.
Часто эти перемены роли восприни-
маются как покушение на безопас-
ность, что, соответственно, может
вызвать совершенно непредсказуе-
мую реакцию. По этой причине не-
большие компании, состоящие из 5-7
человек, являются достаточно замк-
нутыми сообществами мужчин, а в
крупных компьютерных компаниях
женщины занимают должности, свя-
занные с административной работой.
Да простят меня воинствующие фе-
министки, но для женщин есть много ра-
бочих мест, где востребованы замеча-
тельные женские качества: сострада-
ние, чувствительность, женская интуи-
ция, умение эффективно работать в мо-
нотонном режиме (от которого мужчи-
ны сходят с ума), ассоциативное мыш-
ление, стремление выжить, умение со-
здать комфорт и уют. Без женщин не
обходится ни одна сфера жизнедея-
тельности, просто давайте заниматься
тем, для чего мы предназначены.
Вячеслав Михалёв,
психолог.
95
анонс
№1, Октябрь, 2002 год
УЧЕРЕДИТЕЛИ
Владимир Положевец
Александр Михалев
РУКОВОДИТЕЛЬ ПРОЕКТА
Петр Положевец
РЕДАКЦИЯ
Главный редактор
Александр Михалев
chief@samag.ru
Ответственный секретарь
Наталья Хвостова
sekretar@samag.ru
Художник
Игорь Усков
igus@samag.ru
Верстка
Владимир Положевец
imposer@samag.ru
Владимир Лукин
maker_up@samag.ru
РЕКЛАМНАЯ СЛУЖБА
тел./факс:(095) 298-0316
Наталья Хохлова
тел.:(095) 928-8253 (доб. 112)
Наталья Политыко
reklama@samag.ru
103012, г. Москва, Ветошный
переулок, дом 13/15
тел.: (095) 928-8253 (доб. 112)
факс: (095) 928-8253
Е-mail: info@samag.ru
Internet: www.samag.ru
ИЗДАТЕЛЬ
ЗАО «Редакция «Учительской
газеты»
Отпечатано ЗАО «Холдинговая
компания «Блиц-информ».
Образцовая типография «Блиц-
принт» г. Киев, ул. Довженко, 3
Тираж 5000 экз.
Журнал зарегистрирован
В Министерстве РФ по делам пе-
чати, телерадиовещания и
средств массовых коммуникаций
(свидетельство ПИ № 77-12542
от 24 апреля 2002 г.)
96
ЧИТАЙТЕ
В СЛЕДУЮЩЕМ
НОМЕРЕ:
Тема номера
БЕЗОПАСНОСТЬ
Интервью с начальником
«Управления Р»
Александром Слуцким
Был уже восьмой час вечера. В
кабинете начальника отдела по борь-
бе с компьютерными преступлениями
Александра Слуцкого обсуждались
детали завтрашнего «оперативного
мероприятия». Собирались брать ма-
терого хакера. Когда детали завтраш-
него рейда намеченного между про-
чим на 6 утра были согласованы,
Александр Сергеевич извинился, до-
стал из сумки котлету и начал устало
ее поглощать. «Вы меня извините, я
еще не завтракал». Собственно я и
сам уже понял, что работа самого ин-
теллектуального «хакерского» отдела
не сахар.
Создание простейшей
статистики для Internet
Service Providers
В большенстве случаев, при со-
здании ISP, самым главным вопро-
сом становится — построение на пер-
вых порах простейшего биллинга:
подсчет количества времени и денег,
затраченных пользователем в
Internet’e.
В этом нет ничего сверхсложно-
го, но попробуем разобраться, и по-
стараемся создать простейший бил-
линг. Добавлять что-либо Вы сможе-
те сами или наоборот — убирать: как
Вам будет угодно.
Cравнение сетевых
сканеров безопасности
Сканер безопасности - это про-
граммное средство для удаленной или
локальной диагностики различных
элементов сети на предмет выявле-
ния в них различных уязвимостей,
которые могут быть использованы
посторонними лицами для доступа к
конфиденциальной информации и
нарушения работы системы, вплоть
до полной потери данных и работос-
пособности.
Основными пользователями сис-
тем аудита безопасности являются
профессионалы: сетевые админист-
раторы, специалисты по безопаснос-
ти и т.д. Простые пользователи тоже
могут использовать сканеры, но ин-
формация, выдаваемая такими про-
граммами, как правило специфична,
что ограничивает возможности ее ис-
пользования неподготовленным чело-
веком.
МЫТАРСТВА
БЛАЖЕННОГО
СИСАДМИНА
Большинство системных админи-
страторов не выбирают эту карьеру,
она предназначена им судьбой.
Меня судьба взяла за шкирку и по-
садила в сисадминское кресло со-
вершенно случайно. Я работал про-
граммистом в одной государствен-
ной конторе и однажды имел несча-
стье попасться на глаза шефа в не
совсем трезвом состоянии. Дело
было в 10 часов утра — самое, что
ни на есть, рабочее время. Есте-
ственно, на следующий день меня
вызвали на ковер и заявили, что
быть мне отныне... ни за что не по-
верите — «системным администра-
тором»!
Продолжение статьи
про механизм отражений
в Java.
«Я постараюсь рассказать о са-
мом нетривиальном механизме мира
отражений — создании собственных
загрузчиков классов, а также о том,
как компилировать новые классы из
исходного Java-текста для передачи
собственному загрузчику».