Академический Документы
Профессиональный Документы
Культура Документы
2011 январь-март №1
Введение
Задача выделения теней хорошо известна в области обработки изображений, так как тени не
только играют большую роль в понимании графической информации, но и позволяют вычислять
характеристики объектов, например высоту зданий, размеры и форму крыш и т. д. Часто тени яв-
ляются помехой – сегментация теней производится для последующей коррекции их влияния.
Алгоритмы выделения теней появились во время зарождения области обработки изобра-
жений. В настоящее время известно большое число различных подходов к решению данной
задачи. Упомянем лишь те из них, которые предназначены для выделения теней на отдельных
изображениях городских ландшафтов, аэрофотоснимках и космических изображениях (с об-
ширной библиографией по теме можно ознакомиться на сайте [1]).
Первыми, по-видимому, были предложены пороговые алгоритмы [2, 3]. Несмотря на
свою простоту, алгоритмы данного типа позволяют во многих случаях удовлетворительно вы-
делять тени на изображениях. Недостатком этих алгоритмов является трудность автоматиче-
ского подбора наилучшего порога бинаризации изображений.
Среди других типов алгоритмов выделения теней упомянем группу алгоритмов, основан-
ных на классификации изображений (см., например, [2, 4]). Для выделения теней в них исполь-
зуются различные методы классификации, начиная от метода k -средних и дискриминантного
анализа до современного метода опорных векторов (SVM).
Используются также алгоритмы, основанные на наращивании областей [2, 5]. Их не-
достатком является зависимость результата сегментации тени от выбора начальных точек
роста области.
Большая группа алгоритмов выделения теней на цветных и мультиспектральных изобра-
жениях использует специально разработанные для этого цветовые пространства [4, 6]. Извест-
ны также алгоритмы выделения теней, основанные на уравнениях в частных производных [7],
методах математической морфологии [8], 3D-моделировании [9, 10].
В статье предлагается алгоритм автоматического выделения теней на полутоновых и
цветных изображениях, в том числе на изображениях городских ландшафтов, аэрофотоснимках
и космических изображениях, основанный на анализе формы оконных гистограмм яркостей.
Алгоритм использует существенное различие освещенности между затененной и соседствую-
щей с ней освещенной областью, приводящее в подавляющем большинстве случаев к возник-
новению выраженного максимума в области малых значений яркостей оконных гистограмм
(рис. 1). Подобный подход был предложен P.M. Dare в [3] для выделения теней на космических
изображениях. Однако P.M. Dare использовал лишь одну гистограмму всего изображения и
осуществлял сегментацию вручную.
Проведенные исследования показали преимущество использования оконных гистограмм,
а также возможность автоматического определения порога бинаризации для выделения теней.
6 П.В. ЛУКАШЕВИЧ, Б.А. ЗАЛЕССКИЙ
Описан также вариант сегментации тени по углу наклона кривой оконной гистограммы в
точке начала ее сильного роста.
hi ( j, I ) = ∑ 1(
k∈O ( j)
Ik = i )
, i = 0 ÷ 255, (1)
для индикаторной функции 1( ) . В случае когда зависимость от изображения понятна, для крат-
кости будем использовать обозначения h( j) и hi ( j) .
Непосредственное вычисление гистограммы h( j, I ) по формуле (1) для каждого пиксела
j большого изображения I (или одного из каналов I r , I g , I b цветного изображения I rgb ) зани-
мает довольно продолжительное время, поэтому опишем кратко способ быстрого вычисления
оконных гистограмм методом «бегущей строки» [11] для окон, имеющих размер m, n ≤ 255 .
Для этого нам понадобятся столбцы пикселов в окне O( j) , которые будут обозначаться
b1 ( j),..., b m ( j) , и строки, которые будут обозначаться d1 ( j),..., d n ( j) (рис. 2).
ВЫДЕЛЕНИЕ ТЕНЕЙ НА ИЗОБРАЖЕНИЯХ 7
d1 ( j)
O(j)
b1( j) b m (j)
d m (j)
⎧⎪ ∑ h (I) ⎫⎪
i
Шаг 4. Нахождение imax (1) – положения первого значимого локального максимума сгла-
женной или аппроксимированной гистограммы h approx ( j) на интервале ⎡⎣ibeg , 255⎤⎦ . Значимость
может задаваться порогом или просто с помощью анализа h approx ( j) на основе поведения ее
производной. Если значимого локального максимума нет, перейти к классификации следующе-
го пиксела.
Шаг 5. Нахождение imax (2) – положения второго значимого локального максимума сгла-
женной или аппроксимированной гистограммы h approx ( j) на интервале [imax (1), 255] . Если зна-
чимого локального максимума нет, перейти к классификации следующего пиксела.
Шаг 6. Вычисление порога ρ = 2 ⋅ imax (1) − ibeg для пиксела j .
Шаг 7. Классификация изображения в текущем пикселе j . Если I j ≤ ρ , пиксел j считается
принадлежащим тени, в противном случае – принадлежащим освещенной части изображения.
Можно применять другие способы вычисления порога ρ , например использовать вместо
шага 6
Шаг 6'. Найти наименьшую точку локального минимума imin (1) сглаженной гистограм-
мы h approx ( j) на интервале [imax (1), 255] . Вычислить порог ρ = min ( 2 ⋅ imax (1) − ibeg , imin (1) ) .
На рис. 3, а–в показаны результаты работы алгоритма при использовании сглаживания
гистограммы скользящим средним, аппроксимации простым и взвешенным кубическим сплай-
нами (напомним, что в каждом случае порог выбирается автоматически).
⎧⎪ i 255 ⎫⎪
i30% = argmin ⎨i : i ≥ ibeg , ∑ h ( j) ∑ h ( j) ≥ 0,3⎬ .
⎪⎩ = ibeg = ibeg ⎪⎭
3
10
П.В. ЛУКАШЕВИЧ, Б.А. ЗАЛЕССКИЙ
а) б) в) г)
Рис. 3. Результаты автоматического выбора уровня яркости (порога) для сегментации тени (толстая вертикальная линия) алгоритмом: а) для сглаженной гистограммы;
б) аппроксимирующих кубических сплайнов; в) взвешенных кубических сплайнов, аппроксимируюших с большей точностью значения гистограммы
малой яркости; г) выделения теней по углу наклона гистограммы, наклонной линией показана вычисленная оценка минимально допустимой скорости
роста гистограммы в области тени, тонкой вертикальной линией – точка конца сильного роста гистограммы
ВЫДЕЛЕНИЕ ТЕНЕЙ НА ИЗОБРАЖЕНИЯХ 11
Шаг 7. Завершение вычисления порога для выделения тени τ для пиксела j . Если
δ ≤ i30% , положить порог τ = 2δ − ibeg , в противном случае τ = ibeg .
Шаг 8. Классифицировать изображение в текущем пикселе j . Если I j ≤ τ , пиксел j счи-
тается принадлежащим тени, в противном случае – принадлежащим освещенной части изобра-
жения. Условие δ ≤ i30% при выполнении шага 7 позволяет избежать завышения порога τ на
однородных областях (рис. 4). Его можно исключить из алгоритма и выполнить вместо него
Шаг 7'. Положить порог τ = 2δ − ibeg .
а)
б)
Рис. 5. Примеры работы алгоритма и вид локальных гистограмм
на участках изображения: а) с тенью; б) без тени
На рис. 5, а при наличии тени явно видна часть гистограммы, возвышающаяся над пря-
мой с углом наклона, равным среднему колебанию гистограммы ω (h( j)) . При отсутствии тени
(рис. 5, б) левая часть гистограммы лежит под этой прямой. Сравнительные результаты качест-
ва работы алгоритма также показаны на рис. 3, г и 6, г.
Скорость работы алгоритма на CPU Intel Core 2 Quad Q6600, 2.4 GHz (ч:мин:с)
Аппроксимация
Алгоритм Аппроксимация Выделение
Сглаженная взвешенными
кубическими теней по углу наклона
гистограмма кубическими
Параметры обработки сплайнами гистограммы
сплайнами
Изображение 3600 × 3600,
окно гистограммы 250 × 250, 00:10:19 11:06:33 11:25:30 00:01:42
окно сглаживания 13
Изображение 1800 × 1800,
окно гистограммы 250 × 250, 00:02:34 02:46:46 02:51:39 00:00:24
окно сглаживания 13
Изображение 900 × 900,
окно гистограммы 125 × 125, 00:00:40 00:41:40 00:41:48 00:00:04
окно сглаживания 13
Результаты работы предложенных алгоритмов для цветных изображений показаны на
рис. 6. В левом верхнем углу рисунка расположено синтетическое изображение, составленное
из четырех копий одного оригинала с различными преобразованиями яркости и контраста.
а) б)
в) г)
Рис. 6. Тестирование алгоритма: а) цветное аэрокосмическое изображение, подготовленное для тестирования;
б) результат сегментации тени вручную по порогу; в) результат автоматической сегментации тени по сглаженной
гистограмме для окна 250 × 250 пикселов; г) результат автоматической сегментации тени по углу
наклона гистограммы для окна 250 × 250 пикселов
ВЫДЕЛЕНИЕ ТЕНЕЙ НА ИЗОБРАЖЕНИЯХ 13
Заключение
В статье предложен алгоритм автоматического выделения теней на основе анализа фор-
мы оконных гистограмм яркостей изображений. Рассмотрено несколько способов нахождения
максимума оконной гистограммы, соответствующего значениям яркостей затененной области:
на основе скользящего среднего, кусочно-линейной и кусочно-квадратичной аппроксимаций,
взвешенных кубических сплайнов. Также приведен вариант сегментации тени по углу наклона
кривой оконной гистограммы.
Предлагаемые модификации алгоритма автоматического выделения теней были про-
граммно реализованы и протестированы на полутоновых и цветных изображениях городских
ландшафтов, аэрофотоснимках и космических изображениях. Испытания показали хорошие
результаты сегментации (см. рис. 6 и таблицу).
Предложенный алгоритм прост для понимания и реализации, легко поддается доработке.
Метод также может быть легко модифицирован и для выделения наиболее ярких объектов, на-
пример крыш зданий.
Список литературы
1. Computer Vision Information Pages. Cloud Detection, Shadow Detection and Extraction
[Electronic resource]. – Mode of access : http://www.visionbib.com/bibliography/segment343.html. –
Date of access : 01.07.2010.
2. Nagao, M. Region extraction and shape analysis in aerial photos / M. Nagao, T. Matsutyama,
Y. Ikeda // Computer Graphics and Image Processing. – 1979. – Vol. 10, iss. 3. – P. 195–223.
3. Dare, P.M. Shadow analysis in high-resolution satellite imagery of urban areas / P.M. Dare //
Photogrammetric Engineering and Remote Sensing. – 2005. – Vol. 71. – P. 169–177.
4. Renno, J.-P.R. Evaluation of shadow classification techniques for object detection and track-
ing / J.-P.R. Renno, J. Orwell, G.A. Jones // International Conference on Image Processing. – Singa-
pore, 2004. – Vol. 1. – P.143–146.
5. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. – М. : Техносфе-
ра, 2005. – 1072 с.
6. Chen, B. Shadow Detection Based on RGB Color Model // B. Chen, D. Chen / Intelligent
Computing in Signal Processing and Pattern Recognition. Lecture Notes in Control and Information
Sciences. – 2006. – Vol. 345. – P. 1068–1074.
7. Wang, Y. Shadow detection of urban color aerial images based on partial differential equa-
tions / Y. Wang, S. Wang // The International Archives of the Photogrammetry, Remote Sensing and
Spatial Information Sciences. – 2008. – Vol. 37, Part B2. – P. 325–328.
8. Antonio da Silva, E. Shadows and clouds detection in high resolution images / E. Antonio da
Silva, T. Statella // The Future of Land Imaging. – 2008. – Vol. 17. – P. 138–147.
9. Giles, P. Remote sensing and cast shadows in mountainous terrain / P. Giles // Photogram-
metric Engineering & Remote Sensing. – 2001. – Vol. 67 (7). – P. 833–839.
10. Rau, J.-Y. True orthophoto generation of built-up areas using multi-view images / J.-Y. Rau,
N.-Y. Chen, L.-C. Chen // Photogrammetric Engineering & Remote Sensing. – 2002. – Vol. 68 (6). –
P. 581–588.
11. Porikli, F. Integral Histogram: A Fast Way To Extract Histograms in Cartesian Spaces /
F. Porikli // Proc. of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern
Recognition. – San Diego, CA, USA, 2005. – Vol. 1. – P. 829–836.
12. Juang, C. Object detection by color histogram-based fuzzy classifier with support vector
learning / C. Juang, W. Sun, G. Chen // Neurocomput. – 2009. – Vol. 72. – P. 2464–2476.
13. Rapid and precise object detection based on color histograms and adaptive bandwidth mean
shift / X. Chen [et al.] // Proc. of the 2009 IEEE/RSJ intern. conf. on intelligent Robots and Systems. –
St. Louis, MO, USA, 2009. – P. 4281–4286.
Поступила 17.08.10
Объединенный институт проблем
информатики НАН Беларуси,
Минск, Сурганова, 6
e-mail: {Pavel.Lukashevich, zalesky}@newman.bas-net.by
14 П.В. ЛУКАШЕВИЧ, Б.А. ЗАЛЕССКИЙ