...

Document 2292959

by user

on
Category: Documents
3

views

Report

Comments

Transcript

Document 2292959
Universitat Jaume I
Departamento de inform
atia
Tesis dotoral
Y SEGMENTACION
ESTIMACION
DE MOVIMIENTO BASADO EN
A
REGIONES Y SU APLICACION
DE
TAREAS DE MONITORIZACION
TRAFICO
Jorge Badenas Carpio
Dirigida por:
Dr. Filiberto Pla Ba~
n
on
Dr. Jos
e Miguel Sanhiz Mart
A mi esposa, Xenia,
y a mis hijas, Selena y Alexandra.
A mis padres, Juan y Carmen.
Resumen
La presente Tesis trata sobre la apliaion de tenias de vision por ordenador al
problema de la monitorizaion del trao. Con este objetivo, se han estudiado y
desarrollado diversas tenias, omo la segmentaion, estimaion de movimiento, seguimiento, et., que de manera entrelazada permiten obtener un sistema de ontrol
de trao basado en vision. Como prinipales tareas de diho sistema podemos itar: mediion del volumen del trao, seguimiento de trayetorias de los vehulos, y
la deteion de diversas situaiones anomalas, omo vehulos parados, invasiones de
arriles ontrarios, et.
El metodo de segmentaion que se muestra en el Captulo 2 divide ada imagen
en regiones uniformes. Entre otras araterstias, esta tenia esta basada en la
tenia de las k-medias, es no supervisado, se adapta automatiamente a imagenes on
ualquier numero de objetos y ofree un exelente omportamiento frente a la prinipal
de nuestras exigenias: no mezlar pxeles de diferentes objetos en una misma region.
Las regiones extradas para ada imagen son tomadas por un proeso de segmentaion basada en movimiento que une las que orresponden a la proyeion de un mismo
objeto. Se asume que dos regiones adyaentes perteneen a un mismo objeto si sus
parametros de movimiento son oherentes. Dihos parametros se estiman mediante un
metodo basado en el alulo de la Diferenia de la Imagen Desplazada, y que emplea
estimadores robustos y una estrategia multiresoluion.
El Captulo 4 trata de haer uso de una idea no del todo explotada hasta ahora: ir
aumulando (integrar) la informaion obtenida tras el proesamiento de ada imagen
de la seuenia, para haer uso de ella en el tratamiento de ada nueva imagen. De
esta forma las estimaiones son mas aertadas (se dispone de mayor informaion) y la
inuenia de los errores tiende a ser menor. La integraion de los parametros de movimiento freuentemente se enuentra en la bibliografa por medio de ltros omo el de
Kalman. En esta Tesis se plantea un tipo de integraion temporal que a penas ha sido
estudiado en la literatura: la integraion temporal morfologia. Basiamente onsiste
en fundamentar la segmentaion de ada nueva imagen en todas las segmentaiones de
las imagenes previas y en la informaion obtenida a partir del proeso de seguimiento.
Esto, ademas, permite introduir una nueva tenia llamada segmentaion virtual que
permite reduir el oste de omputaion.
Las tenias propuestas se han veriado en diversas seuenias de trao, tanto
urbano omo de arretera, que se presentan a lo largo del doumento. Los resultados
muestran que el sistema implementado es apaz de trabajar en tiempo real, sin emplear
vi
Resumen
un hardware dediado y de alto oste, y dando una adeuada respuesta a las tareas
que se le demandan.
Agradeimientos
El trabajo presentado en esta Tesis es produto tanto del esfuerzo personal omo
de la olaboraion de diversas personas e instituiones. Es por ello que me gustara
agradeer sus aportaiones tanto en el terreno iento omo en el personal.
Diversas instituiones han heho posible este trabajo por medio de proyetos o
beas. Entre ellas debo itar espeialmente a la Fundaion Caixa Castello quien me
onedio la bea para realizar el Master on Multimedia Tehnologies and Systems en
la Universidad de Surrey del Reino Unido. Fue a partir de la Ms. Thesis que all
realie de donde surgieron las primeras ideas y trabajos que han frutiado en esta
Tesis. Ademas, se ha ontado on la ayuda naniera de la Comunidad Eonomia
Europea a traves del proyeto ESPRIT EP-21007 IOTA, del Ministerio de Eduaion
y Cienia on el proyeto CICYT TIC 98-0677-C02-01, y de la Generalitat Valeniana
por medio de los proyetos GV97-TI-05-26 y GV97-TI-05-27.
A lo largo los a~nos que ha durado la realizaion de esta Tesis he tenido el plaer de
olaborar on diversas personas de quienes siempre he onseguido aprender algo. Debo
haer menion espeial de mis diretores de Tesis, tanto el Dr. Filiberto Pla, quien me
ha dirigido desde el prinipio, omo el Dr. Jose Miguel Sanhiz que se inorporo en la
fase de realizaion de los metodos de seguimiento e integraion temporal. Ambos han
aportado innumerables onsejos y opiniones que han inuido tanto en el resultado nal
omo en mi manera de enfoar la investigaion desde un punto de vista mas iento.
Espeialmente importante fue la ayuda del Dr. Miroslaw Bober, mi supervisor
durante el master que realie en la Universidad de Surrey. De el aprend gran parte
de los oneptos basios sobre analisis de movimiento que me han permitido desarrollar el trabajo posterior. Debo resaltar que una parte importante de las tenias de
estimaion y segmentaion de movimiento que aqu se presentan (Captulo 3) fueron
desarrolladas para la Ms. Thesis que el me dirigio en ese master.
Me siento afortunado de formar parte del Grupo de Vision por Ordenador de
la Universitat Jaume I de Castellon, donde aparte de disponer de todos los medios
tenios neesarios, he tenido el plaer de ontar on el apoyo y amistad de todos sus
miembros.
Finalmente, me gustara dediar esta Tesis a mis padres, Juan y Carmen, ya que
de algun modo esta Tesis tambien es fruto de sus esfuerzos y sariios. Igualmente,
quisiera dediar esta Tesis a mi mujer, Xenia, y a mis hijas, Selena y Alexandra. A
mi mujer, por su onstante ari~no, omprension, paienia, y por haber llenado mi
vida de amor y alegra. A mis hijas, que naieron asi al nal de este trabajo, por
viii
Agradeimientos
aumentar mi feliidad y esperanza en el ma~nana.
Castellon, 26 de enero de 2001.
Indie General
Resumen
v
Agradeimientos
vii
Notaion y listado de smbolos
1 Introduion
1.1
1.2
1.3
1.4
1.5
Analisis de movimiento y ontrol de trao .
Dominio del problema . . . . . . . . . . . . .
Breve revision bibliograa . . . . . . . . . .
Objetivos . . . . . . . . . . . . . . . . . . . .
Estrutura del trabajo . . . . . . . . . . . . .
xvii
.
.
.
.
.
..
..
..
..
..
.
.
.
.
.
1
..
..
..
..
..
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
.
.
.
.
.
..
..
..
..
..
. 1
. 5
. 8
. 13
. 15
2.1 Partiion de una imagen en regiones . . . . . . . . . . .
2.1.1 Metodos basados en umbralizaion (thresholding)
2.1.2 Metodos basados en bordes . . . . . . . . . . . .
2.1.3 Metodos basados en regiones . . . . . . . . . . .
2.1.4 Eleion de un metodo de segmentaion . . . . .
2.2 Un algoritmo de segmentaion de imagenes estatias . .
2.2.1 Estrutura del algoritmo . . . . . . . . . . . . . .
2.2.2 El algoritmo de lasiaion de las k-medias . . .
2.2.3 Algoritmo jerarquio de division de regiones . . .
2.2.4 Union de regiones . . . . . . . . . . . . . . . . .
2.3 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4 Conlusiones . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
..
.
.
.
.
.
.
..
..
..
..
..
..
.
.
.
.
.
.
2 Segmentaion de la imagen de referenia
3 Analisis de movimiento
3.1 Introduion . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1 Metodos basados en substraion de imagenes . .
3.1.2 Metodos basados en el gradiente . . . . . . . . .
3.1.3 Metodos basados en araterstias . . . . . . . .
3.1.4 El metodo propuesto . . . . . . . . . . . . . . . .
3.1.5 Estrutura del aptulo . . . . . . . . . . . . . .
19
19
21
22
22
25
29
29
31
33
35
37
41
43
43
44
47
50
54
56
INDICE GENERAL
x
3.2 Deteion de movimiento . . . . . . . . . . . . . . . . . . . .
3.3 Reduion del numero de regiones . . . . . . . . . . . . . . .
3.4 Estimaion de movimiento . . . . . . . . . . . . . . . . . . . .
3.4.1 El algoritmo basio de estimaion de movimiento . . .
3.4.2 La estrategia multiresoluion . . . . . . . . . . . . . .
3.4.3 Estimaion de movimiento on preision subpxel . . .
3.4.4 Apliaion de estadstios robustos . . . . . . . . . . .
3.5 Segmentaion . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.5.1 Segmentaion de regiones on movimiento oherente .
3.5.2 Segmentaion on reestimaion de movimiento . . . .
3.6 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.7 Conlusiones . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4 Seguimiento e integraion temporal
4.1 Introduion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.1 Breve revision bibliograa . . . . . . . . . . . . . . . . . . . .
4.1.2 Un metodo de seguimiento e integraion temporal morfologia
4.1.3 Estrutura del aptulo . . . . . . . . . . . . . . . . . . . . . .
4.2 El algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Seguimiento de regiones . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.1 Correspondenias entre regiones . . . . . . . . . . . . . . . . .
4.3.2 Estimaion de los parametros de movimiento . . . . . . . . . .
4.4 Memoria temporal . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.5 Reuperando regiones perdidas . . . . . . . . . . . . . . . . . . . . . .
4.5.1 Planteamiento del problema . . . . . . . . . . . . . . . . . . . .
4.5.2 Busqueda de la region Rk . . . . . . . . . . . . . . . . . . . . .
4.5.3 Generaion de la region Rl . . . . . . . . . . . . . . . . . . . .
4.6 Generaion de una segmentaion nal . . . . . . . . . . . . . . . . . .
4.7 Resumen del algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.8 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.9 Conlusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5 Un sistema de monitorizaion de trao
5.1 Introduion. Monitorizaion de trao .
5.2 Tareas de monitorizaion de trao . . . .
5.2.1 Mediion del volumen del trao .
5.2.2 Seguimiento de trayetorias . . . .
5.2.3 Deteion de vehulos parados . .
5.2.4 Deteion de eventos anomalos . .
5.3 Un sistema en tiempo real . . . . . . . . .
5.3.1 Arquitetura del sistema . . . . . .
5.3.2 Segmentaion virtual . . . . . . . .
5.4 Resultados . . . . . . . . . . . . . . . . . .
5.5 Conlusiones . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.
.
.
.
.
..
..
..
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
57
61
64
64
67
67
67
70
70
71
72
85
87
87
88
93
95
95
97
97
99
102
106
107
107
108
108
108
109
114
117
118
118
119
121
122
124
124
124
128
129
142
INDICE GENERAL
6 Conlusiones
6.1
6.2
6.3
6.4
Conlusiones generales . . . . . . . . . . . . .
Aportaiones . . . . . . . . . . . . . . . . . .
Lneas de trabajo futuro . . . . . . . . . . . .
Lista de publiaiones surgidas de esta Tesis .
xi
.
.
.
.
..
..
..
..
.
.
.
.
..
..
..
..
.
.
.
.
.
.
.
.
..
..
..
..
.
.
.
.
..
..
..
..
.
.
.
.
145
145
147
148
149
A Operadores morfologios
151
B El ltro de Kalman
155
Bibliografa
158
Indie de materias
178
B.1 Introduion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
B.2 Algoritmo del ltro de Kalman . . . . . . . . . . . . . . . . . . . . . . 156
xii
INDICE GENERAL
Indie de Figuras
1.1 Esena de trao. Un vehulo aaba de adelantar a otro en una arretera de dos direiones. . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Flujo de informaion haia el Centro de Control de Trao. Cada sistema de monitorizaion proesa las imagenes de trao apturadas por
su sistema de adquisiion. El Centro de Gestion de Trao reibe el
estado del trao en ada punto monitorizado de la red vial. . . . . . .
1.3 Flujo de datos entre los proesos que omponen el sistema de monitorizaion de trao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1 Una imagen tpia de vehulos irulando por una arretera . . . . . .
2.2 Diversas iteraiones del proeso de segmentaion apliando el algoritmo
de Kottke y Sun. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 Diagrama de ujo del metodo de segmentaion . . . . . . . . . . . . .
2.4 A rbol de representaion del proeso de division de las imagenes . . . .
2.5 Las uatro etapas del proeso de union de regiones . . . . . . . . . . .
2.6 Segmentaion de una imagen de trao en una arretera. . . . . . . . .
2.7 Segmentaion de una imagen de trao urbano. . . . . . . . . . . . . .
2.8 Resultado nal de la segmentaion una vez unidas las regiones de tama~no mayor a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1 Varias etapas del metodo de Steward et al. para deteion de los arriles
de una arretera. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Comportamiento del error de la diferenia de la imagen desplazada
(DFD) en la veindad del movimiento optimo. . . . . . . . . . . . . .
3.3 Piramide de imagenes. Cada nivel orresponde a una resoluion diferente. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 Seueniaion de los proesos que forman parte del analisis de movimiento y que seran vistos en el presente aptulo. . . . . . . . . . . . .
3.5 Atualizaion y uso de la imagen referenia. . . . . . . . . . . . . . . .
3.6 Elementos estruturales empleados en las dos operaiones morfologias
apliadas sobre la imagen diferenia. . . . . . . . . . . . . . . . . . . .
3.7 Pasos fundamentales del proedimiento de reduion de regiones. . . .
3.8 Imagen diferenia obtenida a partir de la imagen de la gura 2.1 y la
siguiente de su misma seuenia. . . . . . . . . . . . . . . . . . . . . .
3.9 Algoritmo de estimaion de movimiento. . . . . . . . . . . . . . . . . .
4
7
16
20
27
30
33
35
38
39
40
47
56
57
57
59
61
62
64
66
INDICE DE FIGURAS
xiv
3.10
3.11
3.12
3.13
3.14
3.15
3.16
3.17
3.18
4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
4.9
4.10
4.11
5.1
5.2
5.3
5.4
5.5
Interpolaion de los niveles de intensidad en la resoluion subpxel. . .
Fases de la segmentaion de movimiento. . . . . . . . . . . . . . . . .
Varias etapas de la segmentaion de una imagen de trao urbano. . .
Varias etapas de la segmentaion de la imagen siguiente a la de la Figura
3.12. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Varias etapas de la segmentaion de la imagen siguiente a la de la Figura
3.13. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Segmentaion de una esena grabada en la Durlaher-Tor de Karlsruhe.
Estas imagenes fueron usadas en [Koller et al. 1993℄. (KOGS/IAKS
Universitat Karlsruhe) . . . . . . . . . . . . . . . . . . . . . . . . . . .
Segmentaion de dos imagenes de la seuenia grabada en la N-340. .
Resultados de la segmentaion de la imagen de la subgura 3.16.a utilizando varias ombinaiones de parametros. . . . . . . . . . . . . . . .
Cuatro imagenes de una seuenia de autopista on sus respetivas
segmentaiones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Algoritmo de seguimiento e integraion temporal morfologia. . . . .
Pasos que omponen el seguimiento de regiones. . . . . . . . . . . . .
Se establee una orrespondenia entre las regiones de la lista maestra,
master list, y las regiones extradas de la imagen atual. . . . . . . . .
Algoritmo iterativo de orrespondenia de regiones. . . . . . . . . . .
Lista maestra de regiones. . . . . . . . . . . . . . . . . . . . . . . . .
Iniializaion de la lista maestra de regiones. . . . . . . . . . . . . . .
Atualizaion de la lista maestra de regiones. . . . . . . . . . . . . . .
Seguimiento de vehulos en una esena de trao . . . . . . . . . . . .
Seuenia de vehulos en una arretera. Primera olumna: imagen
original. Segunda olumna: segmentaion iniial. Terera olumna:
segmentaion nal de la imagen . . . . . . . . . . . . . . . . . . . . . .
Varias segmentaiones de una seuenia de trao en iudad. Primera
olumna: imagen original. Segunda olumna: segmentaion iniial.
Terera olumna: segmentaion nal de la imagen. . . . . . . . . . . .
Seuenia de vehulos en un rue de una avenida Primera olumna:
imagen original. Segunda olumna: segmentaion nal de la imagen .
Flujo de informaiones del sistema. Las ajas representan informaiones
que se obtienen en alguna fase del proesamiento, mientras que las
ehas indian que una informaion (la apuntada) se genera a partir de
la otra (la que se enuentra en el origen de la eha). . . . . . . . . . .
Dos asos tpios donde no solo interesa saber el volumen total del
trao, sino tambien el de ada arril o alle. . . . . . . . . . . . . . .
Trayetoria de un ohe en una urva. . . . . . . . . . . . . . . . . . .
Seuenia en la que un ohe se detiene en el aren de una arretera.
Arquitetura del sistema de monitorizaion de trao. Programas que
interatuan para llevar a abo el analisis de movimiento y las tareas de
monitorizaion de trao. . . . . . . . . . . . . . . . . . . . . . . . . .
68
70
73
75
76
77
80
82
84
96
97
98
100
103
104
105
110
111
113
114
120
121
122
123
125
INDICE DE FIGURAS
5.6
5.7
5.8
5.9
5.10
5.11
5.12
5.13
5.14
A.1
B.1
Distribuion de los distintos omponentes del sistema de monitorizaion
de trao entre los programas implementados. . . . . . . . . . . . . . .
La omuniaion entre proesos se realiza mediante seiones rtias.
Diez imagenes de una seuenia urbana on sus orrespondientes segmentaiones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Una seuenia de vehulos en un rue de una iudad. Las subguras
de la dereha orresponden a las segmentaiones de las imagenes de las
subguras de la izquierda. . . . . . . . . . . . . . . . . . . . . . . . .
Seuenia de trao en arretera. Vehulos de distintos tipos irulan
sobre una arretera de dos sentidos. . . . . . . . . . . . . . . . . . . .
Seuenia de ohes deteniendose ante un semaforo. Primera olumna: imagen original. Segunda olumna: segmentaion iniial. Terera
olumna: segmentaion nal de la imagen. . . . . . . . . . . . . . . .
Seuenia de trao urbano un rue de una avenida. . . . . . . . . .
Vehulos detetados en ada una de las direiones de salida. . . . . .
Seuenia de trao en una autopista. . . . . . . . . . . . . . . . . . .
Operaiones morfologias de erosion y dilataion. . . . . . . . . . . . .
Cilo del algoritmo de Kalman. . . . . . . . . . . . . . . . . . . . . . .
xv
127
128
131
132
135
137
138
139
141
152
157
xvi
INDICE DE FIGURAS
Notaion y listado de smbolos
A la hora de expresar los distintos smbolos y formulas matematias se han empleado
las siguientes notaiones:
Las matries se representan mediante letras mayusulas en negrita: A; B, et.
Los vetores se representan mediante letras minusulas en negrita: v; w, et.
Las estrutras de datos, tales omo onjuntos, regiones, imagenes, et., se representan on letras mayusulas: R, I, D, et.
A ontinuaion se presenta una lista de las variables y smbolos mas imporantes
que apareen en los distintos aptulos:
Smbolos y variables generales
Rk
Region k de la imagen.
Pxel (i,j) de la region Rj .
Rijk
t
Instante de tiempo.
It
Imagen obtenida en el instante t.
It (i; j )
Pxel (i,j) de la imagen obtenida en el instante t.
Smbolos y variables del Captulo 2
Wj
Matriz de pesos de la region Rj .
i
p
Vetor de araterstias del pxel i.
mj
Vetor del entro de masas de la region Rj .
mjx ; mjy ; mjg
Medias de las oordenadas x e y y de la intensidad (g) en la
region Rj .
xj ; yj ; gj
Desviaiones tpias de las oordenadas x e y y de la intensidad (g) en la region Rj .
wxj ; wyj ; wgj
Pesos de las oordenadas x e y y de la intensidad (g) que
forman la diagonal prinipal de la matriz Wj .
Numero de pxeles de la region Rj .
NRj
Tmax
Umbral de maxima desviaion tpia.
Maximo tama~no de una region.
Mnimo tama~no de una region.
xviii
Notaion y listado de smbolos
Smbolos y variables del Captulo 3
Mt
Matriz de atualizaion de la imagen referenia en el instante
t.
Bt
Imagen referenia en el intante t.
Dt
Imagen diferenia en el instante t.
1
lad
dx
dy
DF Di (dx; dy)
; ; Constante de atualizaion de la imagen de referenia.
Umbral para alular los pxeles diferenia.
Longitud mnima de una adena de pxeles diferenia.
Desplazamiento en la oordenada x.
Desplazamiento en la oordenada y.
Valor absoluto de la diferenia de la imagen desplazada on
el movimiento (dx; dy) para la region Ri.
Constantes del kernel robusto.
Umbrales para la segmentaion.
Smbolos y variables del Captulo 4
dmn
Distania entre los entroides de las regiones Rm y Rn.
m
m
Vetor entroide de la region Rm.
W
Matriz de pesos para la orrespondenia entre regiones.
wx ; wy ; wg ; wvx ; wvy Pesos de las oordenadas x e y, intensidad y veloidad en
las oordenadas x y y.
ek ; v k ; a k ; Posiion, veloidad, aeleraion y variaion de la aeleraion
en el instante k.
Ak ; H k
Matries del ltro del Kalman.
m
M
Matriz de memoria temporal de la region Rm.
m
m
Mij :v; Mij :o
Valores v y o del pxel (i; j ), de la matriz de memoria temporal de la region Rm .
Omax
Maximo valor para un valor Mijm :o.
Pmax
Constante para delarar regiones omo permanentes.
As
Aumulador de una region Rs.
m
P (R j(i; j ))
Probabilidad de que un pxel perteneza a una region Rm .
Cap
tulo 1
Introduion
Contenido
1.1
1.2
1.3
1.4
1.5
Analisis de movimiento y ontrol de trao .
Dominio del problema . . . . . . . . . . . . .
Breve revision bibliograa . . . . . . . . . .
Objetivos . . . . . . . . . . . . . . . . . . . . .
Estrutura del trabajo . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
5
8
13
15
1.1 Analisis de movimiento y ontrol de trao
Tal y omo arman diversos autores [Torr y Murray, 1993, Singh, 1992℄, la perepion
de movimiento es una funion importante en el sistema visual humano y animal, que
juega un papel primordial en tareas tales omo la perepion de profundidad o la
deteion y segmentaion de objetos.
\Motion is a powerful ue for image and sene segmentation in the human visual system as evidened by the ease with whih we see otherwise
perfetly amouaged reatures as soon as they move, and by the strong
ohesion pereived when even disparate parts of the image move in a way
that ould be interpreted in terms of a rigid motion in the sene . .. "
[Torr y Murray, 1993℄
Durante las ultimas deadas, se ha prestado una importante atenion al estudio de
la perepion del movimiento. Este estudio ha sido aometido por investigadores de
diversas disiplinas omo psiologa, siologa y vision por ordenador. Diho estudio
tena una doble meta: entender omo los humanos periben el movimiento y formular
una teora omputaional para la perepion del movimiento que pudiera ser usada
en un automata.
2
Captulo 1. Introduion
El analisis de movimiento onsiste, basiamente, en inferir onoimiento a partir
de una suesion de imagenes. Para ello se omparan entre s las imagenes de la seuenia, analizando similitudes y diferenias. A partir de este analisis y desde un punto
de vista pratio, existen tres tipos de problemas que pueden ser resueltos [Fleet, 1992,
Murray y Buxton, 1989, Sonka et al., 1993, Mitihe y Bouthemy, 1996℄:
1.
Deteion de movimiento.
2.
Deteion y loalizaion de objetos en movimiento. Este tipo de problemas es
mas omplejo que el anterior, ya que no solo onsiste en saber si algo se ha
movido, sino en saber la forma que ello tiene en el plano de la imagen. Ademas,
puede requerir estimar la trayetoria de los objetos moviles y predeir su posiion futura. Esto onlleva el empleo de tenias de estimaion de movimiento,
segmentaion y seguimiento. Se entiende por estimaion de movimiento en el
plano de la imagen, el alulo de los vetores desplazamiento de los pixels de la
imagen. Esta estimaion puede ser densa, uando se alula para todos los puntos de la imagen, o dispersa, uando solo se hae para iertos puntos o entidades
de la imagen. El movimiento 2D, en el plano de la imagen, es una proyeion del
movimiento 3D experimentado por los objetos de la esena. La informaion de
movimiento puede ser usada para determinar el numero de objetos moviles y sus
veloidades. Para ello los puntos que se mueven on parametros de movimiento
oherentes son agrupados en un proeso que reibe el nombre de segmentaion
de movimiento. Se llama seguimiento o traking al proeso que relaiona las apariiones de una misma entidad u objeto en las distintas imagenes de la seuenia,
y que por tanto permite seguir su trayetoria.
3.
Derivaion de propiedades 3D de los objetos de la esena.
movimiento.
Consiste en detetar si se ha produido algun tipo de
La profundidad relativa y la veloidad en la esena pueden ser relaionadas uantitativamente
on la posiion y la veloidad en el plano de la imagen [Ballard y Brown, 1982,
Aggarwal y Nandhakumar, 1988, Horn, 1986℄. As, en este tipo de problemas se
analizan las proyeiones 2D de los objetos que han sido adquiridas en diferentes
instantes de tiempo y a partir de ellas se obtienen araterstias 3D del objeto,
tales omo su posiion, trayetoria o forma en el mundo real.
El termino ujo optio fue originalmente au~nado por Gibson [Gibson, 1950℄ para
denir el ampo de vetores veloidad que puede ser asoiado a la proyeion de ada
punto visible de la esena. Este ujo optio puede ser estimado a partir de los patrones
de intensidad espaio-temporal registrados por el sistema de vision. \La estimaion
se realiza mediante la resoluion de un onjunto de restriiones derivadas a partir de
la hipotesis heha sobre la naturaleza del patron de intensidad observado, y sobre el
ujo optio" [Mitihe y Bouthemy, 1996℄.
1.1 Analisis de movimiento y ontrol de trao
3
Las tenias desarrolladas para analisis de movimiento han sido utilizadas en una
amplia variedad de apliaiones1, de entre las que podemos destaar:
Codiaion.
El analisis de movimiento permite en apliaiones de ompresion
de vdeo predeir la siguiente imagen de la seuenia. De este modo, se onsigue
ahorrar espaio.
Robotia. En este area el analisis de movimiento se utiliza para la navegaion de
los robots dotados de un sistema de vision, permitiendoles detetar obstaulos,
onoer su posiion, evitar objetos moviles, et.
Meteorologa. El seguimiento de las nubes permite realizar mapas de vientos.
Apliaiones militares. Busqueda de objetivos.
Biomediina. Analisis del movimiento del orazon, omportamiento de miroorganismos y estudio del movimiento humano en el deporte o la rehabilitaion.
Interfaes y realidad virtual. En estos ampos se esta investigando la interaion
a traves de la interpretaion de las expresiones faiales o los gestos de las manos.
Una de las apliaiones donde el analisis de movimiento paree tener un mayor
futuro es la monitorizaion de trao. En los ultimos a~nos, se han presentado muhos
trabajos en este ampo [Giahetti et al., 1995, Beymer et al., 1997, Tan et al., 1998,
Koller et al., 1994a, Waterfall y Dikinson, 1984, Frank et al., 1996, Zhu et al., 2000,
Haag y Nagel, 2000℄, los uales han abordado la soluion de diversos problemas: deteion de vehulos, su seguimiento, su lasiaion, et..
Los medios que han venido siendo utilizados para la monitorizaion de trao, y
que siguen en uso, son:
Los detetores
los uales permiten medir veloidades
individuales de vehulos, pero son inapaes de advertir vehulos parados o on
movimiento lento. Ademas, y dado que deben situarse a un lado de la arretera,
su rango de aion se ve limitado por el tama~no y forma de los vehulos.
Los detetores de bule indutivo. Consisten, basiamente, de un able enterrado bajo la superie de la alzada on una orriente que lo reorre. Cuando
un vehulo pasa sobre el, este indue una sobrearga que al ser registrada permite ontabilizar el vehulo. Este tipo de sistemas tan solo permiten ontar
vehulos, y deben ser instalados en ada arril para abarar toda la alzada.
Como desventajas prinipales, ademas de su utilidad limitada, abe deir que
su instalaion es ostosa y requiere perturbar la irulaion del trao.
1
basados en miroondas,
Nagel en [Nagel, 1981℄ presenta una revision exhaustiva sobre las apliaiones del analisis de movimiento. En [Nagel, 1983a℄ y [Thevenaz, 1990℄ pueden enontrarse otras amplias revisiones, aunque
bastante mas esuetas.
4
Captulo 1. Introduion
Figura 1.1: Esena de trao. Un vehulo aaba de adelantar a otro en una
arretera de dos direiones.
Frente a los anteriores sistemas de deteion, los sistemas basados en vision por
ordenador ofreen varias ventajas. Primeramente, requieren un menor oste, on
una instalaion menos ompleja [Broggi y Dikmanns, 2000℄. Y en segundo lugar, un
unio dispositivo permite abarar un mayor espaio de arretera, proporionando una
estimaion de mas parametros.
Entre las tareas que permite un sistema basado en vision por ordenador, podemos
se~nalar: reuento de vehulos y veloidades, lasiaion de vehulos, estimaion de
la veloidad media del trao para ada arril o sentido, deteion de ambios de arril
o adelantamientos, deteion de atasos, mediion de la longitud de las olas, et..
El problema del analisis de movimiento es difil por s mismo, pero en el ontexto
de su apliaion a la monitorizaion del trao, estas diultades se haen mas maniestas. La primera diultad estriba en el heho de que la monitorizaion debe ser
realizada en tiempo real, y a ser posible on un hardware no exesivamente ostoso,
del tipo de un ordenador personal. La restriion del tiempo real viene justiada por
el heho de que la mayora de los parametros que pueden extraerse pierden parte de
su utilidad uando se diere en el tiempo su omuniaion, ya que en ultimo termino
deberan servir para la toma de deisiones por parte de un sistema entral de gestion
de trao. La restriion aera del oste del hardware se justia por el heho del
gran numero de puntos de la red vial que sera deseable ontrolar. Teoriamente,
y dado un unio presupuesto, a mayor oste del sistema, menor numero de puntos
podran ser monitorizados.
Hasta la atualidad se han desarrollado un gran numero de tenias para el analisis
de movimiento, pero en poas de ellas se suele tener en uenta la posibilidad de que
funionen en tiempo real [Liu et al., 1998, Welh y Wood, 1993, Isard y Blake, 1996,
Siyal et al., 2000℄. No obstante, uando esto se ha heho, ha sido usando un hardware
dediado y de alto oste.
1.2 Dominio del problema
5
La existenia de numerosos objetos moviles, vehulos, en el ampo de vision,
plantea una diultad doble. Por un lado, esto implia la posibilidad de que unos
vehulos oulten total o parialmente a otros. Ademas, estas olusiones pueden ser
progresivas, es deir, que un vehulo que originalmente era totalmente visible, aabe
total o parialmente oulto, y vieversa. Por otro lado, a mayor numero de objetos
moviles, mayor oste omputaional. La Figura 1.1 muestra uno de estos asos. En
el, un vehulo oulta parialmente a un segundo que aaba de adelantar. Sin embargo, en esta misma seuenia, la situaion era la ontraria antes de produirse el
adelantamiento.
El tama~no de los vehulos es otro problema, pues si deseamos que la imagen
abarque un gran espaio de arretera, su tama~no sera inevitablemente peque~no, unos
ientos de pxeles a lo sumo. Tambien se debe tener en uenta que tanto los vehulos
omo la alzada areen de textura. Es bien sabido que la falta de textura es una de
las mayores diultades on que se puede enontrar el analisis de movimiento, y prinipalmente los metodos basados en ujo optio [Horn y Shunk, 1981, Nagel, 1983b℄.
La falta de textura aentua el onoido problema de la apertura, diultando el uso
de metodos loales de estimaion de movimiento. Por ultimo, otra importante ompliaion, onsubstanial a todas las esenas de exteriores, es la existenia de ambios
en la iluminaion. Estos ambios seran, por lo general, graduales, aunque en iertas
oasiones pueden ser brusos.
Para la realizaion de la investigaion presentada en este trabajo se han usado
diversas seuenias de imagenes, siendo la mayora de ellas orrespondientes a esenas
de trao, tanto urbanas, omo de arretera. En ambos tipos de esenas se ha empleado una unia amara situada sobre una posiion elevada y preferentemente enfoando
en la direion paralela a la trayetoria de los vehulos. De esta forma es posible
abarar un mayor tramo de arretera y por lo tanto monitorizar un mayor numero de
vehulos. En las seuenias de arretera la amara ha sido situada sobre un puente,
mientras que en las urbanas se ha usado la terraza de algun ediio elevado.
1.2 Dominio del problema
El trabajo presentado en esta tesis ha sido prinipalmente realizado en la Universitat
Jaume I de Castellon, dentro del grupo de Investigaion de Vision por Ordenador, al
que pertenee el autor. Sin embargo, las primeras investigaiones fueron realizadas
omo Ms. Thesis [Badenas, 1996℄ del Master on Multimedia Tehnology and Systems
que el autor realizo durante el urso 1995-1996 en la Universidad de Surrey del Reino
Unido. Aquella Ms. Thesis fue supervisada por el Dotor Miroslaw Bober del Department of Eletroni and Eletrial Engineering y miembro del Vision and Speeh
Signal Proessing Group de la itada universidad.
As mismo, parte de las investigaiones inluidas en esta tesis surgieron de la
olaboraion en diversos proyetos de investigaion on naniaion publia. Estos
proyetos son:
6
Captulo 1. Introduion
Estimaion de movimiento e interpretaion de seuenias de imagenes. Apliaiones al ontrol de trao. CICYT, Ministerio de Eduaion y Cienia, 1996-
1998.
ESPRIT, European Union, 1996-
IOTA. Intelligent objet traking and analysis.
Analisis de Imagen para la Asistenia a la Conduion en Trao no Urbano
(GV97-TI-05-26). Conselleria de Cultura, Eduaio i Cienia. Generalitat Va-
1998.
leniana, 1998-2000.
Seguimiento de Objetos en Movimiento Mediante Vision Ativa Foveal. Apliaiones al Control de Vigilania (GV97-TI-05-27). Conselleria de Eduaio
Cultura i Cienia. Generalitat Valeniana, 1998-2000.
Vision Ativa basada en la Representaion Log-Polar para la Monitorizaion y
Seguimiento de Objetivos Moviles (TIC98-0677-C02-01). CICYT Ministerio de
Eduaion y Cultura, 1998-2001.
La presente tesis aborda el problema del dise~no de un sistema de monitorizaion
de trao basado en vision por ordenador. Diho sistema onsiste, fsiamente, de una
amara onetada a un ordenador, enfoando a un tramo de arretera o alle. El ordenador debe disponer de una apliaion software para proesamiento de imagenes que
permita extraer informaion aera del trao en la zona enfoada. Esa informaion
debe ser de dos tipos: parametros y eventos.
Parametros. Miden la atividad del trao. Por ejemplo, el numero de
vehulos por minuto o la longitud de una ola en una interseion.
Eventos. Son inidenias, omo por ejemplo, un ataso, un aidente o un
vehulo irulando en sentido ontrario.
Idealmente, el sistema de monitorizaion debera estar instalado en diversos puntos de la red vial, generando de esta forma informaion detallada, y al instante, de la
situaion de los puntos onitivos de la red. Diha informaion sera enviada a un
Centro de Control de Trao, el ual tendra tres ometidos prinipales. En primer
lugar, almaenar la informaion estadstia para en el futuro, graias a ella, mejorar
la red vial. En segundo lugar, prever problemas a orto plazo en el ujo de trao, y
plantear soluiones. Por ejemplo, ante un inremento ontinuo del trao en iertas
vas, ambiar la prioridad de los semaforos, o generar rutas alternativas que eviten una
previsible ongestion. Y en terer lugar, reoger los diversos eventos que puedan enviarle los sistemas de monitorizaion, atuando en onseuenia ante ada uno de ellos.
La Figura 1.2 muestra este ujo de informaion entre los sistemas de monitorizaion
de trao y el Centro de Control de Trao.
El trabajo presentado en esta tesis se dirige haia el dise~no de un sistema de
monitorizaion de trao que analie las imagenes apturadas por la amara y sea
apaz de generar los eventos y parametros que reejen el estado del mismo. Para ello,
1.2 Dominio del problema
7
Figura 1.2: Flujo de informaion haia el Centro de Control de Trao. Cada
sistema de monitorizaion proesa las imagenes de trao apturadas por su sistema
de adquisiion. El Centro de Control de Trao reibe el estado del trao en ada
punto monitorizado de la red vial.
y omo no podra ser de otro modo, el protagonista prinipal sera el vehulo. As, el
sistema desarrollado debe ser apaz de detetar su presenia en una esena, y ademas
seguir su omportamiento durante todo el tiempo que permaneza dentro de ella. Para
onseguir esto se utilizaran diversas tenias de proesamiento de imagenes, entre las
que abe destaar: segmentaion estatia, estimaion de movimiento, segmentaion
de movimiento y seguimiento.
La segmentaion estatia permite agrupar los pxeles en regiones. La tenia empleada debe garantizar que ada region orresponda, si no a un objeto ompleto, s
al menos a una parte de la imagen perteneiente a un solo objeto. De esta forma, las
regiones iran siendo agrupadas en la segmentaion de movimiento para formar objetos.
El metodo de estimaion de movimiento alulara el movimiento que ada region
ha experimentado en el plano de la imagen durante el tiempo transurrido entre dos
imagenes onseutivas de una seuenia. Con los parametros estimados, la tenia de
segmentaion de movimiento unira aquellas regiones que se desplazan on un movimiento oherente, formando de esta forma objetos.
Por su parte el metodo de seguimiento sera el enargado de relaionar las distintas
apariiones de un mismo vehulo en ada una de las imagenes de la seuenia. Es
deir, dado un objeto segmentado en una imagen, y dado un onjunto de objetos
8
Captulo 1. Introduion
segmentados en la siguiente imagen, este metodo debe ser apaz de deidir que objeto
del onjunto orresponde al primer objeto.
Este proeso de seguimiento es el que permite saber realmente uantos vehulos
han irulado y ual ha sido su omportamiento. Por lo tanto, es en el en quien, en
ultima instania, debe apoyarse el sistema de monitorizaion de trao para generar
toda la informaion que le es requerida. De este modo, onoiendo el omportamiento
individual de ada vehulo, sera senillo generar parametros globales o eventos.
1.3 Breve revision bibliograa
Desde prinipios de los a~nos ohenta, el interes por la utilizaion de las tenias de
proesamiento de imagenes en la monitorizaion de trao ha sido reiente. Esto se ha
visto reejado en la apariion de un importante volumen de trabajos que desarrollan
nuevos metodos o adaptan a este tipo de entornos otros ya existentes.
Uno de los primeros trabajos fue el aportado por Waterfall y Dikinson
[Waterfall y Dikinson, 1984℄, el ual desribe un metodo para analisis automatio del
trao en arreteras. El sistema estaba dise~nado para extraer medidas estadstias
que ayudasen a arquitetos e ingenieros a mejorar los trazados de las arreteras.
El metodo no estaba pensado para trabajar en tiempo real, sino para grabar las
imagenes y posteriormente proesarlas en un laboratorio. El analisis de movimiento
estaba basado en una simple substraion de imagenes. Este proedimiento tan
simple no es el mas adeuado, ya que aporta poa informaion y ademas es muy
sensible al ruido de la imagen. No obstante, mostro la utilidad de la vision por
ordenador en este, por aquel entones, nuevo ambito de apliaion.
En la atualidad existen varios grupos de investigaion notablemente espeializados en el ontrol de trao. Uno de estos grupos es el de la Universidad de Reading,
Reino Unido. Como denominador omun de todos sus trabajos se enuentra el uso
de modelos alambrios tridimensionales [Ferryman et al., 1995, Worral et al., 1991,
Tan et al., 1991, Tan et al., 1994, Tan et al., 1998, Worral et al., 1994℄. Estos modelos alambrios onsisten de lneas tridimensionales, las uales se haen orresponder
on las lneas bidimensionales que son extradas de la imagen. De esta forma, se
adaptan los modelos a las proyeiones de los vehulos. Sin embargo, esta adaptaion
onstituye la tarea mas difil del proeso, ya que para realizarla es preiso estimar
previamente la posiion, la orientaion y el tipo de vehulo (ohe, amion, furgoneta,
et.). Para failitar su realizaion, se asume que tanto la esala de los vehulos omo
la geometra de la esena son onoidas. El onoimiento de la esena onsiste en una
alibraion previa de la amara y de una estimaion de la orientaion de la arretera,
que permite reduir los grados de libertad del modelo, de seis grados a solo tres. Esta
reduion se basa, obviamente, en que las ruedas del vehulo deben desansar sobre la
arretera, y por lo tanto, solo abe esperar rotaiones alrededor del eje perpendiular
al suelo. Una vez jado el modelo, el proeso de seguimiento queda failitado por
el onoimiento de la orientaion y el propio modelo. Mediante el uso de un ltro
1.3 Breve revision bibliograa
9
de Kalman 2, el ual modela el movimiento del vehulo, se predie la posiion en la
siguiente imagen de la seuenia. Con esta prediion, la orrespondenia entre lneas
2D y 3D se simplia, pues se onoe su previsible posiion.
Un enfoque similar del problema puede enontrarse en [Koller et al., 1993℄ y
[Koller, 1993℄, donde el modelo de un ohe generio es proyetado sobre la imagen,
haiendo orresponder, de nuevo, los segmentos del modelo on los extrados de la
imagen. Sin embargo, en este metodo, antes de estableer la orrespondenia entre el
modelo y los segmentos de la imagen, se realiza una segmentaion de movimiento,
asumiendo que el modelo de movimiento es eminentemente translaional. En esta
segmentaion, basada en una orrespondenia de araterstias entre imagenes
onseutivas, se agrupan aquellos segmentos de la imagen que exhiben movimiento
oherente. De esta forma se redue el numero de posibles orrespondenias
entre segmentos del modelo y de la imagen, evitando interferenias de lneas que
orresponden al fondo. En [Koller et al., 1993℄ se supone onoido el tipo de modelo,
y por tanto, la lase de modelo que le orresponde a ada vehulo de la imagen,
mientras que en [Koller, 1993℄, aunque se realiza una seleion del modelo, se requiere
que el vehulo real sea muy aproximado a alguno de los modelos disponibles.
Otros metodos que tambien utilizan modelos tridimensionales pueden
enontrarse en [Frank et al., 1996℄ y [Gardner y Lawton, 1996℄. Gardner y Lawton
[Gardner y Lawton, 1996℄ introduen un modelo de gravedad que permite orientar la
adaptaion del modelo a la imagen y, a la vez, restringir sus movimientos, mientras
que en [Frank et al., 1996℄ se modela toda la esena, inluyendo objetos estatios,
para abordar el problema de la olusion parial de vehulos por parte de elementos
de la esena.
El analisis de movimiento basado en modelos tridimensionales aporta una gran
antidad de informaion al sistema, ya que dene ompletamente, si no toda la esena, s al menos ada uno de los objetos moviles. Estos modelos realizan una lasiaion de los vehulos, y permiten predeir on gran erteza el movimiento de los
mismos. Ademas, una vez iniializados, y dada esta alidad de la prediion, el proeso de seguimiento se realiza failmente, resolviendo orretamente las agrupaiones
u olusiones de vehulos. Sin embargo, estos metodos plantean varios problemas que
reduen signiativamente su utilidad. Primeramente, requieren que se disponga de
gran numero de modelos, y que los objetos moviles que aparezan en la esena se
puedan adaptar, en menor o mayor medida, a ellos. Paree algo irreal el pretender
disponer de modelos para ualquier vehulo que exista o pudiera existir en el futuro.
Por ejemplo, tengase en uenta que el modelo usado para un utilitario peque~no sin
maletero trasero sera diferente del usado por un ohe on maletero, que a su vez
sera distinto de un ohe ranhera. Evidentemente, esto se seguira ompliando si
pensamos que el ohe ranhera pudiera ser una ambulania on una sirena, o que
ualquiera de los anteriores modelos podra llevar enima una baa on equipaje o
una biileta.
2
Este mismo grupo propone un nuevo ltro en [Maybank et al., 1996℄ que implitamente modela
el omportamiento del vehulo mediante proesos estoastios.
10
Captulo 1. Introduion
Probablemente, el mayor inonveniente que plantean este tipo de tenias es el de
su tremendo oste omputaional. En realidad, este elevado oste, aunque pueda ser
neesario en algun tipo espeo de apliaiones, no puede justiarse por ninguna
de las tareas usuales que se le requieren a un sistema de ontrol de trao.
Otro problema importante en este tipo de metodos es la eleion del modelo. Dado
un onjunto de araterstias extradas de la imagen, hay que determinar que modelo
es el que mejor se adapta. La eleion de modelo no es nada trivial, mas aun si en la
esena, omo a menudo suede en las imagenes de trao, tenemos objetos situados
a distintas distanias de la amara. Normalmente, este tipo de metodos parten de
la premisa de la existenia de poa perspetiva, on lo que se elude el problema
de la esala. Sin embargo, este no es el unio problema que plantea la eleion de
metodo. Algo mas importante es la agrupaion de vehulos. Ya hemos omentado,
que una vez iniializado el seguimiento, y uando ya se ha elegido el modelo para
ada vehulo, este puede separar orretamente los agrupamientos de ohes. Sin
embargo, la iniializaion no es tan fail uando se deben asignar modelos a un grupo
de vehulos que se oultan entre s. Por desgraia, este es un problema de difil
soluion, pues es omun que los ohes entren agrupados en una esena de trao.
Ademas, este problema se repite tambien para los modelos bidimensionales, omo
indian autores omo Beymer y Malik [Beymer et al., 1997℄, que tras usar esta lase
de modelos en varios de sus trabajos, en sus mas reientes investigaiones se han
deantado por el uso de araterstias mas senillas.
\However, the inability to segment vehiles that are partially oluded remains. If one ould initialize a separate ontour for eah vehile, then one
ould trak even in the presene of partial olusion. However, initialization is the diÆult part of the problem!... " [Beymer et al., 1997℄
El uso de modelos bidimensionales redue drastiamente el oste omputaional del
proedimiento. En [Dubuisson et al., 1996℄ se modela un vehulo generio deformable
mediante un polgono de N verties. Este modelo deformable se adapta a la silueta
lateral del vehulo, que es el angulo de vision desde el ual mas failmente se puede
lasiar el tipo de vehulo (ohe, furgoneta, et.). El metodo emplea dos amaras
que se oloan lateralmente. Una situada en un punto de entrada de la arretera, y
otra situada en un punto de salida, de modo que los automoviles que atraviesan la
arretera obligatoriamente deben pasar frente a ambas amaras. Cuando un vehulo
pasa por el punto de entrada, este es lasiado y memorizado hasta que pasa por
el punto de salida. De esta forma se alula el tiempo neesitado por ada vehulo
para reorrer un determinado amino. El onjunto de estas mediiones de tiempos
permiten estimar la veloidad media del trao, y por lo tanto, medir su uidez.
El uso de imagenes laterales ofree algunas ventajas de ara al desarrollo del sistema. La prinipal de todas ellas es que el movimiento de los vehulos sigue un modelo
ompletamente translaional. Este modelo se estima on mayor rapidez, y ademas
on mejor preision. Por ontra, la prinipal desventaja de este posiionamiento de
las amaras es la reduida vision que se tiene de la arretera. En primer lugar la
amara debe estar muy proxima a la arretera, para que los vehulos oupen una
1.3 Breve revision bibliograa
11
parte signiativa de la imagen (20%-30%), y as los modelos se ajusten orretamente. En segundo lugar, el ampo de aion del sistema se redue a un unio arril,
al mas proximo a la amara. El resto de arriles no podran ser ontrolados, pues los
automoviles del arril mas erano oultaran a los del resto.
Dado que el punto de vista frontal de la amara on respeto a la arretera es el mas
freuente, la mayora de trabajos que utilizan modelos deformables emplean aproximaiones onvexas, blobs, a la forma de los vehulos. Esto se realiza mediante ontornos ativos, tambien onoidos omo snakes [Kass et al., 1988℄, [Bartels et al., 1987℄,
[Blake y Isard, 1998℄. En [Koller et al., 1994b℄ se presenta un metodo que emplea Bsplines ubias. Estos modelos son adaptados a los ontornos de las zonas de la imagen
donde se deteta movimiento. La deteion de movimiento se realiza mediante una
omparaion de la imagen atual on una imagen estatia de la esena, imagen que
es atualizada tras proesar ada nueva imagen de la seuenia segun el metodo desrito en [Karmann y von Brandt, 1990℄, el ual estima la evoluion de los valores de
intensidad de los pxeles del fondo. Para ello, se tienen en uenta omo afetan a las
ondiiones de iluminaion tanto las irunstanias limatologias omo la hora del
da.
En [Koller et al., 1994b℄ se emplean dos ltros de Kalman: uno para adaptar a
los blobs los doe puntos de ontrol usados en las B-splines; y otro para realizar el
seguimiento de los vehulos mediante un modelo de movimiento afn. Este metodo
es ompletado en [Koller et al., 1994a℄ on una red de reenia, Belief Network, la
ual permite efetuar razonamientos a mayor nivel sobre el omportamiento de los
vehulos.
Metodos similares pueden enontrarse en [Remagnino et al., 1997℄ y
[Ferrier et al., 1994℄. En [Ferrier et al., 1994℄ se simplia el modelo a una forma
retangular para onseguir que el sistema siga un vehulo en tiempo real, y en
[Remagnino et al., 1997℄ se ombinan modelos bidimensionales para los peatones y
tridimensionales para los vehulos. Se detetan las zonas de movimiento mediante
una omparaion on un fondo estatio, y dependiendo del tama~no de ada zona, se
le asigna un modelo de peaton o de vehulo.
Como ya se ha omentado on anterioridad, el prinipal problema del uso de modelos bidimensionales es el de la iniializaion. De heho, en los metodos que se han
mostrado, ni tan siquiera se preve la posibilidad del agrupamiento de los vehulos
en el instante de la iniializaion. Por ello, paree que el uso de otro tipo de araterstias mas simples, no tan diretamente inueniadas por la forma tan diversa que
los vehulos presentan, pueden proporionar mejores resultados.
Dubuisson y Jain [Dubuisson y Jain, 1995℄ desriben un proedimiento basado en
regiones que ombina segmentaion de movimiento y de olor. La segmentaion de
movimiento se basa en substraion de imagenes, empleando tres imagenes (atual,
anterior y posterior). Despues de la resta de imagenes, se obtiene una imagen donde
los pxeles que se enuentran alrededor de las aristas de los objetos moviles quedan
marados. La segmentaion de olor esta basada en un metodo de union y separaion,
split and merge, de regiones. Ambas tenias de segmentaion son ombinadas en
12
Captulo 1. Introduion
un ultimo paso, donde los bordes extrados permiten unir aquellas regiones que aun
perteneiendo a un mismo objeto, no fueron unidas por la segmentaion de olor. Al
igual que en [Dubuisson et al., 1996℄, se emplea una vision lateral de la arretera, pero
sin realizar una estimaion de movimiento, on lo que no es posible separar vehulos
que aparezan agrupados.
Smith y Brady [Smith y Brady, 1995℄, al igual que Malik y otros en
[MLauhlan y Malik, 1997℄, [Beymer et al., 1997℄ desriben tenias basadas
en puntos araterstios. En [Smith y Brady, 1995℄3 se desribe un metodo de
estimaion y segmentaion basado en araterstias que permite seguir vehulos.
La amara se supone posiionada en un ohe que se halla en movimiento, y se
emplean omo araterstias tanto puntos araterstios, omo bordes. Los puntos
son seguidos a lo largo de la seuenia empleando un metodo de orrespondenia,
agrupandose en la fase de segmentaion aquellas araterstias on movimiento
oherente. Este metodo utiliza integraion temporal, que permite utilizar el
onoimiento de la forma de los objetos adquirido durante toda la seuenia y
no en unas poas imagenes. Con este mayor onoimiento se onsigue mejorar la
segmentaion nal de los objetos. Beymer y otros en [Beymer et al., 1997℄ desriben
un proedimiento basado en puntos. En este trabajo se establee una orrespondenia
de puntos a lo largo de la seuenia y se agrupan teniendo en uenta el movimiento
rgido de los automoviles. Aquellos puntos que se mueven rgidamente juntos durante
varias imagenes son agrupados omo un unio vehulo. Por su parte, Klausmann y
otros en [Klausmann et al., 1999℄ emplean los puntos de interes de la imagen para
detetar vehulos. Una variaion en la distribuion de los puntos de interes de una
region de la imagen se interpreta omo la presenia de un vehulo.
Ademas de las anteriores tendenias, existen otros metodos que desarrollan aspetos puntuales de la apliaion de la vision por ordenador a la monitorizaion del
trao. Gil et al. [Gil et al., 1996℄ ha desarrollado un metodo para ombinar las
tenias basadas en ontornos y las basadas en regiones. En este artulo se omparan
varias tenias de ombinaion, mostrando la idoneidad de un proedimiento basado
en el ltro de Kalman. Sin lugar a dudas, la ombinaion de varias tenias trabajando
en paralelo puede representar en el futuro una forma de aumentar la preision de la
estimaion de movimiento. Sin embargo, y de ara a una implementaion en tiempo
real, signia un inremento del oste de omputaion, por lo que, de momento, paree
mas rentable la optimizaion de una buena tenia. Fathy y Siyal [Fathy y Siyal, 1997℄
onsiguen la implementaion en tiempo real onentrando la aion del metodo sobre
un unio problema: ontar el numero de vehulos que atraviesan un rue de alles,
pero sin estimar ni el movimiento ni la forma de los vehulos. En [Siyal et al., 2000℄
se presenta un enfoque similar para ontar vehulos en autopistas. La ejeuion en
tiempo real se onsigue mediante un sistema multiproesador espeialmente dise~nado
para proesar en paralelo ada uno de los arriles de la autopista.
3
En [Smith, 1995℄ puede enontrarse una version mas amplia del mismo trabajo.
1.4 Objetivos
13
1.4 Objetivos
Observando la literatura existente aera de la apliaion de las tenias de proesamiento de imagenes a la monitorizaion del trao, podemos observar que existen dos
tendenias, dependiendo de si se realiza o no una explita extraion y uso de informaion tridimensional. Despues de un uidadoso estudio del problema que deseamos
abordar, nos paree aertada la onlusion de que el analisis de movimiento sobre el
plano de la imagen puede proporionar todo el onoimiento neesario para resolver
las tareas de monitorizaion de trao. El uso de estruturas tridimensionales es muy
ostoso omputaionalmente y este osto no puede ser justiado por la realizaion de
ninguna de las tareas fundamentales de este tipo de apliaiones.
Existen algunas tareas adiionales, tales omo la estimaion de la veloidad de
vehulos individuales o la estimaion de la veloidad media del trao donde podra
pareer neesario onoer la posiion tridimensional de los vehulos sobre la arretera.
Sin embargo, esta posiion puede ser inferida si poseemos a priori ierto onoimiento
aera de la esena. Dado que la posiion de la amara es ja, se puede alular
previamente la estrutura tridimensional de la arretera. De esta forma, el sistema
podra haer orresponder puntos del plano de la imagen on puntos tridimensionales
de la arretera. Con esta orrespondenia se podra estimar la veloidad individual
de ada vehulo, y a partir de ella, la veloidad media del trao.
No obstante, y dado que la estimaion de veloidades de vehulos individuales
no la onsideramos omo fundamental, se pueden utilizar medidas alternativas para
estimar la uidez del trao. Las medidas que proponemos son: el numero de vehulos
que abandonan la esena por unidad de tiempo, y la relaion entre el numero de
vehulos presentes en la esena por unidad de tiempo y la anterior medida. La
primera medida permite saber el volumen del trao que atraviesa un determinado
punto, mientras que la segunda nos hae saber el volumen de la ongestion que pueda
existir en ese punto.
En esta Tesis se propone un metodo de analisis de movimiento basado en regiones.
El seguimiento de regiones es menos sensible a olusiones dada la extensa informaion
que proporionan. Caraterstias tales omo el tama~no, forma o intensidad media
pueden ser diretamente obtenidas a partir de ellas. Ademas, las regiones resultan
muy adeuadas para seuenias donde el fondo es estatio, ya que una vez que el
movimiento ha sido estimado, resulta senillo separar las regiones que se mueven de
las que permaneen estatias. En las esenas de trao el fondo permanee inmovil,
mientras que los vehulos suelen oultarse parialmente.
Para onseguir realizar el sistema ompleto de monitorizaion de trao, sera neesario emplear una ombinaion de tenias nuevas o ya existentes. Esta ombinaion
onstara de: una segmentaion estatia, una estimaion de movimiento, una segmentaion de movimiento y un seguimiento de regiones. La segmentaion estatia sera
el paso iniial y extraera de ada imagen las regiones. Dado que en los subsiguientes
pasos las regiones seran unidas para formar vehulos, es importante que esta segmentaion genere regiones, que si bien no denan ompletamente la forma del objeto
14
Captulo 1. Introduion
orrespondiente, s al menos se garantie que solo perteneen a un unio objeto.
La estimaion de movimiento alulara para ada una de las regiones los vetores
de movimiento en el plano de la imagen. E sta suele ser la parte on mayor arga
omputaional de los metodos de analisis de movimiento, y por tanto, la que suele
impedir las implementaiones en tiempo real. Para evitar esto, esta estimaion debera
ser lo mas simple posible, aunque aportando la suiente preision para poder usar el
movimiento omo medida disriminadora entre las regiones que perteneen a diferentes
objetos. Preisamente sera la segmentaion basada en movimiento quien utilie las
veloidades estimadas para unir las regiones que perteneen al mismo objeto, vehulo
o fondo.
Sera neesario un modulo para el seguimiento de las trayetorias de los vehulos.
Para ada par de imagenes onseutivas de la seuenia, donde en ada una de ellas se
han extrado las formas de los vehulos, este modulo sera el enargado de relaionar
que dos regiones, una en ada imagen, orresponden al mismo vehulo. Esto se hara
busando las regiones que, de algun modo, sean las mas similares.
En la mayora de los metodos de analisis de movimiento, el seguimiento es el paso
nal, el ual se realiza tras la segmentaion. Nosotros pensamos que el proeso de
seguimiento tambien puede ayudar a mejorar la segmentaion. El seguimiento relaiona las distintas apariiones de una misma entidad en distintas imagenes. Por lo
tanto, este proeso puede ser un medio para realimentar la segmentaion, de forma
que en esta se tenga en uenta el onoimiento aumulado a lo largo de toda la seuenia. Conoiendo la evoluion de la morfologa y la trayetoria de un objeto durante n
imagenes, se puede predeir su forma y posiion en la imagen n +1. Esto nos permitira
orregir la segmentaion de movimiento uando se apreien errores. Entendemos por
errores, subitos ambios en la forma de un objeto, o tambien repentinas apariiones o
desapariiones de objetos. Se entiende que en la mayora de esenas on movimiento,
y prinipalmente en las esenas de trao, los objetos apareen, desapareen o van
ambiando la forma que de ellos apreiamos, pero de una manera gradual y no repentina. Si, por ejemplo, de repente, aparee una nueva region tras la segmentaion, se
entendera que probablemente se debe a un error en este proeso, y se debera orregir
la segmentaion. No obstante, el proeso debera tomar nota de esta region, por si
su apariion se repite en las siguientes segmentaiones, ya que entones se debera
entender que realmente s que orresponda a un objeto.
Otro de los objetivos fundamentales es onseguir que el sistema nal funione
en tiempo real, es deir, que proese las imagenes a la misma veloidad on que son
apturadas por el sistema de adquisiion. Para ello, se deberan esoger tenias lo mas
simples posibles, pero que proporionen resultados satisfatorios. Ademas, se deberan
utilizar otras que reduzan la omplejidad del problema, por ejemplo, reduiendo el
espaio de busqueda de objetos moviles en la imagen.
Por tanto, podemos resumir los objetivos de esta tesis de la siguiente manera:
El estudio de los metodos de segmentaion de imagenes, seleionando y adap-
tando aquel que resulte mas adeuado para la segmentaion de vehulos.
1.5 Estrutura del trabajo
15
El estudio de las tenias de estimaion y segmentaion de movimiento, busan-
do aquellas que produiendo resultados satisfatorios, no aumenten onsiderablemente el oste omputaional del sistema.
El estudio y desarrollo de estrategias de seguimiento de regiones que sean apliables al problema del trao.
La realizaion de tenias que permitan utilizar en la segmentaion de ada imagen, toda la informaion generada en el proesamiento de las imagenes previas
de la seuenia, integraion temporal.
Apliaion de las tenias estudiadas para el desarrollo de un sistema de monitorizaion de trao en tiempo real que permita llevar a abo las siguientes
tareas:
{ Estimar el numero de vehulos por unidad de tiempo que han irulado
por un determinado arril.
{ Medir la uidez del trao.
{ Estimar el numero de ohes que se hallan detenidos en una ola.
{ Detetar atasos.
{ Detetar omportamientos anomalos de iertos vehulos omo por ejemplo:
vehulos que se salen de la alzada o adelantamientos en zona prohibida.
1.5 Estrutura del trabajo
La Figura 1.3 muestra un diagrama de ujo del sistema a alto nivel. Los proesos
all mostrados se repiten para ada imagen de la seuenia. As, en ada iteraion del
sistema se toman dos imagenes onseutivas de la seuenia, n y n + 1, y se produen
omo resultados la segmentaion de la imagen n y los parametros que muestran el
estado atual del trao.
Al proesar la imagen n on ayuda de la n + 1 somos onsientes de que estamos
introduiendo un ierto retraso que no se produira de usar la imagen n 1 en lugar
de la n +1. Sin embargo, bajo nuestro punto de vista, esto aree de importania. En
primer lugar porque parte de ese retraso se onsume en la segmentaion estatia de la
imagen n, y para llevar a abo este proedimiento no se requiere la imagen n + 1. Y
en segundo lugar, porque estamos hablando de una latenia del orden de unas poas
deimas de segundo. Debemos ser onsientes de que para el tipo de apliaion que
estamos desarrollando, este retraso no es signiativo, pues en ningun aso se va a
interatuar on los vehulos.
El primer proeso es la deteion de movimiento. Este proedimiento deteta
en que zonas de la imagen se han produido ambios debidos al movimiento de los
objetos. Este paso es importante, pues solo sobre estas zonas es neesario realizar el
proesamiento, ya que en ellas se enuentran los ohes que estan irulando.
16
Captulo 1. Introduion
Imagen n+1
Imagen n
Detección
de
movimiento
Áreas
a
segmentar
Segmentación
estática
Regiones
Estimación de
movimiento
Regiones con
vectores de
movimiento
Segmentación de
movimiento
Segmentación
inicial de la
imagen n
Segmentación final
Posición de
los vehículos
Estimación de
parámetros de
tráfico
Estado del tráfico
Modem
Correspondencia
entre las regiones
de la imagen n y
las de la memoria
temporal
Integración
temporal
morfológica
Actualización
de la forma
de las regiones
Forma
de las
regiones
almacenadas
Memoria
temporal
Seguimiento
Actualización
de la memoria
temporal
Regiones de
las n-1
segmentaciones
previas
Figura 1.3: Flujo de datos entre los proesos que omponen el sistema de monitorizaion de trao.
1.5 Estrutura del trabajo
17
A ontinuaion se realiza la segmentaion estatia de la imagen atual, n. Para
llevar a abo este proeso hemos desarrollado un metodo el ual divide la imagen en
regiones. Esta division es heha sin tener en uenta ninguna onsideraion aera del
movimiento, aqu tan solo se atiende a las araterstias de la imagen.
La imagen segmentada se pasa al proeso de estimaion de movimiento, el ual,
tomando la siguiente imagen, n + 1, estima el vetor de movimiento asoiado a ada
region, utilizando un modelo translaional. Esta estimaion se realiza por orrelaion,
es deir, se busa para ada region de la imagen n aquella posiion en la imagen n +1
que minimiza la diferenia de nivel de gris. Esta senilla estrategia, la ual usa el
modelo de movimiento mas senillo, el translaional, nos aporta suiente informaion
para la fase de segmentaion, pero a un oste omputaional asumible.
Los vetores de movimiento alulados para ada region son utilizados por el siguiente proeso, segmentaion de movimiento, el ual ompara los movimientos de
las regiones veinas y va uniendolas para formar objetos. En este proeso se asume
que si dos regiones se desplazan on movimiento oherente, esto signia que ambas
orresponden a un mismo objeto. A esta segmentaion la denominaremos segmentaion iniial, para distinguirla de la que se genera tras el proeso de seguimiento y en
la que se hae uso de la integraion temporal morfologia. A esta ultima segmentaion
la llamaremos segmentaion nal.
En esta tesis hemos desarrollado un metodo para generar la segmentaion de ada
imagen a partir de no solo la informaion obtenida en su proesamiento, sino de toda
la aumulada a partir de las imagenes previas. As, una vez que la imagen ha sido
dividida en regiones on movimiento diferente, el proeso de seguimiento relaiona
estas regiones on las que estan almaenadas en la memoria temporal, produiendo
omo resultado una orrespondenia entre las mismas. Esta orrespondenia relaiona
las diferentes apariiones de una misma entidad, un objeto, en diferentes imagenes.
La memoria temporal almaena ada nueva region que aparee en la segmentaion
de una imagen. Se onsidera que una region es nueva uando no se orresponde on
una region que hubiera apareido en una segmentaion previa. Sobre ada region se
guarda informaion aera de su forma y trayetoria. La trayetoria permite predeir
la posiion de las regiones en las futuras imagenes, mientras que el ontenido sobre
la forma se utiliza en el proeso de integraion temporal morfologia para generar
la segmentaion nal de la imagen n. Como ya se omento on anterioridad, este
proeso pretende obtener una mejor segmentaion de los vehulos al onsensuar todo
el onoimiento adquirido en las segmentaiones preedentes.
Como puede observarse en el diagrama de la Figura 1.3, los proesos de seguimiento
e integraion temporal no solo toman informaion de la memoria temporal, sino que
tambien la atualizan. De este modo, los resultados del proesamiento de una imagen
no son olvidados, sino que inuiran sobre las restantes segmentaiones.
El ultimo proeso, estimaion de los parametros de trao, utiliza la informaion
generada por los restantes proesos, que son los que realizan el analisis de movimiento,
para estimar la informaion referente al estado del trao. Aqu se realizan las tareas
relaionadas en la Seion 1.4, por un lado el omputo de los parametros estadstios,
18
Captulo 1. Introduion
y por el otro la generaion de eventos ante situaiones que requieren efetuar un aviso.
De auerdo on lo anteriormente expuesto, el resto de los aptulos se organizan
de la siguiente forma:
El Captulo 2 desribe la segmentaion estatia. En el se muestran algunos
metodos de segmentaion de regiones y se presentan los resultados del metodo
esogido, junto on algunas onlusiones.
El Captulo 3 trata aera de la estimaion y segmentaion de movimiento. Primeramente, se realiza una revision bibliograa de los distintos metodos de estimaion y segmentaion de movimiento. Posteriormente, se desribe el metodo
desarrollado en este trabajo, mostrando resultados y onlusiones.
El Captulo 4 desribe el metodo de seguimiento, y el uso que se hae de la
integraion temporal para generar la segmentaion nal de las imagenes.
El Captulo 5 presenta los detalles del sistema relaionados on la monitorizaion del trao. Ademas, se explian las tenias utilizadas para onseguir el
funionamiento en tiempo real. Se presentan diversos experimentos llevados a
abo sobre varias seuenias de trao utilizando el sistema de monitorizaion
global. Se realiza un analisis y una disusion sobre los resultados obtenidos on
los metodos expuestos en esta Tesis.
En el Captulo 6 se muestran las onlusiones, se resumen las prinipales aportaiones presentadas a lo largo del doumento, se referenian las publiaiones
surgidas de este trabajo, y se detallan algunas lneas de investigaion futura a
partir de los trabajos presentados en esta Tesis.
Cap
tulo 2
Segmentaion de la imagen de
referenia
Contenido
2.1 Partiion de una imagen en regiones . . . . . . . . . . . . .
19
2.1.1
2.1.2
2.1.3
2.1.4
Metodos basados en umbralizaion (thresholding)
Metodos basados en bordes . . . . . . . . . . . .
Metodos basados en regiones . . . . . . . . . . .
Eleion de un metodo de segmentaion . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.2.1
2.2.2
2.2.3
2.2.4
Estrutura del algoritmo . . . . . . . . . . .
El algoritmo de lasiaion de las k-medias
Algoritmo jerarquio de division de regiones
Union de regiones . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.2 Un algoritmo de segmentaion de imagenes estatias . . .
.
.
.
.
.
.
.
.
.
.
.
.
2.3 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4 Conlusiones . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
22
22
25
29
29
31
33
35
37
41
2.1 Partiion de una imagen en regiones
Tal y omo se omento en la introduion de esta tesis, el primer paso para realizar
el analisis de movimiento, segun nuestra aproximaion, onsiste en dividir la imagen
en regiones. Esta division debe ser realizada onforme a un riterio de homogeneidad
que garantie la existenia de una relaion entre los pxeles que sean integrados en
ada region. En realidad, este es un paso previo para la segmentaion denitiva que
sera realizada en etapas posteriores. No se pretende estableer una orrespondenia
biyetiva entre las regiones aqu extradas y los objetos de la esena. Tan solo se
aspira a que ada region perteneza a un unio objeto, aunque un objeto pueda estar
ompuesto por varias regiones.
20
Captulo 2. Segmentaion de la imagen de referenia
Figura 2.1: Una imagen tpia de vehulos irulando por una arretera
El anterior requisito es neesario puesto que en pasos posteriores se estimara el
movimiento de ada region. Dado que se asumira que objetos distintos se desplazan
on movimientos tambien distintos, la presenia de pxeles de dos objetos en una
misma region llevara a una estimaion de movimiento erronea.
En uanto al riterio de homogeneidad a elegir, analizando las imagenes de trao,
paree laro que este debe ser la intensidad de los pxeles de la imagen. Una segmentaion por textura no paree adeuada puesto que ni la arretera, ni los vehulos, que
son de olores uniformes, presentan texturas que sean apreiables a estas distanias,
omo se ve en la Figura 2.1, que muestra una tpia imagen de vehulos irulando
por una arretera. En esta imagen se puede apreiar tanto la uniformidad de la arretera omo la de los vehulos. La uniformidad de los vehulos se va haiendo mas
maniesta uanto mas lejana es la posiion de la amara.
Formalmente, se dene la segmentaion de imagenes omo un proeso que tpiamente partiiona el dominio espaial de la imagen en subonjuntos mutuamente
exlusivos, llamados regiones. Cada region es uniforme y homogenea on respeto a
alguna propiedad, tal omo la intensidad, el olor o la textura, y su valor diere de
una forma signiativa del de ada una de sus regiones veinas. Un proeso de segmentaion de imagen que use la intensidad omo valor de propiedad, produe regiones
llamadas araterstias tonales disretas.
Existen dos tipos de segmentaion [Sonka et al., 1993℄: ompleta y parial. El
resultado de la segmentaion ompleta es un onjunto disjunto de regiones que unvoamente se orresponden on los objetos de la imagen, mientras que en la segmentaion
parial las regiones no se orresponden diretamente on los objetos. Para onseguir
una segmentaion ompleta es neesaria la utilizaion de proesos de mas alto nivel
que empleen un onoimiento espeo del dominio del problema. Aunque en la
mayora de imagenes, la segmentaion on proesamiento de bajo nivel no onsigue
resolver ompletamente el problema, s al menos onsigue reduir su omplejidad, pues
2.1 Partiion de una imagen en regiones
21
los pxeles son agrupados en entidades de mayor nivel.
Segun las araterstias dominantes que se empleen en los metodos de
segmentaion, estos pueden ser divididos en tres grupos [Sonka et al., 1993,
Jain, 1989, Horn, 1986℄:
Basados en un onoimiento global aera de la imagen. Este onoimiento se
representa generalmente mediante un histograma, y la deniion de una serie de
umbrales u holguras. Por ello son llamados de umbralizaion (thresholding).
Basados en bordes (Edge-based). Detetan aquellos pxeles de la imagen que
orresponden a ambios brusos de intensidad. A menudo, estos ambios representan la frontera entre dos objetos distintos.
Basados en regiones (Region-based). Asignan diretamente los pxeles de la imagen a las diferentes regiones sin extraer previamente sus ontornos. Los pxeles
son asignados mediante el analisis de las veindades de las regiones, empleando
riterios de homogeneidad.
Los dos ultimos grupos de tenias son los que se adaptan a un mayor numero de
situaiones. Sin embargo, los basados en umbralizaion tambien tienen una gran utilidad, prinipalmente en aquellos dominios donde los objetos presentan una intensidad
uniforme y onoida a priori.
En teora, la segmentaion basada en regiones y la basada en bordes deberan
ser las dos aras de una misma moneda. Dado que los bordes forman los ontornos
de las regiones, ambos metodos deberan produir identios resultados. Los bordes
podran ser obtenidos a partir de las regiones mediante un algoritmo de seguimiento
de ontornos, y las regiones podran ser obtenidas a partir de los bordes usando un
algoritmo de relleno de ontornos. Desafortunadamente, en imagenes reales es raro
obtener bordes orretos a partir de regiones, y vieversa. Diversos fatores, omo el
rudo, impiden esto [Jain et al., 1995℄. Sin embargo, los resultados de ambos enfoques
pueden ser ombinados, por ejemplo mediante un grafo relaional.
2.1.1 Metodos basados en umbralizaion (thresholding)
La umbralizaion por niveles de gris es el proeso de segmentaion mas senillo y
rapido. Basiamente, este tipo de metodos onsiste en denir n umbrales uk , y n + 1
etiquetas Ej , de forma que al onjunto de pxeles on un valor de intensidad mayor
que uk 1 y menor que uk se le asigna la etiqueta Ek . De este modo, ada etiqueta
orresponde a una region diferente, on lo que la imagen queda segmentada.
Como es logio, el exito de este tipo de tenias dependera de la orreta eleion
de los umbrales. As, se han propuesto diversos metodos para alularlos:
Transformaion del histograma [Herman y Liu, 1978, Wezka y Rosenfeld, 1979℄.
22
Captulo 2. Segmentaion de la imagen de referenia
Aproximaion del histograma mediante funiones de densidad de probabilidad
de distribuion normal [Kittler y Illingworth, 1986, Mardia y Hainsworth, 1988,
Gupta y Sortrakul, 1998℄.
Renamiento jerarquio [Gross y Rosenfeld, 1987, Song et al., 1990,
Biswass y Pal, 2000℄.
Ademas, se han investigado diversos metodos para alular umbrales en tiempo
real [Hassan, 1989, Lavagetto, 1990℄. En [Sahoo et al., 1988, Gonzalez y Wintz, 1977,
Rosenfeld y Kak, 1982℄ se presentan revisiones mas amplias sobre este tipo de metodos.
2.1.2 Metodos basados en bordes
Consisten en la deteion de aquellos pxeles de la imagen que presentan un ambio bruso en su valor de nivel de gris. En la literatura podemos enontrar una
gran variedad de metodos para detetar estos pxeles [Canny, 1986, Roberts, 1977,
Zhou et al., 1989, Kittler et al., 1987, Gokmen y Li, 1990℄. Sin embargo, la imagen
resultante de la deteion de bordes no puede usarse omo una imagen segmentada
[Sonka et al., 1993℄. Esto se debe a que generalmente lo que se obtiene es un onjunto
de bordes pariales, los uales no denen ompletamente el ontorno de las regiones. As, es preiso utilizar otro tipo de tenias [Hong et al., 1980, Milgram, 1979,
Elder y Zuker, 1996℄, las uales permiten ombinar bordes pariales para onstruir
regiones. Desafortunadamente, estos metodos no siempre enuentran regiones aeptables. Ademas, estos proedimientos suelen ser demasiado omplejos, pues requieren
el estudio de las posibles onexiones entre todos los pxeles nales de los bordes que
forman una determinada veindad.
2.1.3 Metodos basados en regiones
A diferenia de los anteriores, los metodos basados en regiones tratan de agrupar
los pxeles de una manera direta, sin detetar previamente sus ontornos. Ademas,
sus resultados suelen ser mejores a los de los metodos de umbralizaion o bordes,
sobretodo uando las imagenes presentan ruido.
Para asignar los pxeles a una u otra region se emplea un riterio de homogeneidad. Muerle y Allen [Muerle y Allen, 1968℄, en uno de los primeros trabajos de segmentaion basada en regiones, denan una region omo \una porion de una imagen
ompleja, en la ual la distribuion estadstia de los niveles de gris es razonablemente
uniforme". Obviamente, esta deniion presupone un riterio de homogeneidad basado en la intensidad de la imagen. Sin embargo, existen otras propiedades que tambien
pueden ser usadas omo riterio, por ejemplo el olor, la textura o inluso un modelo.
El metodo de Muerle y Allen es onsiderado una tenia de reimiento de regiones, ya
que en suesivas iteraiones, a una region se le van a~nadiendo aquellos pxeles veinos
que umplen el riterio de homogeneidad.
Brie y Fennema [Brie y Fennema, 1970℄ presentan un metodo, tambien de reimiento, que emplea una estrategia similar para formar las regiones iniiales. Una
2.1 Partiion de una imagen en regiones
23
vez que los pxeles han sido distribuidos entre las regiones, se emplean una serie de
heurstias para analizar los bordes que separan ada par de regiones veinas. Cuando
un borde es onsiderado omo debil, el proedimiento lo elimina y une las regiones que
separaba. En [Feldman y Yakimovsky, 1974℄, el algoritmo de Brie y Fennema se ompleta on la inorporaion de dos nuevos pasos. En ellos se hae uso de informaion
semantia aera de los objetos que se sabe que omponen la imagen.
En [Revol y Jourlin, 1997℄ se presenta un algoritmo que realiza el reimiento
basandose en la preservaion de la varianza de las regiones. Para ello se aplian
operaiones morfologias que a~naden aquellos pxeles que no modian signiativamente el histograma de una region. Una de las araterstias de este metodo es que
en ada iteraion, la pertenenia de un pxel a una region puede ser reonsiderada. La
iniializaion del metodo se realiza a partir de unos pxeles semilla que son esogidos
por el usuario.
En los metodos hasta ahora vistos en este apartado, la estrategia onsiste en la
union suesiva de regiones. Como aso opuesto podemos onsiderar las tenias de
division de regiones [Robertson et al., 1973℄ (region splitting). Estas tenias parten
de la imagen omo una unia region, la ual es suesivamente subdividida. Xu y
Uberbaher [Xu y Uberbaher, 1997℄ han desarrollado reientemente un metodo de
este tipo. En el la imagen es representada por un arbol de mnima expansion en el
ual los pxeles de la imagen son los nodos, y los enlaes ontienen la diferenia de nivel
de gris entre dos pxeles. La segmentaion de la imagen onsiste en dividir el arbol
en ramas que minimien la diferenia de nivel de gris entre los pxeles que omponen
ada rama. De esta forma la imagen se divide en regiones de intensidad uniforme.
Las tenias de division no han tenido un gran exito, sin embargo, han dado
lugar a otras que ombinan ambos enfoques, division y union ( split and merge).
Segun el prinipio desarrollado por Horowitz y Pavlidis [Horowitz y Pavlidis, 1974℄,
las regiones similares adyaentes son unidas, mientras que las regiones no homogeneas
son divididas. En este metodo se usa una representaion piramidal de la imagen.
Cuando una region de un determinado nivel de la piramide no es homogenea, entones
es subdividida en uatro regiones uadradas que son situadas en el siguiente nivel
de la piramide. Cuando uatro regiones presentan una homogeneidad similar, se
agrupan. Este metodo presenta la desventaja de requerir que las regiones y sus uniones
tengan forma uadrada. As, estos mismos autores, en [Horowitz y Pavlidis, 1976℄,
proponen una modiaion que permite unir pares de regiones adyaentes uando
son suientemente uniformes. En este nuevo metodo se introdue el uso de arboles
para representar la estrutura piramidal. Las operaiones del algoritmo en la piramide
pueden ser expresadas de una forma onisa mediante un arbol de segmentaion, donde
los nodos hoja representan regiones homogeneas.
En [Hong, 1982℄ y [Pietikainen et al., 1982℄ se presentan otras dos modiaiones
que permiten el solapamiento de regiones en la estrutura piramidal. En
[Cho y Meer, 1997℄ se onstruye una piramide de imagenes a partir de la imagen
original. Cada nivel de la piramide orresponde a una resoluion diferente y lleva
asoiado un grafo de adyaenia de regiones. Este grafo permite unir en ada nivel
24
Captulo 2. Segmentaion de la imagen de referenia
aquellos pxeles on un nivel de gris similar, on lo que se dene una segmentaion
para ada nivel de la piramide. La segmentaion nal de la imagen, llamada por
los autores segmentaion de onsenso, se obtiene onsiderando la probabilidad de
que dos pxeles formen parte de una misma region. Por su parte, la probabilidad se
alula a partir del numero de vees que dos pxeles fueron unidos en los distintos
niveles de la piramide.
En [Gamba et al., 1997℄ se presenta un metodo de segmentaion que auna las segmentaiones basadas en regiones y bordes. El metodo esta dise~nado para la navegaion
autonoma de robots. Mediante la estimaion de los puntos de fuga de las lneas de
la imagen se denen las orientaiones de las regiones. Estas regiones son agrupadas
mediante una serie de heurstias que onsideran dihas orientaiones. Saber y otros
[Saber et al., 1997℄ han desarrollado otro metodo para ombinar bordes y regiones,
aunque para imagenes en olor. La tenia onsta de varios pasos: primero una estrategia de reimiento basada en Campos Aleatorios de Markov segmenta la imagen;
a ontinuaion, on los bordes extrados, se dividen aquellas regiones atravesadas por
uno de estos bordes; y nalmente, se unen las regiones que son divididas por un borde
no signiativo.
Un enfoque diferente para la segmentaion basada en regiones es el de los metodos
de agrupamiento (lustering). Esta estrategia onsiste en la apliaion de tenias
de agrupaion no supervisada para lasiar los pxeles de la imagen en diferentes
regiones. Se denen un onjunto de araterstias asoiadas a ada pxel, en base a
las uales se realiza la lasiaion.
\. . .al no exigir un onoimiento previo de las lases de objetos existentes,
los algoritmos de agrupamiento dotan de una gran robustez a la segmentaion de esenas . .. " [Maravall, 1993℄
Coleman y Andrews [Coleman y Andrews, 1979℄ denieron uno de estos metodos.
El algoritmo divide iniialmente la imagen en dos grupos (lusters), a los que se
asignan los pxeles mediante la tenia de lasiaion de las k-medias. Tras ada
apliaion de esta tenia se evalua si el numero de grupos es el adeuado, y en aso
ontrario, se a~nade un nuevo grupo a la imagen, para, a ontinuaion, proeder de
nuevo a la lasiaion de los pxeles. Esta estrategia permite que el numero de grupos
se adapte a las araterstias de la imagen, pero presenta la desventaja del alto oste
omputaional, pues requiere relasiar todos los pxeles de la imagen en reiteradas
oasiones.
El metodo de Kottke y Sun [Kottke y Sun, 1994℄ tambien emplea el lasiador de
las k-medias, pero para un numero jo de grupos. Este numero debe estableerse antes
de la segmentaion, lo ual implia que se debe poseer un ierto onoimiento previo de
la imagen. El espaio de araterstias es tridimensional: intensidad y oordenadas x
e y. Esto permite agrupar los pxeles por su similitud de nivel de gris, pero evitando la
dispersion de los pxeles de ada grupo dentro del dominio espaial. Como en ualquier
algoritmo basado en el de las k-medias, los pxeles se asignan al grupo uyo entro es
mas erano en el espaio de araterstias. Sin embargo, en este trabajo se emplea
2.1 Partiion de una imagen en regiones
25
una matriz de pesos que se realula ada iertas iteraiones. Diha matriz permite
ponderar la importania de ada araterstia y su atualizaion adapta los lusters
a las singularidades de ada imagen.
2.1.4 Eleion de un metodo de segmentaion
\La eleion de una tenia de segmentaion que sea apropiada para un
espeo tipo de imagen es un problema difil" [Pal y Pal, 1993℄.
Lo ideal sera disponer de un metodo que pudiera segmentar ualquier tipo de
imagenes. Sin embargo, la realidad es muy distinta. Disponemos de un onjunto de
tenias que han sido apliadas a muy diversos tipos de imagenes.
\No hay una unia tenia que pueda ser apliada a todas las imagenes,
ni todos los metodos son igualmente buenos para una determinada lase
de imagen" [Pal y Pal, 1993℄.
Ademas, no existe ningun proedimiento que permita medir uantitativamente, de
manera objetiva, la alidad del resultado de la apliaion de un metodo de segmentaion [Rosenfeld y Kak, 1982, Pal y Pal, 1993, Pratt, 1991, Zhang, 1997℄. Desafortunadamente, solo un observador humano puede omparar los resultados de diferentes
segmentaiones, lo que nos lleva a una forma de evaluaion que siempre tendra algun
grado de subjetividad.
Dados los tres grupos generales en los que hemos dividido las diferentes tenias
de segmentaion, reemos que la segmentaion a utilizar debe estar basada en regiones. La segmentaion basada en umbrales requiere ierto onoimiento aera de los
objetos que omponen la imagen. En nuestro aso, la imagen se ompone de una
parte ja, la alzada y sus alrededores, y una parte que ira variando de una imagen
a otra, los vehulos. Dada la diversidad de las tonalidades que pueden tener estos
ultimos es pratiamente imposible asentar ningun tipo de onoimiento aera de su
intensidad. Por su parte, la intensidad de la parte ja solo es uniforme en la alzada,
y no en sus alrededores. Ademas, su intensidad ira variando debido a las ondiiones
de iluminaion.
En uanto a los metodos basados en bordes, estos presentan los problemas antes
menionados: disontinuidad de los bordes en imagenes ruidosas, omo las grabadas
en el exterior, y la neesidad de usar un algoritmo de relleno para obtener las regiones
nales. Estas uestiones haen que su supuesto menor oste omputaional, frente al
de los algoritmos basados en regiones, no sea tal, por lo que reemos que un metodo
basado en regiones aborda el problema de forma mas direta.
Los vehulos y la alzada se araterizan por presentar una intensidad uniforme.
De aqu, es fail deduir que el riterio de homogeneidad debe ser el nivel de gris,
sin embargo, y dado que antes de apliar el proeso no onoemos ni el numero de
vehulos ni sus niveles de intensidad, el metodo de segmentaion debe adaptarse a la
imagen sin neesidad de poseer un onoimiento a priori.
26
Captulo 2. Segmentaion de la imagen de referenia
Los metodos de agrupamiento umplen estos requisitos, si bien presentan la desventaja de su elevado oste omputaional [Maravall, 1993℄. El oste omputaional
es proporional al numero de pxeles de la imagen y al numero de grupos. Esto se
debe a que son metodos iterativos, donde en ada iteraion, se toma ada pxel y se
estudia su inlusion en ada uno de los grupos. Por lo tanto, si deseamos utilizar uno
de estos metodos, debemos reduir tanto el numero de pxeles, omo el numero de
omparaiones neesarias para inluir un pxel en un grupo. El numero de pxeles
puede reduirse mediante una tenia de deteion de movimiento, es deir, detetando las zonas de la imagen donde se ha produido movimiento. Dado que lo que en
realidad nos interesa es segmentar la forma de los vehulos, solo neesitamos proesar
los pxeles que se han movido. Este tipo de tenias se veran en la Seion 3.2.
La reduion del numero de omparaiones para averiguar la pertenenia de un
pxel a alguno de los grupos disponibles puede onseguirse mediante un metodo
jerarquio. La estrategia onsistira en iniiar el proesamiento on tan solo unos
poos grupos. De esta forma, la imagen sera dividida en aquellos elementos mas preponderantes. Una vez onseguida esta division iniial, a ada uno de los grupos se le
volvera a apliar el metodo de agrupamiento. Para ello, el grupo sera subdividido en
grupos mas peque~nos, y se apliara el proeso de forma que los pxeles que perteneieran al grupo subdivido solo pudieran ser asignados a uno de estos nuevos grupos.
Este proedimiento se repetira en toda la jerarqua para ada grupo que no umpliese
el riterio de homogeneidad. Criterio que tendra que estar basado en la varianza del
nivel de intensidad, de forma que las regiones tengan un nivel de gris uniforme.
El metodo de Kottke y Sun [Kottke y Sun, 1994℄, que fue anteriormente refereniado en el apartado 2.1.3, es un metodo de segmentaion basado en el algoritmo de
lasiaion de las k-medias. Como ya omentamos, su araterstia mas interesante
es que el algoritmo realula los pesos que se asignan a ada araterstia (intensidad
y oordenadas x e y de ada pxel). Esto hae que los grupos se adapten failmente a
las peuliaridades de ada imagen.
En la Figura 2.2 se muestran diversas iteraiones del algoritmo de Kottke y Sun.
La imagen segmentada es la que aparee en la Figura 2.1, y el resultado nal de la segmentaion se muestra en la subgura 2.2.d. La subgura 2.2.a muestra la iniializaion
del proeso. En ella la imagen se divide en k grupos uadrados de igual tama~no, y se
alula el vetor de medias de las araterstias (oordenadas x e y y la intensidad).
A partir de la iniializaion se van repitiendo iteraiones en las uales ada pxel se
asigna al grupo que minimiza la diferenia entre las araterstias del pxel y el vetor
de medias del grupo. Las medias de ada grupo son realuladas tras ada iteraion,
y los pesos, utilizados en el alulo de las distanias, lo son ada ierto numero de
iteraiones. De este modo los grupos se van adaptando a la imagen.
En las subguras 2.2.b y 2.2. se muestran dos estados intermedios de la segmentaion. Conretamente, estas subguras orresponden a la distribuion de los pxeles
tras 9 y 12 iteraiones respetivamente. Como puede verse, la adaptaion es bastante rapida, de heho la forma de los vehulos puede apreiarse rudamente desde la
primera iteraion. Las restantes iteraiones redistribuyen los pxeles para renar su
2.1 Partiion de una imagen en regiones
(a)
ring
27
(b) 9a
Iniializaion del proeso de luste-
()
12a iteraion del proeso
iteraion del proeso
Resultado nal del proeso de lustering
(d)
Figura 2.2: Diversas iteraiones del proeso de segmentaion apliando el algoritmo
de Kottke y Sun.
forma.
El prinipal inonveniente de este algoritmo es la neesidad de espeiar el numero
de grupos antes de omenzar a proesar la imagen. Esto implia tener que tomar una
deision en un instante en que aun no se dispone de ninguna informaion. Ademas,
este inonveniente, ombinado on la adaptaion del algoritmo a la imagen, produe
una desventaja a~nadida: los grupos tienden a preservar la misma distribuion espaial
uniforme on la que fueron introduidos en el proeso de iniializaion. Esto se debe a
que el algoritmo en realidad fue dise~nado para imagenes donde el objeto a segmentar
oupase la mayor parte de la imagen. Cuando, omo en nuestro aso, esto no es
normal que sueda, se neesita utilizar un gran numero de grupos, on lo que en
realidad la adaptaion de los grupos no es global, sino loal. Es deir, ada grupo se
adapta a los pxeles de su veindad. As, algunas zonas de la imagen son exesivamente
28
Captulo 2. Segmentaion de la imagen de referenia
segmentadas, mientras que en otras se eha en falta la presenia de algun grupo mas
para renar la segmentaion.
En la segmentaion de la imagen de la Figura 2.1, subgura 2.2.d, se ven zonas
donde pueden apreiarse estos dos asos. El aso mas laro de sobresegmentaion es el
de la arretera. E sta ha sido dividida en una exesiva antidad de regiones, todas ellas
de similar tama~no y forma. La ausa es que en esa zona de la imagen no se produen
grandes diferenias de nivel de gris, por lo que el algoritmo prima la posiion del pxel
frente a su intensidad, on lo que ada pxel es asignado al grupo mas erano en la
imagen.
En el aso que nos oupa, la sobresegmentaion no tiene una exesiva importania,
pues un proeso nal podra unir failmente aquellas regiones veinas que presentan
una intensidad similar. Sin embargo, el aso de la subsegmentaion es muho mas
grave, e inluso irreversible. Cuando una misma region, grupo, engloba pxeles de dos
objetos, es muy difil dividir de nuevo la imagen, maxime uando existe una onexion
espaial entre los pxeles de ambos objetos.
En la segmentaion de la Figura 2.2.d se observa uno de estos asos en el grupo de
tres vehulos que irula por el arril de la dereha. All, una misma region agrupa
pxeles tanto del ohe que oupa la posiion entral del grupo, omo del amion que se
enuentra irulando delante de el. En este aso, dado que en la region los pxeles del
ohe y del amion estan onetados, ningun proeso de bajo nivel podra separarlos.
De heho, solo un observador humano podra detetar el error.
A pesar de las rtias que hemos vertido sobre el algoritmo de Kottke y Sun
[Kottke y Sun, 1994℄, nos paree que este es un metodo de segmentaion que se adapta
a los requerimientos de nuestro sistema. Se observa laramente que aree de un
enfoque global que permita redistribuir los grupos en la imagen de una forma mas
adeuada, mas grupos en las zonas que presentan mas detalles y menos en las zonas
uniformes. Sin embargo, a pesar de ello, los grupos se adaptan a las formas presentes
en ualquier imagen, y en la mayora de asos onsigue que los pxeles de una region
solo pertenezan a un objeto. Ademas, se trata de un metodo no supervisado, lo ual
resulta impresindible.
En el resto del aptulo presentamos el metodo de segmentaion que hemos desarrollado para esta Tesis. Aunque la semilla del metodo es, sin lugar a dudas, el metodo
de las k-medias presentado por Kottke y Sun, nuestro metodo, ademas, se basa en las
tenias de division y union de regiones. De estos metodos reogemos el onepto de
segmentaion jerarquia.
La segmentaion jerarquia onsiste en dividir la imagen apliando el algoritmo
de agrupamiento, iniialmente en solo unas poas regiones, para a ontinuaion ir
subdividiendo solo aquellas regiones que no umplen el riterio de homogeneidad.
Esta subdivision se realiza en ualquier nivel. Es deir, una region surgida de una
subdivision puede volver a ser subdividida si no umple el riterio. De esta forma,
el numero nal de regiones en que la imagen queda segmentada no se introdue al
prinipio, sino que son las espeidades de ada imagen las que nalmente ditan su
valor.
2.2 Un algoritmo de segmentaion de imagenes estatias
29
Por lo general, un algoritmo solo basado en la division de regiones aaba produiendo regiones veinas similares, por lo que debe ompletarse on un proedimiento
que una este tipo de regiones [Horowitz y Pavlidis, 1974℄. En nuestro metodo, esta
union se realiza al nal, una vez que se ha terminado el proeso de division de las
regiones. En este ultimo paso se analizan todas las posibles veindades entre regiones,
y se unen aquellas que presentan una intensidad similar.
La siguiente seion, 2.2, detalla el algoritmo de segmentaion propuesto en esta
Tesis. Primero se desriben de una forma general los distintos pasos del algoritmo,
Apartado 2.2.1. En el siguiente apartado, 2.2.2, se detalla el algoritmo de lasiaion
basado en agrupamiento. El Apartado 2.2.3 desribe la tenia de division reiterada
de regiones que permite al algoritmo adaptar el numero de las mismas a ada imagen.
Por su parte, el ultimo aparatado de la seion, 2.2.4, desribe los pasos nales del
metodo. En ellos, primero se dividen aquellas regiones que presentan grupos de pxeles
inonexos, y despues se unen las regiones veinas que resultan similares on respeto
al riterio de homogeneidad: la intensidad de la imagen. La Seion 2.3 muestra los
resultados de la apliaion del algoritmo sobre diversas imagenes, y la Seion 2.4
presenta las onlusiones de este aptulo.
2.2 Un algoritmo de segmentaion de imagenes estatias
2.2.1 Estrutura del algoritmo
La Figura 2.3 presenta un diagrama de ujo del metodo de segmentaion propuesto.
En el se observan los proedimientos prinipales, los uales seran ampliamente detallados en los siguientes apartados. Como puede verse en esta gura, existe un ierto
numero de proesos que se hallan dentro de un retangulo de lnea disontinua. Estos
proesos orresponden al algoritmo de lasiaion basado en las k-medias. Diho algoritmo de lasiaion se ejeuta varias vees, primero para la totalidad de la imagen,
y despues para ada una de las regiones, grupos, que son subdivididas.
El primer paso del algoritmo iniializa el proeso de lasiaion. En el, la imagen
se divide en regiones uadradas de igual tama~no, y se alula el vetor de medias de la
region. El siguiente paso asigna ada pxel a la region uyo entro, vetor de medias
de las araterstias, es el mas erano. Esta distania se alula restando el vetor
de medias de ada region, del vetor de araterstias del pxel que queremos asignar.
La diferenia es ponderada por una matriz de pesos que modia la importania de
ada araterstia.
Una vez terminada la lasiaion, y dado que se ha produido una redistribuion
de los pxeles, se proede a realular los vetores de medias de las regiones, los entros
de masas. Y a ontinuaion se toma la deision de parar o no la lasiaion, en base a
si se ha obtenido una soluion estable. Para ello se alula el maximo desplazamiento
que ha sufrido el entro de una region on respeto a la anterior iteraion, y uando es
menor que una onstante Ts, se onsidera que se ha llegado a una lasiaion estable.
Si la soluion es estable, se pasa al proeso de division de las regiones, y si no lo
30
Captulo 2. Segmentaion de la imagen de referenia
INICIO
Inicialización
del
proceso
ALGORITMO DE
CLASIFICACIÓN
Asignar los
píxeles a los
grupos
NO
Recalcular
medias
¿Proceso
estable?
NO
¿Recalcular
pesos?
SI
Recalcular
pesos
SI
¿Dividir
algún
grupo?
SI
Dividir
grupos
NO
Crear nuevos
grupos con los
píxeles no
conexos
Unir regiones
similares
FIN
Figura 2.3: Diagrama de ujo del metodo de segmentaion
2.2 Un algoritmo de segmentaion de imagenes estatias
31
es se mira si los pesos de las araterstias deben ser realulados. Estos pesos, que
son reogidos en una matriz Wj para ada region Rj , se realulan ada t iteraiones.
Tanto si se realulan los pesos, omo si no, se vuelve al proeso de asignaion de
pxeles a regiones, donde las variaiones en los vetores de medias de ada region
haen que la segmentaion se vaya adaptando a la imagen.
En el proeso de division de regiones se mira la uniformidad de ada region on
respeto a la intensidad. Aquellas regiones que no son uniformes se dividen en varias y
a ontinuaion se vuelve a apliar el algoritmo de lasiaion. En esta nueva ejeuion
de la lasiaion se trata ada region dividida omo una imagen independiente, de
forma que sus pxeles solo pueden asignarse a las nuevas regiones que la subdividen,
y no al resto de regiones de la imagen. Esto permite ir obteniendo, en ada nivel de
la subdivision, regiones de mayor detalle.
Una vez que todas las regiones umplen los riterios de homogeneidad, y ya no
pueden volver a ser subdivididas, se realiza un analisis de la onetividad de los pxeles
que perteneen a ada region. El algoritmo de lasiaion garantiza la agrupaion de
los pxeles de ada grupo en el espaio de araterstias, pero no en el espaio de la
imagen. Aunque la division produe regiones relativamente agrupadas en el espaio
de la imagen, siempre pueden apareer onjuntos inonexos de pxeles que perteneen
a un mismo grupo, pero que podran no perteneer a un mismo objeto. Por ello, se
forma una nueva region para ada uno de estos onjuntos.
El ultimo proeso del algoritmo redue la subdivision de la imagen. Toma ada
pareja de regiones veinas y las une uando presentan una intensidad similar. Este
ultimo paso permite unir regiones veinas surgidas de la misma o distintas ramas del
proeso de subdivision.
En los tres siguientes apartados se desriben el algoritmo de lasiaion de los
pxeles, el metodo de subdivision de regiones y la union de regiones similares. En ellos
presentaremos los detalles del metodo, que hasta ahora tan solo hemos sumarizado.
2.2.2 El algoritmo de lasiaion de las
k-medias
El algoritmo de lasiaion propuesto es una adaptaion del algoritmo de las kque emplea un espaio de araterstias tridimensional: las dos oordenadas
de la imagen y la intensidad de los pxeles. Mientras que la intensidad atua omo
riterio de homogeneidad para agrupar pxeles en regiones, las oordenadas evitan que
los pxeles que se asignan a ada region se dispersen por toda la imagen.
El algoritmo de las k-medias siempre parte de una division iniial del onjunto de
elementos en k grupos. En nuestro aso, la division iniial puede provenir bien del
proesamiento de toda la imagen, o bien de la subdivision de una region. En el primer
aso se divide la imagen en k regiones uadradas uniformemente distribuidas en la
imagen y de igual tama~no. En el segundo aso los grupos vienen dados por el propio
proeso de subdivision de ada region.
Una vez que se tiene la division iniial, se proede a alular los valores medios
de las tres araterstias en ada region. De esta forma, ada region es araterizada
medias
32
Captulo 2. Segmentaion de la imagen de referenia
por un entro de masas representado por un vetor mj = [mjx; mjy ; mjg ℄, donde jmjx es
la media de las oordenadas x dej los pxeles que perteneen a la region Rj , my es la
media de las oordenadas y y mg es la media de las intensidades.
Una vez que se tiene la distribuion iniial de las regiones on sus respetivos
vetores de medias, se omienza un proeso iterativo que examina ada pxel i y lo
asigna a aquella region Rj que minimiza el riterio E ij , en el ual pi es el vetor
de araterstias del pxel, mj es el vetor de araterstias de la region, Wj es la
matriz de pesos y k es el numero de regiones.
E ij = (pi mj )W j (pi mj )
j 2 f1; 2; :::kg
Con la siguiente forma para la matriz Wj :
(2.1)
3
2 j
wx 0 0
Wj = 6
4 0 wyj 0 75
(2.2)
wxj = j =xj ; wyj = j =yj ; wgj = j =gj
(2.3)
j = (xj yj gj )1=3
(2.4)
0 0
Esta asignaion de todos los pxeles se repite varias vees, realulandose en ada
una de ellas los vetores de medias. El proeso iterativo se detiene uando el maximo
desplazamiento del entro de oordenadas de una region es menor que una ierta onstante Ts. El valor de esta onstante inuye sobre la alidad de la segmentaion, pues
determina el nal de la adaptaion de las regiones a la imagen. Cuanto mas peque~no
sea su valor, mayor numero de iteraiones se produiran y, por tanto, mejor sera la
adaptaion. Sin embargo, un valor exesivamente peque~no provoara un elevado oste
omputaional, on muy poa variaion en la asignaion de los pxeles durante las
ultimas iteraiones.
La matriz de pesos Wj tiene dos funiones: permitir omparar medidas dispares
omo son la posiion y la intensidad, y dar mayor enfasis a aquellas araterstias de la
region que presenten una menor varianza 2. Para onseguir la segunda funionalidad
los pesos se jan de forma que se minimie la distania entre los pxeles de la region
Rj , sujeto a la restriion wxj wyj wgj = 1.
wgj
(
xj
)2 =
Rj
1 NX
(x
NRj 1 i=1 i
mjx )2
(2.5)
on Rj ,j y (xj )2 es la varianza de la
donde NRj es el numero de pxeles en la regi
j
j
oordenada x en la region R (las varianzas (y )2 y (g )2 se alularan de manera
similar a la Euaion 2.5).
2.2 Un algoritmo de segmentaion de imagenes estatias
33
Figura 2.4: Arbol
de representaion del proeso de division de las imagenes
En ausenia de ruido, y para regiones uniformes, la desviaion tpia de la intensidad, gj , puede ser ero. En tal aso se asignaranj los siguientes
pesos para dar una
j
j
importania total a la intensidad de los pxeles: wx = wy = 0 y wg = 1.
Cada region Rj tiene asoiada su propia matriz Wj . El uso de esta matriz posibilita que el algoritmo se adapte al ontenido de la imagen, dando mas importania a
aquel onjunto de araterstias que araterizan mejor las propiedades de una region
partiular. Estas matries son realuladas ada t iteraiones. Graias a este meanismo, el proeso requiere un menor numero de iteraiones para alanzar un estado
estable.
2.2.3 Algoritmo jerarquio de division de regiones
La mera apliaion del algoritmo de las k-medias, aunque adapta las regiones a la
imagen, mantiene una distribuion uniforme de las mismas. Esto es debido a que
el algoritmo no presenta una adaptaion global a la imagen, sino que las regiones
se adeuan a los pxeles de su veindad. Sin embargo, las propiedades de la imagen
varan en las distintas partes de la misma. As, algunas partes ontienen mas detalle y
deberan ser divididas en mas regiones que otras, donde la distribuion de intensidad
es mas uniforme, y por tanto no requeriran tantas regiones.
Para llevar a abo una distribuion de las regiones mas aorde on las araterstias de la imagen, ompletamos el metodo de lasiaion por agrupamiento on
una estrategia jerarquia. La Figura 2.4 pretende mostrar de una forma simple esta
estrategia. En ella observamos que la imagen original onsta basiamente de un ohe
34
Captulo 2. Segmentaion de la imagen de referenia
sobre un fondo uniforme. El primer paso de la segmentaion lasia los pxeles de la
imagen en dos regiones usando el algoritmo desrito en el Apartado 2.2.2. Dado que
la region vehulo no es uniforme, el siguiente paso onsiste en dividirla en dos nuevas
regiones y apliar de nuevo el algoritmo de lasiaion, eliminandose a ontinuaion
la region vehulo. Este mismo esquema se ira apliando hasta alanzar una division
de la imagen donde todas las regiones fuesen uniformes.
El anterior parrafo desribe de una forma simplista el algoritmo apliado. Sin
embargo, no diere en gran medida del algoritmo real. Iniialmente, el algoritmo
de agrupamiento se aplia a toda la imagen usando un peque~no numero de regiones.
Lo ideal sera onoer de antemano el numero de objetos en la imagen y usar un
numero similar de regiones, pero, dado que en nuestro aso (monitorizaion de trao)
esto no es posible, empleamos de seis a diez regiones iniiales. E ste es un numero
lo suientemente peque~no omo para no inrementar el oste omputaional, y lo
bastante grande omo para onseguir segmentar iniialmente los detalles prinipales de
la imagen. Una vez obtenida la primera lasiaion, se pasa el test de homogeneidad
a ada una de las regiones, y aquellas que no lo superanj son divididas en uatro
regiones. Este test onsiste en alular la desviaion tpia g de la intensidad de ada
region Rj y ver si su valor es mayor que una onstante Tmax .
Un detalle importante a onsiderar en la segmentaion es el tama~no nal de las
regiones. No es interesante obtener regiones ni demasiado grandes, ni tampoo demasiado peque~nas. Las grandes pueden enmasarar en su interior objetos peque~nos,
los uales pueden ser interesantes de segmentar. En uanto a las regiones demasiado
peque~nas, primeramente siempre es neesario estableer un maximo nivel de detalle,
pues en aso ontrario podramos obtener iertas regiones nales de tan solo unos
poos pxeles. Y en segundo lugar, no debemos olvidar que a posteriori deseamos realizar una estimaion de movimiento para las regiones obtenidas. Por tanto, debemos
estableer un mnimo tama~no que permita obtener regiones que aporten suiente
informaion de ara al analisis de movimiento.
Para ontrolar el maximo y mnimo tama~no de una region se estableen dos onstantes y , respetivamente. De esta forma, una region on un numero de pxeles
superior a siempre es dividida, mientras que una region de tama~no inferior a nuna lo es. Ademas, en el proeso de division, aquellas regiones que tienen un numero
de pxeles menor que dos vees la onstante no se dividen en uatro regiones, sino
en dos. De esta forma tratamos de evitar que al dividir este tipo de regiones, tras
el proeso de lasiaion se obtengan varias regiones de tama~no inferior a la mitad
de , heho que inevitablemente se produira si dividieramos la region en uatro. A
ontinuaion se sumariza la regla de division, en la ual NRi representa el numero de
pxeles de una region Ri:
8 No dividir
Si NRi < >
>
< Dividir en dos
Si NRi < 2 y NRi y gj > Tmax
j
>
>
: Dividir en uatro Si NRi < y NRi 2 y g > Tmax
Dividir en uatro Si NRi 2.2 Un algoritmo de segmentaion de imagenes estatias
35
Etiquetado de
Unión de
Unión de regiones
Adición de
componentes
regiones de
de pequeño
regiones grandes
conexas
intensidad similar
tamaño
a la región fondo
Figura 2.5: Las uatro etapas del proeso de union de regiones
De ara al resultado nal de la segmentaion no es en modo alguno transendente
estableer un valor preiso para las onstantes y . En nuestra apliaion se suele
usar para un valor un poo mayor al numero de pxeles que esperamos que oupe el
mayor vehulo de la seuenia. Para usamos dos tipos de valores dependiendo de las
araterstias de la imagen, uando esta apenas presenta perspetiva se usa la mitad
del numero de pxeles que oupe la proyeion de un ohe de tama~no normal, mientras
que uando s existe perspetiva se usa el tama~no de la proyeion mas peque~na de
vehulo que se desplae on un movimiento apreiable. Este ultimo valor se debe
a que en los vehulos muy alejados es pratiamente imposible apreiar movimiento
sobre el plano de la imagen. Por lo tanto, de nada nos sirve segmentarlos en la imagen
original si posteriormente la segmentaion basada en movimiento los va a delarar
omo estatios, lo ual hara que los una al fondo de la imagen.
2.2.4 Union de regiones
El ometido de esta etapa nal de la segmentaion es unir aquellas regiones adyaentes
on similares niveles de intensidad media. De esta forma se pretende obtener una
division de la imagen on regiones lo mas grandes posibles, pero on todos sus pxeles
onetados. Es deir, que entre ualquier par de pxeles perteneientes a una misma
region siempre exista un amino interior a la region que permita llegar desde uno hasta
el otro. La Figura 2.5 muestra los uatro pasos del proeso de union de regiones.
Lamentablemente, el algoritmo de lasiaion empleado no garantiza por ompleto esa interonexion de los pxeles de una region. En ambio, s que se obtienen grupos
de puntos unidos en el espaio tridimensional usado para la lasiaion (oordenadas
e intensidad). Pero no asegura que en el espaio de la imagen los pxeles de una region
sean neesariamente onexos.
Por tanto, el primer paso onsiste en dividir ada region en regiones formadas por
grupos onexos de pxeles, lo ual nos asegurara que ada region tan solo pertenee
a un unio objeto del mundo real. En la pratia, la mayora de los pxeles que
omponen una region se hayan onetados (entre un 70 y un 90 por iento de los
pxeles lo estan), formando el resto de pxeles peque~nos grupos de apenas unos poos
elementos loalizados era del onjunto prinipal.
Una vez realizada esta tarea, el siguiente paso es intentar reduir el numero de
regiones. Para ello se unen aquellas regiones veinas que presentan una intensidad
similar. La similitud puede evaluarse de diversas formas. Una posibilidad es asumir
que los valores de intensidad de las regiones siguen distribuiones de probabilidad
36
Captulo 2. Segmentaion de la imagen de referenia
normal [Jain et al., 1995℄, lo ual lleva al alulo de una razon L
NR1 +NR2
L = 0N 1 N 2
1 R 2 R
(2.6)
donde 0 es la desviaion tpia onjunta de las regiones R1 y R2, 1 y 2 son las
desviaiones tpias de las regiones R1 y R2, y NR y NR son el numero de pxeles
de las regiones R1 y R2. Cuando el ratio L es menor que un determinado umbral,
entones se puede onsiderar que solo existe una region.
En la implementaion de nuestro metodo utilizamos esta medida de similitud.
Sin embargo, uando el sistema debe trabajar en tiempo real, el anterior metodo de
similitud es substituido por una simple omparaion de las medias de intensidad de
las regiones. Aunque se produen ligeras variaiones, esta simplifaion del metodo nos
evita el alulo de todas las varianzas onjuntas entre regiones adyaentes.
Por ultimo, se toman aquellas regiones que son demasiado peque~nas omo para
ser signiativas y se unen a la region adyaente mas similar o a la que presenta
un mayor ontorno de veindad. En este ultimo paso, las regiones son ordenadas
segun el numero de pxeles que las omponen, empezando por las mas peque~nas.
Tomando omo referenia la onstante denida en la regla de division de regiones, se
han denido experimentalmente varias proporiones de este valor, las uales permiten
difereniar la importania de las regiones peque~nas. Cuando el tama~no de una region
es menor que =4, sus pxeles se asignan a la region on mayor veindad. Cuando el
tama~no es mayor que =4 y menor que =2 entones la region es asignada a la mas
similar.
1
2
Asignaion por veindad Si NRi < =4
Asignaion por similitud Si =4 NRi =2
Esta distinion se hae porque se onsidera que los grupos de pxeles de tama~no
menor a =4 no representan entidades signiativas, pudiendo orresponder a peque~nos detalles sin importania, o quizas a efetos luminosos, ruido o transiiones en
los bordes de las regiones. Por ello, su intensidad no puede onsiderarse omo una
medida de similitud, y lo que se intenta es inluirlas en la region que las rodea total o
parialmente. Otra posibilidad hubiera sido el desestimar este tipo de regiones, y no
realizar un estudio de su movimiento. Sin embargo, esta opion fue desestimada tras
observar en algunos experimentos que su no inlusion poda modiar las relaiones
de veindad entre otras regiones mas importantes.
En la apliaion del metodo de segmentaion a nuestro problema partimos on
una ventaja importante que nos permitira simpliar aun mas la segmentaion nal.
Sabemos que el parametro representa el tama~no del mayor vehulo on el que nos
podemos enontrar en una imagen. Por tanto, podemos unir todas aquellas regiones
on un numero de pxeles superior a ese valor, pues sabemos que forman parte del
fondo estatio.
2.3 Resultados
37
2.3 Resultados
El algoritmo presentado en este aptulo ha sido probado sobre distintos tipos de
imagenes, prinipalmente imagenes de trao tanto urbano omo de arretera. Las
Figuras 2.6 y 2.7 muestran varias fases del proeso de segmentaion sobre dos imagenes
de trao. Dihas imagenes apareen en las subguras 2.6.a y 2.7.a. La primera forma
parte de una seuenia grabada en la arretera N-234 a su paso por las eranas de
la Universitat Jaume I. En esta imagen pueden verse diez vehulos, nueve sobre la
arretera y uno mas irulando a veloidad lenta por un amino veinal que disurre
paralelo a la misma. La segunda imagen orresponde a una esena de trao urbano
donde un vehulo esta aminorando su veloidad al llegar frente a un semaforo. En
esta imagen pueden observarse distintos ohes que se enuentran aparados a ambos
lados de la alzada. Esta imagen orresponde a una seuenia tomada en la avenida
Blaso Iba~nez de Valenia.
La imagen de la Figura 2.6 orresponde a un tama~no de 384x288 y los parametros
usados para su segmentaion fueron: numero iniial de regiones= 12, t = 9, Ts = 1:0,
Tmax = 12, = 3500 y = 150. Por lo que respeta a la imagen de la Figura 2.7,
su tama~no es 192x144 y los parametros usados fueron: numero iniial de regiones= 6,
t = 9, Ts = 1:0, Tmax = 12, = 2500 y = 100. La variaion en los parametros se
debe uniamente al tama~no de las imagenes, lo ual obviamente inuye en el tama~no
de los vehulos. Se reduen los parametros y y el numero de regiones iniiales, el
resto de parametros permaneen iguales.
La jaion de parametros se realiza en el lugar donde se instala el sistema, partiendo de las ombinaiones anteriores, para sus respetivos tama~nos de imagen. Se
realizan una serie de segmentaiones y se adaptan los parametros segun los resultados.
Habitualmente, los ambios solo suelen afetar a los valores de y . Observando el
tama~no de los vehulos, se intenta tomar el menor valor posible para y el mayor
posible para para reduir el numero de regiones resultantes. El parametro puede
ser aumentado uando la iluminaion es buena o reduido uando baja el ontraste
de la imagen. El parametro Ts puede ser aumentado uando los vehulos oupan
un espaio onsiderable on respeto al tama~no de la imagen. En estos asos una
segmentaion de menor alidad apenas afetara al resultado nal. En ualquier aso,
una vez jados los parametros ya no es neesario volver a modiarlos, on lo que la
segmentaion podra funionar sin la intervenion de un operador humano.
Las subguras 2.6.b y 2.7.b orresponden a las fases de iniializaion del proeso.
Aqu, la imagen es dividida en un reduido numero de regiones distribuidas uniformemente en la imagen. Una vez heho esto, tal y omo se omento en la seion anterior,
se proeda a alular los vetores de medias de ada region y se iniiaba el proeso
de lasiaion de los pxeles. El resultado de esta lasiaion puede verse en las
subguras 2.6. y 2.7.. En ellas puede apreiarse omo a pesar del peque~no numero
de regiones usado, ya empieza a distinguirse la forma de la mayora de los objetos de
la imagen.
En las dos siguientes fases de la segmentaion, subguras 2.6.d y 2.7.d, puede
38
Captulo 2. Segmentaion de la imagen de referenia
(a)
Imagen original.
Clasiaion de los
pixeles tras la primera subdivision.
(d)
(b)
Iniializaion del proeso.
Apliaion del algoritmo de lasiaion sobre la
division iniial.
Clasiaion de los
pixeles tras la segunda subdivision.
Clasiaion de los
pixeles tras la terera subdivision.
(e)
Division de la imagen
antes del proeso de union
de regiones.
(g)
()
(f )
(h) Segmentai
on de la
imagen tras realizar la
union de regiones..
Figura 2.6: Segmentaion de una imagen de trao en una arretera.
2.3 Resultados
(a)
39
Imagen original.
(b)
so.
Clasiaion de los
pixeles tras la primera subdivision.
(d)
Iniializaion del proe-
Clasiaion de los
pixeles tras la segunda subdivision.
(e)
Apliaion del algoritmo
de lasiaion sobre la division iniial.
()
Division de la imagen
antes del proeso de union
de regiones.
(f )
Segmentaion de la
imagen tras realizar la
union de regiones.
(g)
Figura 2.7: Segmentaion de una imagen de trao urbano.
40
Captulo 2. Segmentaion de la imagen de referenia
Segmentaion nal de la imagen de la
arretera.
(a)
(b)
na.
Segmentaion nal de la imagen urba-
Figura 2.8: Resultado nal de la segmentaion una vez unidas las regiones de
tama~no mayor a .
observarse omo todas las regiones han sido subdivididas y los pxeles relasiados
entre las nuevas regiones. En la siguiente subdivision y lasiaion, subguras 2.6.e
y 2.7.e, puede observarse que algunas de las regiones obtenidas en la anterior lasiaion permaneen intatas desde entones. Esto es debido a que han alanzado una
uniformidad on respeto a la intensidad y un tama~no menor que el parametro . Esto
se produe prinipalmente en las regiones situadas sobre la proyeion de la arretera,
donde apenas existen ambios de intensidad.
Las subguras 2.6.f y 2.7.f muestran el resultado tras la ultima subdivision y lasiaion. Despues de esta ultima ya no se produen nuevas divisiones, pues la totalidad
de las regiones umplen el riterio de homogeneidad. Las siguientes subguras, 2.6.h
y 2.7.g, orresponden al resultado nal de la segmentaion de las imagenes. Aqu se
ha realizado la union de aquellas regiones adyaentes que tienen una intensidad media
similar.
La Figura 2.8 representa la etapa que hemos a~nadido para el aso de la segmentaion de trao. Estos resultados se muestran en una gura aparte, ya que no neesariamente deberan formar parte de un algoritmo de segmentaion. La ultima parte
en realidad es solo apliable a un aso omo el nuestro, donde se sabe que los objetos
tienen un tama~no relativamente peque~no omparado on el tama~no de la imagen. La
subgura 2.8.a orresponde al estado nal de la segmentaion de la imagen de trao
en arretera, mientras que la subgura 2.8.b es la respetiva segmentaion nal de la
imagen urbana.
Puede observarse en las dos subguras (2.8.a y 2.8.b) que on esta etapa onseguimos formar una region de gran tama~no, la ual aglutina una gran parte del total
del fondo estatio de la imagen, aunque lo mas importante es que pratiamente se
2.4 Conlusiones
41
ha onseguido aislar a los objetos moviles. Esto es de gran importania, pues, omo omentaremos en el siguiente aptulo, a menudo una region de tipo arretera
que se haya proxima a un vehulo produe una respuesta falsa en la estimaion del
movimiento. Esta falsa respuesta es induida por la region vehulo, debido a que al
avanzar esta oultando parte de la region arretera. Esto provoa que a vees un falso
movimiento que ompense la perdida de esos pxeles produza un menor error que el
movimiento verdadero, el ual es ero. Se profundizara sobre esta problematia en el
proximo aptulo, pero en ualquier aso, paree laro que uanto antes onsigamos
unir una region al fondo, mejor (por supuesto solo si realmente pertenee al fondo).
Una vez unida al fondo sabemos que su estimaion de movimiento sera orreta (igual
a ero), y que no se la unira por error a una region veina on movimiento. Ademas,
esto representa un ahorro fundamental en el tiempo de alulo, pues para la region
fondo, no es neesario realizar una estimaion de movimiento, ya que al permaneer
la amara estatia, este es igual a ero.
El ultimo paso onsigue que pratiamente toda la esena quede dividida en dos
grupos prinipales de pxeles, los que orresponden a la arretera, y los que orresponden a los vehulos. La prinipal exepion la onstituyen las se~nales horizontales de
la alzada, pues ni por su intensidad, ni por su tama~no pueden unirse al resto de la
arretera. Su intensidad es laramente difereniada y su tama~no no es ni tan peque~no
omo para ser despreiable, ni mayor que el de un vehulo, on lo que no pueden
unirse al fondo. En este tipo de regiones, omo veremos en el proximo aptulo, solo
las lneas ontinuas pueden ausar mas diultades a la estimaion de movimiento.
Este es un aso similar al que hemos omentado sobre las regiones arretera que son
veinas a regiones vehulo. En uanto al resto de se~nales horizontales, ehas o lneas
disontinuas, su estimaion siempre es orreta, dado que longitudinalmente estan
laramente delimitadas.
2.4 Conlusiones
En este aptulo se ha presentado un metodo no supervisado de segmentaion de
imagenes. Se ha empleado omo riterio de homogeneidad la intensidad de los pxeles,
de esta forma, la imagen se divide en regiones de intensidad uniforme. Este enfoque es
partiularmente util dentro del ambito de apliaion del algoritmo, esenas de trao.
En ellas, tanto los objetos que se mueven, vehulos, omo la mayor parte del fondo
de la imagen, alzada, se araterizan por tener texturas asi uniformes, apareiendo
omo areas de nivel de gris asi onstante.
El metodo utiliza una estrategia jerarquia en la que la imagen es iniialmente
dividida en unas poas regiones, las uales son suesivamente subdivididas hasta que
su distribuion de intensidad interna es uniforme. Esta estrategia permite, por una
parte, adaptar el numero de regiones a las araterstias de la imagen, y por otro,
reduir el tiempo de alulo, al simpliar el problema de lasiaion de los pxeles,
lasiaion basada en la tenia de las k-medias. De este modo, las regiones se
adaptan a la imagen sin requerir un onoimiento previo de la misma.
42
Captulo 2. Segmentaion de la imagen de referenia
Una vez aabadas las divisiones de las regiones, una etapa posterior del algoritmo
une aquellas regiones que presentan una intensidad similar. Con esto se onsigue
evitar la sobre-segmentaion de la imagen, permitiendose que regiones surgidas de
subdivisiones de distintas regiones puedan nalmente formar parte de una misma
region.
Al nal del algoritmo se ha inluido una ultima etapa onsistente en unir aquellas
regiones de tama~no mayor al que pueda alanzar un vehulo. El resultado es el
surgimiento de una gran region que engloba la mayor parte de las zonas uniformes
de la imagen, pero que no orresponden a vehulos. En lo que respeta a la zona de
mayor interes en la imagen, la arretera, esto se tradue en que queda pratiamente
dividida en dos tipos de pxeles, los de lase \arretera" y los de lase \vehulo".
Sin lugar a dudas, este resultado es un gran salto haia nuestro objetivo nal: la
extraion de aquellas regiones que se mueven. Efetivamente, falta tomar la deision
de que regiones moviles orresponden a ada vehulo, pero esto sera realizado on la
ayuda del analisis de movimiento, tema que se aborda en el siguiente aptulo.
El metodo de segmentaion presentado en este aptulo no es el unio que puede
emplear el sistema de monitorizaion de trao. Puede ser aeptable ualquier otro
metodo que umpla las restriiones impuestas al nuestro:
Ser no supervisado
Adaptar el numero nal de regiones a las araterstias de la imagen
Que ada una de las regiones resultantes solo orresponda a un unio objeto,
aunque un objeto pueda onstar de varias regiones.
Cap
tulo 3
Analisis de movimiento
Contenido
3.1 Introduion . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
3.1.1
3.1.2
3.1.3
3.1.4
3.1.5
Metodos basados en substraion de imagenes .
Metodos basados en el gradiente . . . . . . . .
Metodos basados en araterstias . . . . . . .
El metodo propuesto . . . . . . . . . . . . . . .
Estrutura del aptulo . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.4.1
3.4.2
3.4.3
3.4.4
El algoritmo basio de estimaion de movimiento
La estrategia multiresoluion . . . . . . . . . . .
Estimaion de movimiento on preision subpxel
Apliaion de estadstios robustos . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.5.1
3.5.2
Segmentaion de regiones on movimiento oherente . . . . . 70
Segmentaion on reestimaion de movimiento . . . . . . . . 71
3.2 Deteion de movimiento . . . . . . . . . . . . . . . . . . . .
3.3 Reduion del numero de regiones . . . . . . . . . . . . . .
3.4 Estimaion de movimiento . . . . . . . . . . . . . . . . . . .
3.5 Segmentaion . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.6 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.7 Conlusiones . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
47
50
54
56
57
61
64
64
67
67
67
70
72
85
3.1 Introduion
El analisis de movimiento proporiona valiosa informaion a un sistema basado en
vision. Con la ayuda de esta informaion es mas fail interpretar una esena, permitiendo tanto detetar y segmentar los objetos que se hallan en movimiento, omo
onoer y predeir su omportamiento atual y futuro.
44
Captulo 3. Analisis de movimiento
La idea basia es que si agrupamos aquellos pxeles que se mueven on un mismo
movimiento, entones habremos extrado la forma de los objetos que se estan moviendo en la imagen. En el aso de la monitorizaion de trao, ada grupo de pxeles
orrespondera a un vehulo diferente. Extrayendo su forma y onoiendo su omportamiento en la imagen podemos alular los parametros neesarios para llevar a abo
nuestras tareas de ontrol.
Nuestro objetivo en esta fase del algoritmo es tomar dos imagenes onseutivas
de una seuenia y analizar los ambios que la primera de ellas ha experimentado
para llegar a onvertirse en la segunda. Para realizar esto se emplearan diversas
tenias, todas ellas relaionadas on el movimiento. En primer lugar una deteion
de movimiento. Con esta tenia se pretende averiguar que zonas de la imagen son las
que han experimentado una variaion, y por lo tanto son las que pueden orresponder
a proyeiones de objetos en movimiento. La deteion no aporta informaion de
alta alidad, pero permite reduir el oste omputaional del algoritmo al disriminar
entre las zonas que han ambiado y las que no. Dado que lo que busamos son objetos
moviles no es neesario apliar el algoritmo a los pxeles que no se han movido.
El segundo tipo de tenias a emplear son las de estimaion de movimiento. Con
ellas se estima ual ha sido el desplazamiento que ha experimentado ada uno de los
pxeles de la imagen. El ultimo tipo de tenias a emplear son las de segmentaion
de movimiento. Estas tenias agrupan los pxeles que se desplazan on el mismo
movimiento, lo ual, omo ya hemos diho, se realiza on el objetivo de extraer la
forma de los objetos que se estan moviendo.
Los metodos de analisis de movimiento son normalmente divididos en tres grandes
grupos [Sonka et al., 1993℄, [Holden, 1993℄, [Thevenaz, 1990℄:
Metodos basados en substraion de imagenes
Metodos basados en el gradiente
Metodos basados en araterstias
3.1.1 Metodos basados en substraion de imagenes
Los metodos basados en substraion de imagenes se usan prinipalmente para disriminar entre dos grupos de pxeles: los que perteneen al fondo estatio y los que
orresponden a los objetos que se estan moviendo. Dada la esasa informaion que
proporionan, no permiten otro tipo de tareas omo, por ejemplo, estimar los vetores
de movimiento de los pxeles. Sin embargo, su mas interesante ventaja es su bajo
oste de omputaion.
En este tipo de metodos, se rea una imagen diferenia al restar dos imagenes. La
resta se realiza pxel a pxel y tomando el valor absoluto del resultado. Asumiendo
que el valor de los pxeles estatios no ambia, el resultado de restar un mismo pxel en
dos imagenes distintas debera ser ero. Sin embargo, debido a la presenia de ruido,
lo que se suele obtener es un valor erano a ero, por lo que es neesario utilizar un
3.1 Introduion
45
umbral. De esta forma los pxeles on un valor absoluto de la resta superior a ese
umbral son delarados omo no estatios.
Este tipo de tenias se dividen en dos lases dependiendo de que dos imagenes
de la seuenia se restan. Dihas imagenes pueden ser bien dos onseutivas, o bien,
la imagen atual a segmentar y una imagen estatia. Esta imagen orresponde a
una instantanea de la esena en la ual solo aparee el fondo estatio sin ninguno
de los objetos que se moveran. En ualquiera de ambos asos, este tipo de metodos
imponen dos requerimientos muy restritivos: que la amara permaneza estatia y
que la iluminaion sea onstante.
La utilizaion de este tipo de metodos es espeialmente apta para odiaion
y ompresion de vdeo [Haskell et al., 1972℄, ya que permite detetar las zonas de
la imagen que deben ser transmitidas para generar una imagen a partir de la anterior. Sin embargo, han sido usados en diversas apliaiones, generalmente en onjunion on otros tipos de tenias: trao [Waterfall y Dikinson, 1984℄, imagen media
[Abdel-Malek et al., 1990℄, imagenes de satelite [Eghbali, 1979℄, seguimiento de personas [Segen y Pingali, 1996℄, et.
Los primeros trabajos realizaban un simple proesamiento pxel a pxel. Sin embargo, Jain [Jain, 1985℄ modio el metodo para onsiderar bloques de pxeles, lo
ual lo dotaba de una mayor robustez. Hsu et al. [Hsu et al., 1984℄ propusieron un
planteamiento estadstio para el problema de la deteion de movimiento entre dos
imagenes onseutivas. En el se reorren las dos imagenes on dos ventanas, una para
ada imagen, de igual tama~no y situadas sobre la misma posiion, y se testean dos
hipotesis: que no exista ambio temporal, on lo que las funiones de intensidad de ambas ventanas deben tener la misma parametrizaion; y que s exista ambio temporal,
on lo que los parametros de las funiones de ambas ventanas deberan ser distintos.
Wiklund y Granlund [Wiklund y Granlund, 1987℄ emplearon tres imagenes onseutivas, atual, anterior y siguiente, para alanzar una mayor robustez. De esta forma,
la deteion sobre la imagen atual es el resultado de integrar los mapas de ambio
temporal alulados para las imagenes anterior y atual, y para las imagenes atual
y siguiente. En [Bouthemy y Lalade, 1993℄ se unian los dos enfoques anteriores: el
uso de tres imagenes y el planteamiento estadstio. En el se realiza un etiquetado
estadstio de los pxeles de la imagen mediante un enfoque bayesiano y un proeso
de relajaion. Se emplean ampos aleatorios de Markov para obtener masaras de los
objetos en movimiento, usando la deteion anterior para iniializar el proesamiento
de la imagen atual. Gil et al. [Gil y Pun, 1993, Gil et al., 1994℄ han desarrollado
una estrategia multiresoluion, donde se realiza un proesamiento en ada nivel de
resoluion de la imagen, y los resultados obtenidos en un nivel son inorporados al siguiente nivel de mayor resoluion. En este mismo trabajo se inorpora la busqueda de
ambios de signo en las imagenes diferenia para detetar bordes debiles. El resultado
es una masara alrededor de la zona oupada por ada objeto movil. Sin embargo,
esta masara suele ser demasiado amplia, por lo que es neesario apliar un posterior
renamiento.
Un tipo distinto de metodos son los que emplean una imagen referenia orrespon-
46
Captulo 3. Analisis de movimiento
diente al fondo estatio de la imagen. Esto permite simpliar el problema, ya que los
mapas de ambio temporal se orresponden on las masaras de los objetos en movimiento. Sin embargo, este metodo plantea la diultad de que la imagen referenia
debe ser atualizada onstantemente para poder reejar posibles variaiones tanto en
el fondo omo en las ondiiones de iluminaion. La atualizaion de los pxeles no
puede realizarse por una mera substituion del valor de un pxel por el valor mas reiente, por lo que es freuente el uso de ltros. En [Donohoe et al., 1988℄ se emplea un
ltro lineal dise~nado mediante pesos, mientras que en [Karmann y von Brandt, 1990℄
se usa un ltro de Kalman. Este ultimo metodo ha sido usado en [Kilger, 1992℄ y
[Koller et al., 1994b℄. En [Koller et al., 1994b℄ el metodo es mejorado on la apliaion previa de un ltro gausiano que redue la inuenia del ruido.
No podemos nalizar el omentario aera de las imagenes diferenia sin rese~nar
brevemente otro de sus importantes usos: la estimaion de las trayetorias mas
freuentes. La idea basia es aumular las diferenias obtenidas para ada pxel de
la imagen. De esta forma, y tras el proesamiento de un gran numero de imagenes
de una seuenia, los valores aumulados mas altos orresponderan al reorrido
que mas freuentemente realizan los objetos moviles de la imagen. Steward et al.
[Steward et al., 1994℄ emplean esta idea para detetar los arriles de las autopistas
y as reduir el espaio de busqueda de los vehulos. En la Figura 3.1 pueden
verse varias fases de la apliaion de este metodo. Las dos primeras subguras son
dos imagenes de la seuenia. Las subguras 3.1. y 3.1.d muestran los valores
aumulados para ada pxel en dos instantes del proesamiento. En ellas los valores
mas laros orresponden a pxeles donde mas vees se ha detetado movimiento.
Las subguras 3.1.e y 3.1.f orresponden a los dos ultimos pasos del algoritmo: la
umbralizaion y la apliaion de una operaion morfologia que permite eliminar los
peque~nos grupos de pxeles. Por su parte, en [Fernyhough et al., 1996℄ se emplea esta
tenia para detetar las trayetorias mas omunes que siguen las personas dentro de
determinados esenarios objeto de analisis.
El metodo de Steward et al. [Steward et al., 1994℄ representa una automatizaion
del proeso de busqueda de arriles. En una apliaion omo la nuestra, es de gran
utilidad el heho de que el metodo desarrollado sepa donde se enuentran, ya que esto
puede llegar a reduir el espaio de la imagen donde apliar el proeso hasta en un
30%. Sin embargo, presentan un problema: los arenes de las arreteras quedan fuera
del mapa de atividad, ya que son zonas donde raramente irulan vehulos. Ademas,
omo vemos en la subgura 3.1.f, tambien alguna zona entral de la arretera queda
fuera del mapa, on lo que uando se produza un adelantamiento por esta zona una
parte del vehulo no sera segmentada. A pesar de que en alguno de nuestros trabajos
anteriores [Badenas, 1996, Badenas et al., 1997℄ hemos usado este metodo para reduir
el oste omputaional, en la atualidad preferimos usar mapas de atividad generados
manualmente, ya que evitan los problemas menionados, y pueden onsiderarse omo
una parte del proeso de alibraion iniial.
3.1 Introduion
47
(a) Primera imagen de la
seuenia.
(b)
Imagen numero 730
de la seuenia.
()
Valores aumulados
despues de proesar 900
imagenes.
(e)
Mapa de atividad
despues de apliar una
holgura a los valores aumulados.
(f )
(d)
Valores aumulados
despues de proesar 250
imagenes.
Mapa de atividad
depues de apliar una
operaion morfologia
que elimine los peque~nos
grupos de pixeles.
Figura 3.1: Varias etapas del metodo de Steward et al. para deteion de los arriles
de una arretera.
3.1.2 Metodos basados en el gradiente
Los metodos basados en el gradiente explotan la relaion entre los gradientes
temporal y espaial de la imagen. Se basan en la onoida euaion de la
restriion del ujo optio [Horn y Shunk, 1981, Shunk, 1989, Nagel, 1983b,
Nagel y Enkelmann, 1984, Verri y Poggio, 1987℄, mas omunmente onoida omo la
euaion del ujo optio:
Ix (x; t)u + Iy (x; t)v + It (x; t) = 0
(3.1)
Diha euaion relaiona el ampo de veloidad (u = dxdt ; v = dydt ) on las variaiones
temporales y espaiales de la intensidad de la imagen I (x; t). En la anterior euaion,
las derivadas temporal It y espaiales Ix, Iy de la intensidad I se alulan diretamente
a partir de la imagen. En ada punto de la imagen existen dos inognitas que deben
ser aluladas u y v, y tan solo una euaion. Por lo tanto, los omponentes de
la veloidad en ualquier punto de la imagen no pueden ser determinados de forma
48
Captulo 3. Analisis de movimiento
unia a partir de la euaion del ujo optio, a no ser que se a~nadan otro tipo de
restriiones. Este problema es onoido omo el problema de la apertura.
\. . .the so-alled 'problem of aperture' whih also exists in human vision.
This is related to the impossibility of unequivoally reovering the motion
diretion if the objet is observed through an aperture smaller than the
objet itself. In this ontext, the features on the objet under observation
(suh as textures - patterns) are not enough to allow the pereption of the
transversal omponent of the objet motion." [Nesi, 1993℄
La euaion del ujo optio no proporiona un vetor unio de veloidad, por lo
que se hae neesaria la utilizaion de una restriion de regularizaion. Un ejemplo de
diho tipo de restriion es la propuesta por Horn y Shunk [Horn y Shunk, 1981℄,
la ual asume que la variaion del vetor de veloidad dentro de una veindad es
peque~na, restriion de uniformidad. Esto permite plantear una nueva restriion,
on lo que el ujo optio puede alularse resolviendo ambas euaiones: euaion del
ujo optio y restriion de regularizaion. El proedimiento se redue a minimizar el
error E1 (x) sobre toda la imagen,
E1 (x) =
Z Z
Imagen
(Ix(x; t)u + Iy (x; t)v + It (x; t))2 + (u2x + u2y + vx2 + vy2 )dxdy (3.2)
donde ux, uy , vx y vy son las derivadas pariales de las omponentes de la veloidad
u y v.
El oeiente equilibra los terminos del uniformidad y ujo optio. Dependiendo
del valor de , se puede obtener una soluion que potenie mas o menos la uniformidad
del ampo de ujo (a mayor , mayor uniformidad).
El metodo de Shunk [Shunk, 1989℄ se basa en la misma euaion de la
restriion del ujo de la imagen, pero, en ambio, expresa la restriion en forma
de oordenadas polares. Cuando se aplia la euaion del ujo optio a un grupo de
pxeles de una region, ada una de las euaiones dene una lnea en el sistema de
oordenadas (u,v). Asumiendo que los vetores de movimiento deberan ser similares
dentro de una peque~na veindad, es deir, que existe un movimiento oherente dentro
de una region alrededor de un pxel, entones las lneas de la restriion generadas
por los pxeles de la veindad deberan intersetar en un mismo punto. De esta
forma, los puntos de interseion se hallaran agrupados alrededor de aquel punto
del espaio u, v que dena el verdadero vetor de ujo del pxel. Ambos metodos
[Horn y Shunk, 1981, Shunk, 1989℄ solo funionan satisfatoriamente en regiones
donde se umplan dos restriiones:
que existan suientes variaiones de intensidad,
que el desplazamiento entre imagenes onseutivas de la seuenia sea peque~no.
3.1 Introduion
49
La euaion del ujo optio se dedue a partir de la expansion por medio de las
series de Taylor de la superie de intensidad de la imagen alrededor de un punto
(x; y),
I (x + dx; y + dy; t + dt) = I (x; t) + Ix (x; t)dx + Iy (x; t)dy + It (x; t) + O(Æ2 )
(3.3)
Cuando las variaiones dx, dy y dt son muy peque~nas, los terminos de orden mas
alto O(Æ2 ) pueden despreiarse, on lo ual se obtiene la euaion del ujo optio
(3.1). Algunas vees, espeialmente para seuenias donde los objetos se mueven
rapidamente, o la amara no permanee estatia, esta aproximaion resulta pobre,
por lo que los terminos de orden mas alto, O(Æ2 ), deberan ser tenidos en uenta.
Nagel [Nagel, 1983b℄ propuso onsiderar los terminos de segundo orden.
Varios autores propusieron que la restriion de uniformidad debera imponerse
a lo largo de los bordes de la imagen, y no de forma perpendiular a ellos. Hildreth [Hildreth, 1984℄ minimizo la funion riterio de Horn y Shunk (3.2) a lo
largo del ontorno de los objetos. Nagel y Enkelmann [Nagel y Enkelmann, 1986,
Enkelmann, 1988, Nagel, 1987℄ introdujeron el onepto de uniformidad direional,
el ual permite suprimir la restriion de uniformidad en la direion del gradiente espaial de la imagen. El ujo optio solo es uniformizado en la direion perpendiular
al gradiente de intensidad de la imagen, on lo que los bordes de disontinuidad se
preservan muho mejor. En [Nagel, 1990℄, Nagel extiende al dominio temporal esta
restriion de uniformidad orientada, usando no solo derivadas pariales espaiales,
sino tambien derivadas pariales espaio-temporales de la funion de intensidad de
imagen para determinar la mejor direion en la ual apliar la uniformidad. Overington [Overington, 1987℄ utiliza la euaion del ujo optio para alular la omponente normal del ujo en los bordes. A partir de ese alulo se realiza una segmentaion por medio de la busqueda de disontinuidades en esa omponente. En
[MLauhlan et al., 1992, Nelson, 1991℄ se presentan otros dos metodos de segmentaion basada en la euaion del ujo optio, si bien solo permiten detetar que pxeles
estan en movimiento (deteion de movimiento).
Uno de los prinipales problemas de los metodos anteriores es la imposibilidad que
tienen de abordar seuenias donde los objetos experimenten grandes desplazamientos. Para abordar este tipo de seuenias varios autores han empleado estrategias
multiresoluion [Enkelmann, 1988, Heitz y Bouthemy, 1993, Battiti et al., 1991℄. En
ellas se onstruye una piramide de imagenes a distinta resoluion, de forma que se omienza a estimar el movimiento en los niveles de menor resoluion. Las estimaiones
realizadas en un nivel son usadas omo estimaion iniial en el siguiente nivel de mayor
resoluion. De esta forma, por un lado, se pueden abordar mayores desplazamientos,
y por otro, se onsigue reduir el tiempo de proeso.
Otra importante diultad es la presenia de olusiones. El manejo de olusiones en los metodos basados en el gradiente es doblemente difil. Por un lado, debido a la presenia de disontinuidades de movimiento, y por otro, debido a
que en las areas donde se presenta este fenomeno, la informaion de movimiento
50
Captulo 3. Analisis de movimiento
proporionada por la euaion del ujo optio no sera valida. Dos estrategias diferentes para abordar este tipo de situaiones son: la deteion de regiones oultas y oluyentes [Heitz y Bouthemy, 1993℄, y el uso de tenias de estimaion robusta [Ong y Spann, 1995℄. En [Heitz y Bouthemy, 1993℄ se introdue un test que
permite omprobar la validez loal de la euaion del gradiente. Ong y Spann en
[Ong y Spann, 1995℄ presentan un metodo que aplia la euaion de la restriion del
ujo de imagen a regiones de pxeles. En el se asume una transformaion afn bidimensional omo modelo de movimiento, y se emplea el estimador robusto least-median
square para resolver el resultante sistema de euaiones sobredeterminado. Este estimador robusto permite rehazar aquellos pxeles de la region para los uales no se
puede asignar ningun vetor de movimiento debido a que son fruto de la olusion, o
de algun otro movimiento ajeno a la region. Este tipo de pxeles son omunmente
onoidos por su nombre en ingles: outliers.
3.1.3 Metodos basados en araterstias
Este tipo de metodos extraen araterstias de la imagen, tales omo puntos de
interes, lneas, ontornos o regiones, mediante las uales determinan un ampo disperso
de movimiento. Se analiza el ambio de posiion de las araterstias a traves de varias
imagenes para estimar su desplazamiento.
A menudo este tipo de metodos son planteados mediante un esquema de orrespondenia. Se intenta haer orresponder las araterstias extradas en la imagen de
referenia on las araterstias enontradas en el resto de imagenes de la seuenia.
Este tipo de esquemas son habitualmente empleados on araterstias simples, tales
omo puntos o lneas, debido a que la informaion que aporta ada araterstia es
muy reduida, reduiendose al ambito de una peque~na veindad.
Barnard et al. [Barnard, 1979, Barnard y Thompson, 1980℄ presentaron uno de
los primeros y mas onoidos metodos basados en orrespondenia. En el, un proedimiento iterativo realula las probabilidades de orrespondenia entre los puntos
de interes enontrados en dos imagenes onseutivas. El alulo de probabilidades
se basa en la similitud loal de los puntos y en el empleo de heurstias que permiten reduir el espaio de busqueda: maxima veloidad, oherenia de movimiento
entre puntos veinos y orrespondenia biyetiva. Este mismo metodo fue empleado
por Thompson y Pong [Thompson y Pong, 1987℄ en un trabajo de segmentaion de
imagenes usando una amara en movimiento. Aqu se asume que el movimiento de la
amara es onoido y que la superie de la esena es plana. Haiendo uso de estas
restriiones y busando disontinuidades loales en el ujo de movimiento, se detetan objetos en movimiento. En [Castellow et al., 1987℄ se utilizan los pxeles de los
bordes extrados mediante el metodo de Canny, edgels, para enontrar el ujo optio
de los bordes. Este metodo fue originalmente desarrollado por Sott [Sott, 1987℄.
En los edgels de menor urvatura solo es posible estimar la omponente paralela del
ujo. Sin embargo, en los edgels eranos a las partes de mas alta urvatura s es
posible reuperar ambas omponentes. As, mediante un metodo iterativo de relajaion basado en orrespondenia, el movimiento es propagado al resto de edgels del
3.1 Introduion
51
borde. Este metodo ha sido usado por Murray et al. [Murray et al., 1987℄ en la
reonstruion de objetos tridimensionales (estrutura a partir de movimiento). En
[Medioni y Nevatia, 1984℄ podemos enontrar otro metodo basado en asignaion de
probabilidades a las orrespondenias por medio de un algoritmo de relajaion, el
ual, al igual que los anteriores, presenta la desventaja de su elevado oste omputaional. En [Gong y Brady, 1990℄ y [Wang y Brady, 1990℄ se presentan dos metodos
que, al igual que en [Castellow et al., 1987℄, propagan el movimiento estimado para
los puntos de los bordes de mayor urvatura haia los puntos de menor urvatura.
En [Park y Han, 1998℄ se establee la orrespondenia de los puntos de los ontornos.
El metodo determina el punto orrespondiente en la siguiente imagen minimizando
el ambio de urvatura de los puntos. En un primer paso, se utilizan snakes para
loalizar los ontornos dentro de la imagen. Giahetti en [Giahetti, 2000℄ realiza un
estudio sobre las diferentes medidas de similitud que han venido siendo empleadas a
la hora de estableer orrespondenias entre puntos araterstios. Ademas, presenta
tenias para mejorar la preision de la estimaion de movimiento y reduir el oste
omputaional empleando ltros y multiresoluion.
El metodo de Lef y Joshi [Lef y Joshi, 1993℄ enfoa el problema de la orrespondenia desde un punto de vista geometrio. El metodo se basa en onsiderar que los
parametros de movimiento obtenidos onsiderando todos los puntos de interes de dos
imagenes, permaneeran asi identios si se repite el analisis eliminando un par de
puntos orrespondientes. En este trabajo se asume que el vetor de translaion es peque~no uando se lo ompara on la distania hasta la amara, asunion que, por otra
parte, redue el ambito de apliaion del metodo. En [Sarigianidis y Pyok, 1993℄
podemos enontrar otro metodo de orrespondenia entre puntos de interes. En el
se formula la orrespondenia omo un problema de optimizaion de una funion de
oste global. Se lleva a abo una minimizaion por medio de una red neuronal de
Holpeld. Esta funion de oste se basa en las restriiones de uniidad (ada punto
solo tiene un orrespondiente) y uniformidad del ampo de movimiento. Esta ultima
restriion es empleada en [Mehrotra, 1998℄. Se toman tres imagenes onseutivas y
se establee la orrespondenia entre aquellas tripletas de puntos que representan las
trayetorias mas uniformes.
Los metodos basados en araterstias simples, tales omo puntos y lneas, no
resultan adeuados para segmentaion basada en movimiento. Esto es debido a que
produen ampos dispersos de vetores de movimiento, lo ual diulta la extrapolaion para rear ampos densos, sobre los uales realizar la segmentaion. Una posible
opion son los metodos basados en bloques, en sus dos prinipales versiones: metodos
de orrelaion de fase y metodos de orrespondenia de bloques.
Los metodos de orrelaion de fase [Fleet y Jepson, 1990, Fleet, 1992℄ estiman el
desplazamiento entre dos imagenes por medio de una funion de orrelaion ruzada
normalizada, la ual es alulada en el dominio espaial bidimensional de Fourier. La
idea se basa en el prinipio por el ual una translaion en el dominio espaial produe
una variaion en el termino de la fase del dominio de Fourier. Aunque el modelo habitual para este tipo de tenias es el translaional, se han introduido variaiones para abordar rotaiones [Castro y Morandi, 1987℄ y el modelo afn [Pla y Bober, 1997℄.
52
Captulo 3. Analisis de movimiento
Tambien se han planteado esquemas jerarquios de multiresoluion los uales resuelven el problema de la seleion del tama~no de la ventana [Erkam et al., 1993℄. Dentro
de los metodos de estimaion de movimiento en el dominio de freuenias podemos
inluir aquellos que utilizan distribuiones de Wigner o ltros de Gabor. Heeger
[Heeger, 1988℄ uso ltros espaio-temporales de Gabor para enontrar el ujo optio
en ada punto de la imagen. Mediante estos ltros se enuentra la energa de Gabor
en doe orientaiones diferentes y en varias freuenias espaiales. Se seleiona la
orientaion de la veloidad loal mas fuerte para dar una estimaion del ujo optio.
Wiskott [Wiskott, 1999℄ integra informaion obtenida a partir de Gabor-wavelets y
Mallat-wavelets. En una primera fase, se emplean Gabor-wavelets para estimar el
ampo de ujo de la imagen. Esta tenia es sensible a los omponentes de la textura
en diferentes orientaiones, on lo que no plantea el problema de la apertura. Sin
embargo, el ampo de ujo que se obtiene es de baja resoluion espaial. A partir de
este ampo, el sistema extrae hipotesis de movimiento que se usan en una segunda
fase para restringir orrespondenias entre bordes detetados por las Mallat-wavelets.
Los metodos de orrespondenia de bloques pueden onsiderarse en la pratia
omo los mas populares para la estimaion de movimiento, debido a su menor omplejidad [Jain y Jain, 1981, Gharavi y Mills, 1990, Tekalp, 1995℄. Singh [Singh, 1990℄
desarrollo un metodo de orrespondenia de bloques, que ademas, proporiona medidas de onanza sobre las estimaiones. Esta onanza se basa en dos fatores: uan
buena es la mejor orrespondenia de un bloque en terminos de errores de prediion,
y la onsistenia de las estimaiones de movimiento entre un bloque y sus veinos.
En [Bierling, 1988℄ se propone un esquema multiresoluion que emplea un tama~no
distinto de ventana en ada nivel de resoluion. Lee y Chen [Lee y Chen, 1997℄ reduen el oste omputaional por medio de la multiresoluion, ombinada on un test
de desarte de orrespondenias. Oh y Lee [Oh y Lee, 2000℄ proponen un metodo
para reduir el espaio de busqueda basandose en orrelaiones espaio-temporales.
Se han propuesto varios metodos para generalizar la orrespondenia de bloques
a modelos de movimiento mas generales [Flusser, 1992, Nakaya y Harashima, 1994,
Seferedis y Ghanbari, 1993℄. En [Wang y Adelson, 1994, Borshukov et al., 1997℄ se
presenta un mismo metodo basado en el error uadratio mnimo y que sirve para
alular el movimiento afn de los bloques, pero se proponen dos estrategias distintas
para realizar la segmentaion de movimiento: agrupamiento mediante el algoritmo de
las k-medias, y reimiento de regiones, respetivamente.
El algoritmo de Bober y Kittler [Bober y Kittler, 1994a℄ utiliza la transformada de
Hough para estimar movimiento. Cada pxel vota por aquel onjunto de parametros
de movimiento que minimiza el error de la diferenia de la imagen desplazada1 . Diho
error se alula empleando un nuleo robusto y una estrategia multiresoluion. Una de
las prinipales araterstias de este metodo es que realiza en paralelo la estimaion y
la segmentaion de movimiento. En [Hotter y Thoma, 1988, Diehl, 1991℄ tambien se
realiza estimaion y segmentaion de movimiento de manera simultanea, aunque desde
1
Este error se alula para un grupo de pxeles y un determinado movimiento. Se toman los valores
de intensidad de un grupo de pxeles que perteneen a una imagen y se restan de los valores de sus
orrespondientes en la siguiente imagen una vez apliado el movimiento.
3.1 Introduion
53
un enfoque bien distinto. En lugar de usar un reimiento de regiones, se utiliza una
estrategia de division. Iniialmente se realiza una deteion de movimiento, y entones
se onsidera que ada grupo onetado espaialmente es un objeto diferente. Para ada
uno de estos grupos se realiza una estimaion de movimiento que a ontinuaion es
evaluada alulando el error de la diferenia de la imagen desplazada. Aquellos grupos
de pxeles a los que no se adeua el movimiento estimado son delarados omo objetos
independientes, proediendose a una nueva estimaion de movimiento para ellos.
Los metodos basados en regiones realizan una segmentaion previa de las imagenes
para extraer grupos ompatos de pxeles araterizados por algun riterio de homogeneidad (ver Seion 2.1.3). Una vez heho esto, se realiza una estimaion de
movimiento para ada una de las regiones. Este tipo de tenias produen ampos densos de movimiento, ya que al estimar el movimiento de una region, se esta
alulando para todos los pxeles que la omponen. Los metodos presentados en
[Hotter y Thoma, 1988, Diehl, 1991℄ perteneen a esta lase, ya que primero se extrae
la region y luego se estima su movimiento. En ambos asos, el riterio de homogeneidad
empleado es la minimizaion del error de la diferenia de la imagen desplazada. Kottke
y Sun [Kottke y Sun, 1994℄ propusieron otro metodo de esta lase. Dos imagenes onseutivas son segmentadas mediante un metodo de agrupamiento (visto en la seion
2.1.4). Se establee la orrespondenia entre las regiones de ambas imagenes mediante
un esquema de relajaion, en el que se usan omo medidas de similitud la posiion, la
intensidad y la forma de las regiones. Los desplazamientos son estimados a partir de
las distanias de los entros de gravedad de las regiones orrespondientes. Esta forma
de alular el desplazamiento onlleva problemas uando las regiones sufren ambios
debidos a olusiones o movimientos no translaionales. En estos asos, el entro de
gravedad ambia su posiion interna de una imagen a la siguiente, lo ual provoa una
inorreta estimaion del movimiento.
El metodo propuesto por Tabb y Ahuja [Tabb y Ahuja, 1994℄ tambien realiza la
estimaion de movimiento 2-D por medio de la orrespondenia de regiones. Aqu,
una seuenia de imagenes se onsidera omo un volumen 3-D tomando el tiempo
omo eje z. Para movimientos relativamente peque~nos, una region 2-D se solapara espaialmente onsigo misma en imagenes onseutivas. Antes de realizar la estimaion
de movimiento, se lleva a abo una segmentaion de la imagen por medio de un algoritmo de segmentaion multiesala. Una vez obtenidas las regiones, se intenta haer
orresponder las regiones de la imagen referenia on aquellas de la siguiente imagen
que las solapan. Cuando una region tiene varias andidatas a la orrespondenia, se
toma una de ellas arbitrariamente. Las orrespondenias inorretas son detetadas
en una etapa posterior, en la ual se verian las orrespondenias a nivel de pxel.
Estas orrespondenias se estableen mediante la estimaion de los parametros de
movimiento que proporionan la mejor transformaion afn para pasar de una region
a su orrespondiente.
Para llevar a abo una segmentaion de objetos moviles, Dubuisson y Jain
[Dubuisson y Jain, 1995℄ ombinan segmentaion de regiones on la informaion
proporionada por el movimiento. Este metodo no puede tratar los problemas
de olusion, debido a que en ningun momento se llega a realizar una estimaion
54
Captulo 3. Analisis de movimiento
de movimiento. En [Dubuisson et al., 1996℄ se ompleta el metodo on la
inorporaion de modelos deformables a los ontornos de los objetos extrados,
si bien el metodo sigue adoleiendo del mismo defeto. Gelgon y Bouthemy en
[Gelgon y Bouthemy, 2000℄ presentan un metodo de segmentaion y seguimiento de
regiones. Tras una segmentaion espaial basada en olor o textura, se onstruye
un grafo donde las regiones son los nodos, y estos, a su vez, onstituyen un Campo
Aleatorio de Markov. Para ada region se estima el movimiento 2-D realizandose a
ontinuaion un etiquetado en el que las regiones on movimiento similar reiben una
misma etiqueta. A partir de aqu, se genera un nuevo grafo donde existe un nodo para
ada etiqueta. Este grafo representa los objetos de la esena y sirve omo prediion
para la segmentaion de la siguiente imagen de la seuenia. En [Gil et al., 1996℄ se
presenta la ombinaion de dos metodos de estimaion de movimiento, uno basado en
regiones y otro basado en el mnimo retangulo que engloba la region en movimiento.
3.1.4 El metodo propuesto
Como hemos visto a lo largo de los apartados anteriores, el trabajo desarrollado en
analisis de movimiento es muy amplio, por lo que los enfoques tambien son muy
diversos: gradiente, orrelaion de fase, utilizaion de araterstias simples (puntos
y lneas), orrespondenia de regiones, sustraion de imagenes, et. La mayora de
estos enfoques presenta algun tipo de prestaion superior sobre el resto de metodos,
de aqu que nuestra deision deba fundamentarse en los requerimientos que impone el
sistema donde se vaya a apliar el analisis de movimiento.
En nuestro aso, el objetivo fundamental es onseguir una segmentaion de aquellos objetos moviles que pueda ontener la imagen, pero a un oste omputaional que
permita un funionamiento del sistema en tiempo real. No se requiere una segmentaion de gran alidad, omo podra ser el aso de las apliaiones de odiaion de
imagen, donde las imagenes deben poder reonstruirse a partir del analisis de movimiento. En nuestra apliaion, lo prinipal es saber uantos vehulos, durante un
periodo de tiempo dado, han irulado a traves del tramo de arretera monitorizada,
y ual ha sido su omportamiento en lo referente a su direion y al arril o arriles
que han utilizado.
Guiandonos por estos objetivos, y en lo que se reere al sistema de analisis de
movimiento, lo que pretendemos es que nos proporione la suiente informaion omo
para poder disriminar que regiones de la imagen perteneen a objetos distintos. En
uanto a la direion y el omportamiento, esto vendra dado por un analisis posterior.
En realidad nos bastara on saber en ada imagen la posiion de ada vehulo y el
sentido de su irulaion.
Atendiendo a la bibliografa existente y a los objetivos expuestos en este apartado,
hemos deidido que el mejor enfoque para nuestro metodo de analisis de movimiento
es la utilizaion de regiones. El analisis de movimiento basado en regiones permite
etiquetar por ompleto la imagen mediante vetores de movimiento, ampo de movimiento denso, pero sin tener que reurrir a la estimaion individualizada para ada
3.1 Introduion
55
pxel de la imagen, ya que esto ultimo supone un tremendo oste omputaional. Los
metodos basados en orrespondenia de araterstias simples, puntos y lneas, nos
aportaran un relativo bajo oste omputaional, sin embargo, a partir de ellos es
difil generar un ampo de ujo que desriba toda la imagen.
La utilizaion de regiones supone la ombinaion de dos enfoques distintos para
la segmentaion. Por un lado, la segmentaion basada en movimiento, y por otro, la
segmentaion de imagenes individuales, a la que hemos venido llamando segmentaion
estatia. Este segundo tipo de segmentaion nos permite inorporar informaion morfologia al proeso. Como ya hemos visto en el anterior aptulo, basandonos tan solo
en la intensidad podemos formar grupos de pxeles on la suiente garanta omo para
estar seguros de que solo perteneen a un unio objeto. Esto nos permite trabajar on
entidades de mayor nivel. La fase de segmentaion eleva su nivel de abstraion, pues
no solo unira pxeles, sino que mas bien onsistira en la union de partes de objetos.
El metodo desarrollado se basa en busar para ada region aquel movimiento que
minimie el error de diferenia de la imagen desplazada. Esto expresado de una
forma graa onsiste en mover ada region segmentada sobre la siguiente imagen
hasta enontrar el desplazamiento que hae mnima la suma de las restas entre pxeles
orrespondientes. Es deir, dada una region de una imagen, busamos en la siguiente
imagen la region mas pareida.
Dado que una busqueda exhaustiva del movimiento sera omputaionamente ineiente, se emplea un metodo de busqueda por desenso. Es deir, usamos un metodo
que iterativamente va mejorando la estimaion, donde en ada iteraion se seleiona
aquella estimaion on error mnimo. Para poder apliar este tipo de metodos debe
umplirse una premisa: que la funion a minimizar sea onvexa entre el punto iniial
de busqueda y el mnimo global. Afortunadamente, esta funion tiene un buen omportamiento en la veindad del mnimo global, por lo que este tipo de busquedas asi
siempre onverge al mnimo global [Bober y Kittler, 1993℄. La Figura 3.2 muestra la
forma que suele presentar la funion de error en las eranas del mnimo global.
El metodo de busqueda por desenso puede fallar uando el movimiento de las
regiones es grande. En este aso, la presenia de mnimos loales puede impedir
alanzar un mnimo global. Para solventar este problema hemos inorporado una
estrategia multiresoluion [Bierling, 1988, Bober y Kittler, 1994a, Erkam et al., 1993℄.
Ademas, esta estrategia nos aporta una ventaja adiional: dado que un pxel de los
niveles de resoluion menor representa a varios pxeles del nivel de la imagen original,
se aelera el proeso de onvergenia.
Ademas de los niveles de menor resoluion, en la piramide de imagenes inorporamos dos niveles de resoluion mayor que la imagen original. E stos son los niveles que
llamamos subpxel y en ellos los valores de intensidad de sus pxeles se alulan por
interpolaion a partir de la imagen original. De esta forma podemos estimar el movimiento on mayor delidad, ya que generalmente el desplazamiento de las regiones no
oinide exatamente on la rejilla de pxeles de la imagen.
Las tenias basadas en diferenias de imagenes ayudan a la deteion de aquellas
zonas de la imagen que han experimentado ambios. De esta forma, solo se deben
56
Captulo 3. Analisis de movimiento
DFD(u,v)
Figura 3.2: Comportamiento del
(DFD)
error de la diferenia de la imagen desplazada
en la veindad del movimiento optimo.
proesar estas zonas, pues en realidad lo que se intenta analizar es lo que se mueve, y
no lo que permanee estatio. Con un mnimo oste omputaional estas tenias permiten ahorrar una gran antidad de tiempo de proeso. Por ello, en nuestro metodo
introduimos una de estas tenias, la ual se basa en la substraion de la imagen a
segmentar y de una imagen de referenia. Esta imagen de referenia orresponde al
fondo estatio, y se atualiza onstantemente para reejar los ambios en la iluminaion. En realidad, la deteion de movimiento es el primer paso del algoritmo, inluso
previo a la segmentaion estatia. Obviamente, para que queremos segmentar lo que
sabemos que va a formar parte del fondo.
3.1.5 Estrutura del aptulo
En el resto del aptulo veremos detalladamente el metodo propuesto para estimaion
y segmentaion de movimiento. En la proxima seion se analizara el metodo de
deteion de movimiento que empleamos para realizar una disriminaion entre los
pxeles que perteneen al fondo estatio, y los que pueden orresponder a objetos
moviles. La Seion 3.3 expone otra tenia basada en diferenias que permite unir
regiones estatias. A ontinuaion, Seion 3.4, se vera el metodo de estimaion de
movimiento. En el expliaremos tanto la estrategia multiresoluion, que ya hemos
omentado, omo el uso de estimadores robustos que permiten el rehazo de los outliers
(ver deniion al nal del apartado 3.1.2). En la Seion 3.5 se vera la segmentaion de
movimiento, y en la Seion 3.6 se mostraran algunos resultados sobre varias seuenias
de imagenes. La ultima seion expondra las onlusiones del aptulo.
3.2 Deteion de movimiento
57
Nivel 2
Nivel 1
Imagen original
Nivel 0
Figura 3.3: Piramide de imagenes. Cada nivel orresponde a una resoluion diferente.
Detección de
movimiento
Reducción del
número de regiones
Estimación de
movimiento
Segmentación de
movimiento
Figura 3.4: Seueniaion de los proesos que forman parte del analisis de movimiento y que seran vistos en el presente aptulo.
3.2 Deteion de movimiento
Un freuente paso previo a la estimaion de movimiento es la deteion de aquellas
partes de la imagen que han experimentado un ambio en su intensidad. Estas partes
orresponderan a zonas de la imagen donde se haya proyetado el movimiento de algun
objeto. Aunque esto solo sera ierto si se asume que la amara permanee estatia y
que la iluminaion no presenta ambios apreiables.
Si reordamos lo expuesto en el Apartado 3.1.1, existen dos lases de tenias
basadas en substraion de imagenes: las que utilizan dos imagenes onseutivas y las
que usan una imagen de referenia orrespondiente al fondo estatio de la seuenia.
Nosotros nos deantamos por el segundo tipo. La razon es que estas tenias denen
ompletamente la forma de los objetos que se mueven. Cuando se usa una imagen de
referenia la zona de ambio orresponde a todo el objeto movil, aunque el objeto no
presente textura. Cuando se usan dos imagenes onseutivas on este tipo de objetos,
las zonas de ambio solo se enuentran en los pxeles que son ubiertos o desubiertos
por el movimiento del objeto. El empleo de dos imagenes supone un aso similar al
de intentar obtener regiones a partir de la deteion de ontornos: se debe estudiar la
58
Captulo 3. Analisis de movimiento
union de los grupos de pxeles para denir ompletamente el ontorno de las regiones.
Ademas, se debe distinguir entre lo que son pxeles ubiertos y desubiertos, pues
mientras los primeros forman parte de la region, los segundos no.
Paree laro que el uso de una imagen de referenia es una estrategia mas senilla
y rapida. Desafortunadamente, no esta exenta de algun inonveniente. E ste es la
neesidad de atualizar ontinuamente la imagen de referenia, para as reejar los
posibles ambios que puedan experimentarse en el fondo estatio de la imagen. Koller
et al. [Koller et al., 1994b, Koller et al., 1994a℄ emplean lo que ellos denominan un
formalismo de ltro de Kalman. La atualizaion del fondo se basa en la siguiente
euaion:
Bt+1 = Bt + ( 1 (1 Mt ) + 2 Mt )Dt
(3.4)
En la anterior euaion, Bt representa la imagen referenia en el instante t, Mt es una
matriz del mismo tama~no que la imagen, Dt es una matriz del tama~no de la imagen
que ontiene los valores de la resta de imagenes, y 1 y 2 son dos pesos. Mt ontiene
un valor binario para ada pxel, el ual es uno uando el valor de la diferenia es
mayor que un umbral (holgura), y ero en aso ontrario. Es deir, ada valor de
Mt india si el pxel orrespondiente en la imagen es un pxel de ambio o no. Las
onstantes 1 y 2 son las que indian omo afetan a la imagen referenia los valores
de intensidad de la imagen atual. El valor de 1 toma un valor del orden de las
deimas, mientras que 2 es del orden de las entesimas. En realidad 2 representa la
desonanza que se tiene en que un valor de diferenia mayor que la holgura empleada
siempre orresponda a un pxel movil.
La estrategia empleada por Koller et al. permite adaptar el fondo a los ambios
progresivos de iluminaion. Lamentablemente, esta estrategia deja indefenso al sistema ante un ambio bruso de la iluminaion. Si se emplea un valor peque~no para
2 , la adaptaion sera muy lenta, si se emplea un valor mayor, se produira un efeto
indeseable: los pxeles moviles afetaran al fondo estatio.
Nosotros no utilizamos el peso 2 , ya que la deision de si un pxel es estatio no
se fundamenta solo en la substraion de la imagen referenia. En nuestro sistema
tenemos, ademas, dos fases adiionales: la segmentaion estatia y la reduion de
regiones. La segmentaion estatia permite englobar en una sola region gran parte
del fondo, y la fase de reduion permite a~nadirle aun mas regiones. Esto nos permite
que ante la deteion de un ambio bruso de iluminaion, nuestro algoritmo desehe
todo el fondo y lo realule tras unas poas imagenes. En realidad, tras la primera
imagen despues de desehar el fondo, ya gran parte de el esta alulado y por lo tanto
puede utilizarse en las siguientes imagenes.
Utilizando un formalismo similar al de Koller et al., nuestra euaion de adaptaion
del fondo sera la siguiente:
Bt+1 = Bt + 1 (1 Mt )Dt
(3.5)
La Figura 3.5 muestra las fases del metodo que estan involuradas en la atualizaion o uso de la imagen referenia. El proeso utiliza dos imagenes de la seuenia,
donde se quiere segmentar la primera de ellas. La primera fase es la que genera la
3.2 Deteion de movimiento
59
Detectar las zonas
de cambio
Imagen
diferencia
Primera
imagen
Segmentar la
primera imagen
Imagen
referencia
Segunda
imagen
Reducir la cantidad
de regiones
Actualizar la imagen
de referencia
Figura 3.5: Atualizaion y uso de la imagen referenia.
masara orrespondiente a la deteion de las zonas donde se han produido ambios.
Para ello se utiliza la imagen a segmentar y la imagen referenia. Para realizar la
deteion se genera la imagen diferenia que ontiene los valores de la resta de las dos
imagenes. El siguiente proeso onsiste en segmentar la primera de las dos imagenes,
segmentaion estatia. Este proeso reibe la deteion de movimiento. De esta forma,
solo se realiza la segmentaion estatia sobre las zonas donde se ha detetado movimiento. El resto de pxeles forman parte de una region, la ual obviamente formara
parte del fondo estatio.
Una vez obtenida la segmentaion estatia, esta se pasa al proeso de reduion
del numero de regiones. Este proeso une regiones estatias, formando una region
fondo aun mayor. Para ello no utiliza la imagen referenia, sino las dos imagenes
onseutivas. Veremos on mayor detalle el proeso en la siguiente seion.
La region fondo que obtenemos es pasada al proeso de atualizaion de la imagen
referenia. Esto se realiza mediante la euaion (3.5), donde en la matriz Mt se ponen
60
Captulo 3. Analisis de movimiento
a uno los pxeles que perteneen al fondo, y a ero el resto.
Se asume que se ha produido un ambio bruso en la iluminaion uando en
el proeso de deteion de ambio el numero de pxeles diferenia se inrementa en
un porentaje superior a . Un pxel diferenia es un pxel que ha sido marado
en la imagen diferenia omo un pxel movil. En este aso, se deseha la imagen
referenia y se suspende el proeso de deteion. El proeso de atualizaion asignara
diretamente los valores de la region fondo a la imagen referenia. Esto implia que
una parte de la imagen referenia estara sin determinar, por lo que en la deteion
de movimiento para la siguiente imagen, esta parte solo podra realizarse para esos
pxeles, delarandose el resto omo perteneientes a las zonas de ambio. Tras unas
poas imagenes, y onforme los objetos moviles vayan dejando ver los pxeles que
oultan, se podra obtener la totalidad de la imagen referenia.
La obtenion de la imagen diferenia no onsiste en una mera substraion pxel
a pxel entre las dos imagenes. En primer lugar, la resta no se realiza diretamente
sobre las imagenes, sino que previamente se les pasa un ltro gausiano que reduza
el ruido de las imagenes2 . Seguidamente se realiza la substraion pxel a pxel, que
proporiona una primera imagen diferenia ontieniendo los valores absolutos de las
restas. A esta imagen diferenia volvemos a pasarle un ltro gausiano3 que uniformize
los valores absolutos obtenidos. Una vez pasado el ltro, se aplia un umbral para
binarizar la imagen diferenia. Los valores absolutos de la diferenia mayores que son puestos a uno, y el resto puestos a ero.
La imagen diferenia obtenida puede presentar dos tipos de problemas:
Peque~nos grupos de pxeles aislados que no orrespondan a ninguna entidad.
Grupos inonexos que en la imagen real orrespondan a un mismo objeto movil.
Ambos problemas pueden solventarse mediante operaiones morfologias: una
apertura y un ierre (ver Apendie A). La Figura 3.6 muestra los elementos estruturantes utilizados en ada una de las dos operaiones. Es de suponer que los grupos
de pxeles diferenia que formen parte de un objeto tendran un mayor tama~no que los
grupos que no orrespondan a ninguna entidad real. Por ello, primero apliamos la
apertura, la ual eliminara estos peque~nos grupos, y despues el ierre, para unir partes de objetos. Ademas, la apliaion de las operaiones tiende a dar una forma mas
onvexa a las masaras obtenidas, lo ual es mas aorde on la forma de los objetos.
Como omentabamos en el Apartado 3.1.1, no utilizamos un metodo de deteion
automatia de arriles, sino que manualmente se genera una imagen donde se mara
el area de interes. Los pxeles de este area son todos los de la alzada, inluidos los
arenes, mas un anho adiional que permita englobar totalmente las proyeiones de
todos los vehulos. Se debe tener en uenta que, dependiendo de la perspetiva de
2
En la implementaion en tiempo real del sistema utilizamos un ltro de media, el ual proporiona
resultados algo peores, pero a un oste omputaional muho menor.
3
De nuevo, en la implementaion en tiempo real, substituimos el ltro gausiano por un ltro de
media.
3.3 Reduion del numero de regiones
Elemento estruturante usado
en la apertura.
(a)
61
(b)
Elemento
estruturante usado
en el ierre.
Figura 3.6: Elementos estruturales empleados en las dos operaiones morfologias
apliadas sobre la imagen diferenia.
la amara, algunas vees la proyeion de las partes mas elevadas de los vehulos
exeden la proyeion de la arretera.
Esta imagen apenas juega ningun papel uando se utiliza la imagen de referenia, tan solo ahorra un mnimo oste al se~nalar aquellos pxeles donde ni siquiera es
neesario realizar la deteion de movimiento. Sin embargo, uando se deseha la
imagen referenia, su papel es mas importante pues permite reduir un mayor oste
omputaional, ya que sobre los pxeles no marados no se realizara segmentaion.
3.3 Reduion del numero de regiones
El proposito de esta fase del algoritmo es intentar reduir aun mas el numero de regiones. Aunque nos interesa unir ualquier par de regiones adyaentes que se desplaen
on el mismo movimiento, en realidad nuestro prinipal objetivo es inrementar al
maximo el tama~no de la region fondo, que es la de un mayor tama~no. En esta fase
del algoritmo, y dadas las fases anteriores, el tama~no de esta region ya puede llegar a alanzar entre un 60% 80% del total de pxeles de la imagen. Por supuesto,
ese porentaje dependera del numero y tama~no de los objetos moviles que tengamos. Ya hemos omentado que la fase mas ostosa del algoritmo es la estimaion de
movimiento, y que para la region fondo no vamos a realizar una estimaion, ya que
sabemos que su movimiento es ero. Por tanto, uantas mas regiones adhiramos al
fondo, menor sera el oste de la siguiente fase.
Esta tenia, al igual que la de deteion de movimiento, tambien se basa en la
substraion de imagenes, pero a diferenia de esta, no emplea una imagen del fondo
estatio. En su lugar, la substraion se realiza entre la imagen a segmentar y su
siguiente en la seuenia. El heho de no usar la imagen fondo es lo que le proporiona
la aptitud para olaborar en su regeneraion uando esta tiene que ser desehada.
62
Captulo 3. Analisis de movimiento
Figura 3.7: Pasos fundamentales del proedimiento de reduion de regiones.
La Figura 3.7 muestra los pasos fundamentales del proeso de reduion de regiones. El proedimiento se iniia on el alulo de la imagen diferenia. Para ello
se realiza la substraion entre las dos imagenes, aunque esta vez sin apliar ningun
tipo de ltro. Otra diferenia es que en realidad no nos interesan todos los pxeles
diferenia de la imagen, sino solo aquellos que se enuentran en el ontorno de las
regiones. Ademas, en la imagen diferenia no tomamos los valores absolutos, sino los
propios resultados de las restas on su orrespondiente signo. Esto es porque un paso
posterior elimina los pxeles produidos por el ruido basandose en el analisis de los
signos de los valores diferenia.
Como los unios pxeles que nos interesan son los que se enuentran en los bordes
de las regiones, solo realizaremos la resta entre aquellos pxeles que perteneiendo a
una region, tienen un veino que pertenee a otra. Dado que ahora tendremos valores
3.3 Reduion del numero de regiones
63
positivos y negativos emplearemos dos umbrales, y , los uales se usaran para
obtener una imagen diferenia Dk , a partir de las imagenes referenia Ik y su ontigua
Ik+1 :
8
< 1 Si Ik (i; j ) Ik+1(i; j ) < Dk (i; j ) =
Si Ik (i; j ) Ik+1(i; j ) : 10 Si
Ik (i; j ) Ik+1 (i; j ) > Los valores que ahora ontiene la imagen diferenia Dk seran 1 o 1 uando el
pxel es de ambio, y 0 uando el pxel paree estatio. Un pxel de ambio podra ser
provoado por un movimiento, o por ruido. La diferenia entre un grupo de pxeles
produido por el ruido y un grupo de pxeles produidos por un movimiento estribara
en que mientras en el segundo aso los signos seran onsistentes para todo el grupo, en
el segundo esto no suedera. La idea se basa en que uando una region de intensidad
uniforme avanza sobre otra on intensidad tambien uniforme, los valores diferenia
para los pxeles que son ubiertos tenderan a ser del mismo signo. Evidentemente,
lo mismo suedera para los pxeles que son desubiertos. Basandonos en esta idea lo
que haemos es enadenar pxeles adyaentes en una uatro-veindad que tengan el
mismo signo. De esta forma solo maramos los pxeles que estan en una adena de
tama~no superior a lad , rehazando las adenas de tama~no inferior por onsiderarlas
omo ruido. Tras emplear diversos tama~nos, hemos omprobado que un valor lad =
15 proporiona buenos resultados. El paso nal para obtener la imagen diferenia
onsiste en apliar una operaion morfologia de dilataion (ver apendie A). Para
ello se emplea un elemento estrutural de 5 pxeles en forma de ruz. Con ello lo
que se pretende es ampliar las zonas de pxeles diferenia, para que haya una mayor
oinidenia entre estos y los ontornos de las regiones. Esta oinidenia ya es de
por s grande, sin embargo, no en todos los asos las disontinuidades de ujo optio
oiniden exatamente on los ontornos de las regiones extradas en la segmentaion
estatia. En uanto a los posibles pxeles diferenia perteneientes a regiones estatias,
la operaion de dilataion no afeta espeialmente a sus ontornos. Primeramente,
porque los pxeles \ruido" han sido mayoritariamente eliminados on el proedimiento
de enadenamiento por signo. Y en segundo lugar, porque la posiion de los pxeles
diferenia en estas regiones no surgen espeialmente en los ontornos.
La union de dos regiones adyaentes se basa en ontar el numero de pxeles que
omponen su borde, y de estos uantos estan marados on un valor diferente a ero4 .
Dado que el borde omun a dos regiones que se desplazan on movimientos diferentes
debe estar prinipalmente ompuesto por pxeles diferenia, la heurstia para unir
dos regiones onsiste en ontar el porentaje de pxeles diferenia que hay en el borde
omun de dos regiones y si este porentaje no es suientemente grande, unirlas. E ste
proedimiento permite prinipalmente unir regiones estatias, que son las que mas
nos interesan por formar parte del fondo. No obstante, tambien permite unir regiones
moviles que no presenten un borde omun donde haya un ambio signiativo de
intensidad.
4
Para ahorrar tiempo, estos reuentos pueden ser realizados mientras se llevan a abo los pasos
anteriores: la substraion en los bordes y la seleion de adenas.
64
Captulo 3. Analisis de movimiento
Figura 3.8: Imagen diferenia obtenida a partir de la imagen de la gura 2.1 y la
siguiente de su misma seuenia.
La Figura 3.8 muestra la substraion de dos imagenes onseutivas, donde la
primera de ellas es la imagen de la Figura 2.1. En esta gura puede verse que los
bordes de los objetos que estan en movimiento quedan laramente marados por los
pxeles diferenia. Estos bordes orresponderan on los ontornos de las regiones que
perteneen a estos objetos. Por su parte, para las regiones estatias no es posible
apreiar una onguraion de pxeles diferenia que denote ontornos.
En algunas imagenes los ontornos no quedan ompletamente errados, o no existe
una exata oinidenia on los bordes de las regiones. Por ello, no puede exigirse
que el ien por ien de los pxeles del ontorno de las regiones moviles sean pxeles
diferenia. Es mejor usar un porentaje muho menor 50 60%, el ual, aunque pueda
dejar de unir alguna region, no una al fondo estatio ninguna que sea movil.
3.4 Estimaion de movimiento
En este apartado se vera el algoritmo de estimaion de movimiento que se ha desarrollado. Basiamente, se trata de un metodo de busqueda fundamentado en el alulo
del error de la diferenia de la imagen desplazada, DFD (Subapartado 3.4.1). Esta
busqueda se realiza por medio de una estrategia multiresoluion (Subapartado 3.4.2)
y llegando a una estimaion on preision subpxel (Subapartado 3.4.3). En el Subapartado 3.4.4 se muestra la utilizaion de estadstios robustos para mejorar los
resultados de la estimaion.
3.4.1 El algoritmo basio de estimaion de movimiento
El metodo desarrollado se basa en la busqueda para ada region de aquel movimiento
que minimie el error de diferenia de la imagen desplazada. Es deir, dadas dos
3.4 Estimaion de movimiento
65
imagenes, donde en la primera de ellas hemos realizado una segmentaion on el
metodo expuesto en el aptulo anterior, para ada region busaremos aquel movimiento que haga mnima la suma de las diferenias entre los valores de intensidad de
los pxeles de la region en la primera imagen y las intensidades de sus orrespondientes
pxeles en la siguiente imagen uando se aplia el movimiento. En adelante, a esta
funion de error la denominaremos DFD5, que es omo mas omunmente se referenia
en la literatura.
Si bien, un modelo de movimiento puramente translaional no es lo que mejor se
adapta al desplazamiento de los vehulos en el plano de la imagen, se ha asumido
que no es neesario utilizar un modelo mas ompliado. Aunque las regiones experimentan un efeto de esalado, debido al aeramiento/alejamiento, este no es de
una magnitud importante: el intervalo entre fotogramas es peque~no, y ademas, los
vehulos son relativamente peque~nos si los omparamos on el tama~no de la imagen.
Por ontra, emplear un modelo mas omplejo supondra un onsiderable aumento del
oste omputaional, que, omo muestran los resultados, no es neesario.
Expresandolo de una manera formal, la estimaion del movimiento onsite en
busar para ada region Ri el movimiento (dx; dy) que minimize el valor absoluto de
la diferenia de la imagen desplazada:
DF Di (dx; dy) =
PNi
j =1 jI1
(x1j ; y1j )
I2 (x1j + dx; y1j + dy)j
Ni
(3.6)
donde Ni es el numero de pxeles de la region Ri, I1 es el nivel de gris en la imagen
original, I2 es el nivel de gris en la siguiente imagen, x1j es la oordenada x del
j esimo punto de la region i en la primera imagen, y1j es la oordenada y del
j esimo punto de Ri en la primera imagen, y (dx; dy) es el movimiento apliado a la
region. La suma total es dividida por el numero de pxeles, Ni, para poder omparar
esta medida entre regiones de diferente tama~no.
En la euaion (3.6) empleamos la suma del valor absoluto de las diferenias omo
medida de orrespondenia. En la literatura se han utilizado otras diversas medidas:
orrelaion direta, orrelaion normalizada de la media, orrelaion normalizada de
la varianza, suma de las diferenias al uadrado, et.. Anandan en [Anandan, 1987℄
realizo una omparaion entre diversas medidas, esogiendo nalmente la suma de las
diferenias al uadrado. Para ello adua dos razones: que su valor es siempre positivo
y que su oste omputaional es menor. Tomando en uenta las razones de Anandan,
y onsiderando que el alulo del valor absoluto tiene menor oste que el alulo del
uadrado, nos paree aertada nuestra eleion. Ademas, dada su linealidad, el uso
del valor absoluto permite una omparaion mas fail entre diferentes medidas que el
uadrado.
Ya que una busqueda exhaustiva del movimiento onllevara un alto oste omputaional, utilizamos una estrategia diferente. Esta estrategia es la de busqueda por el
desenso mas profundo. La Figura 3.9 muestra un diagrama de ujo de la tenia, la
5
DFD viene de las iniiales de Displaed Frame Diferene
66
Captulo 3. Analisis de movimiento
Figura 3.9: Algoritmo de estimaion de movimiento.
ual onsiste en la repetiion, para ada region Ri, de los siguientes pasos:
1. Iniializar el movimiento de la region Ri: (dx; dy) := (0; 0)
2. Seleionar para Ri aquel movimiento (dx + k; dy + l) tal que:
DF Di (dx + k; dy + l) = minDF Di (dx + p; dy + q) 8p; q = f 1; 0; 1g
3. Si k = 0 y l = 0 saltar al paso 6
4. dx := dx + k, dy = dy + l
5. Volver al paso 2
6. (dx; dy) es el movimiento de la region Ri.
El anterior algoritmo se basa en busar en ada iteraion el menor valor de la
funion DFD entre los veinos (p; q = f 1; 0; 1g) del movimiento atual, (dx; dy). Es
3.4 Estimaion de movimiento
67
deir, busamos aquel movimiento que nos hae reduir mas rapidamente la funion
DFD, de aqu que reiba el nombre de busqueda por el desenso mas profundo.
El algoritmo reonoe que ha alanzado el mnimo uando deteta que el mejor
movimiento es el obtenido en la iteraion anterior (dx; dy) = (dx + k; dy + l)=8k; l 2
f 1; 0; 1g.
3.4.2 La estrategia multiresoluion
La estrategia de busqueda por el desenso mas profundo puede plantear problemas
para algunas regiones. Esto es debido a que el proedimiento de busqueda puede
quedar atrapado en un mnimo loal. Para evitar este tipo de mnimos y, ademas,
aelerar el proeso, empleamos una estrategia multiresoluion. Se trata de generar una
piramide de imagenes a distinta resoluion a partir de ada una de las dos imagenes
onseutivas (ver Figura 3.3). Entones la estimaion de movimiento se realiza en
primer lugar en los niveles de menor resoluion, para posteriormente ir propagando la
estimaion obtenida a los siguientes niveles de mayor resoluion. En otras palabras,
si ordenamos los niveles por resoluion de 0 a n, donde 0 es la imagen original, la
estimaion de movimiento siempre se realiza primero en el nivel k + 1 antes que en el
nivel k, donde k 2 f0 : : : ng. La estimaion obtenida en el nivel k + 1 es propagada al
nivel k, de forma que en el primer paso del algoritmo, ya no se realiza una iniializaion
a ero de dx y dy, sino al movimiento estimado en el nivel k + 1.
Mediante una estrategia multiresoluion se pueden tratar mayores desplazamientos
en la imagen, pues permite evitar las malas estimaiones provoadas por los mnimos
loales.
3.4.3 Estimaion de movimiento on preision subpxel
En una seuenia real, raramente el movimiento de un objeto oinide on un numero
exato de pxeles. Para abordar esta situaion a~nadimos dos niveles mas a la piramide,
si bien, en este aso son dos niveles de mayor resoluion que la imagen original. Un
primer nivel a resoluion 0,5 pxeles, y un segundo a resoluion 0,1 pxeles.
Los valores de intensidad de los subpxeles son obtenidos por interpolaion lineal.
En el aso de la resoluion 0,5 pxeles, los valores se obtienen failmente mediante una
suma y una division. En la resoluion de 0,1 pxeles, omo muestra la Figura 3.10,
para obtener el valor de un subpxel , primero se interpolan linealmente los valores
de los subpxeles a y b, y a ontinuaion se alula el valor para .
3.4.4 Apliaion de estadstios robustos
El algoritmo que usamos para estimaion de movimiento asume que todos los pxeles
de una region se desplazan on el mismo movimiento. Esto se onoe omo la asunion
de movimiento simple. Esta premisa es freuentemente violada debido a la presenia
de transparenias, disontinuidades de profundidad, movimiento independiente de los
objetos, sombras y reexiones espeulares. Para onseguir una estimaion able del
68
Captulo 3. Analisis de movimiento
(x,y)
b
(x+1,y)
c
(x,y+1)
a
(x+1,y+1)
Figura 3.10: Interpolaion de los niveles de intensidad en la resoluion subpxel.
movimiento de una region, este debe ser suientemente grande, sin embargo, uanto
mas grande es una region, es mas probable que ontenga movimientos dispares.
Las regiones de la imagen que orresponden a la arretera pueden provoar ompliaiones. Estas regiones no presentan textura, sino mas bien, una intensidad bastante
uniforme para todos sus pxeles. Esto onlleva que, aunque el verdadero movimiento
de estas regiones sea ero, si apliamos un movimiento diferente este produza un
valor para la funion DFD no muho peor que el del movimiento orreto.
Dada esta peuliaridad de las regiones arretera, pueden surgir problemas espeiales uando una region ohe avanza sobre una region arretera oultando pxeles
de esta region. Los pxeles que han sido oultados provoan un movimiento aparente
de su region, el ual es asi igual al movimiento de la region ohe. Esto se debe a
que los pxeles oultos produen grandes errores que el algoritmo trata de ompensar
mediante el movimiento de la region. Este falso movimiento en realidad trata de reuperar los pxeles perdidos. La falta de textura de la arretera produe que el DFD
de un falso movimiento pueda llegar a ser mejor que el del movimiento real. El uso
de estadstios robustos trata de evitar estos problemas, mediante la reduion de la
inuenia de los pxeles que produen grandes errores.
Los metodos mnimo-uadratios o mnimo-modulares son las formulaiones mas
empleadas, sin embargo, no pueden afrontar el problema de la violaion de la asunion
del movimiento simple. Tales formulaiones tienden a promediar los movimientos
presentes en una region, lo ual produe una inorreta estimaion.
\Robust Statistis is a branh of statisis that investigates the sensivity
of statistial proedures to the violation of the underlying assumptions
. ..Two important terms onerning the performane of the estimator
should be explained here: eÆieny and robustness. EÆieny refers to
the ability of a proedure to provide optimal estimates from data that fullls the underlying assumptions (e.g. assumptions made during the design
3.4 Estimaion de movimiento
69
of the method). Robustness reets insensitivity to the assumptions being
violated. The Least Square Estimator is eÆient but non-robust. The
quadrati error term weights heavily the ontributions to the \optimal"
solution from data points whih have large residual errors (e.g. outliers)."
[Bober y Kittler, 1993℄
El termino \robusto" fue iniialmente introduido por Box [Box, 1953℄.
Posteriormente, en los a~nos sesenta, Huber [Huber, 1964℄ y Hampel [Hampel, 1968℄
introdujeron fundamentos matematios mas fuertes. Dentro de la vision artiial, y mas onretamente en el analisis de movimiento, este tipo de estimadores
han sido utilizados por diversos autores [Bober y Kittler, 1994b, Bober y Kittler, 1994a,
Blak y Anandan, 1996, Ong y Spann, 1995℄ para abordar movimientos multiples,
olusiones, et. y tratar de mejorar la seguridad de las estimaiones.
Cuando existen varios movimientos en una misma region, ada onjunto de pxeles
sera onsistente on ada uno de los movimientos. Cuando se examina uno de los
movimientos, los pxeles que no son onsistentes on ese movimiento provoaran fuertes errores que interferiran en la estimaion. Estos pxeles se llaman outliers. Una
apliaion de los estadstios robustos onsiste en detetar y reduir su inuenia, de
forma que no afeten a la estimaion. De auerdo on lo expuesto, en nuestro modelo
reformulamos el estimador mnimo-modular mediante una formulaion robusta.
En la literatura podemos enontrar diversos estimadores robustos, siendo el
uadratio trunado el mas utilizado
(
(x; ; ) =
p
x2 Si jxj < p
para el resto de valores
Este estimador es un substituto del mnimo uadratio. De forma similar podemos
formular un substituto para nuestro mnimo-modular:
(x; ; ) =
jxj Si jxj < para el resto de valores
donde es un fator de esala, el ual nosotros siempre ponemos a 1, y es el maximo
valor que se asigna en nuestro aso a una diferenia entre pxeles. El valor limita la
maxima inuenia de una diferenia entre pxeles.
Introduiendo el kernel robusto en la formula de la diferenia de la imagen desplazada se obtiene:
DF Di (dx; dy) =
PNi
(I1 (x1j ; y1j )
j =1 I2 (x1j + dx; y1j + dy); ; )
Ni
(3.7)
70
Captulo 3. Analisis de movimiento
Segmentación de
regiones con
movimiento coherente
Segmentación con
reestimación de
movimiento
Segmentación
Figura 3.11: Fases de la segmentaion de movimiento.
3.5 Segmentaion
El proeso de segmentaion se basa en la omparaion de los parametros de movimiento estimados para ada par de regiones adyaentes. Cuando este movimiento es
oherente, ambas se unen pasando a formar una sola region. Desafortunadamente,
aunque el proeso de estimaion de movimiento normalmente obtiene estimaiones
similares para las regiones que perteneen a un mismo objeto, a vees esto no ourre.
Este heho se debe prinipalmente al efeto de esalado. Nosotros trabajamos on un
modelo de movimiento translaional, para lo ual asumimos que el efeto de esalado
es despreiable. Sin embargo, este efeto realmente existe en mayor o menor medida, lo ual puede provoar que una misma region obtenga buenos DFDs para varios
movimientos eranos.
Para afrontar este heho, el proedimiento de segmentaion se divide en dos fases
onseutivas:
Segmentaion de las regiones on movimiento oherente.
Segmentaion on reestimaion del movimiento.
La primera fase une las regiones adyaentes on movimiento similar, mientras la
segunda une dos regiones adyaentes si al apliar el movimiento de una a la otra el
resultado de la funion DFD es mejor, o asi tan bueno, omo el obtenido por el
movimiento que se le estimo.
3.5.1 Segmentaion de regiones on movimiento oherente
Como ya hemos omentado, esta fase une regiones adyaentes on movimientos oherentes. La uestion ahora es omo deidir que dos regiones tienen movimientos oherentes. Una primera idea podra ser el usar un umbral y basar la deision en la
siguiente regla:
Unir R1 y R2 Si difx < y dify < No unir R1 y R2 Si difx > o dify > 3.5 Segmentaion
donde
71
difx = jd1x d2x j
dify = jd1y d2y j
y dix y diy son los parametros de movimiento x e y para la region Ri, respetivamente.
Sin embargo, esta regla no es del todo orreta, pues se olvida el fator de esala.
No es lo mismo una diferenia de, por ejemplo, 0.7 pxeles para dos regiones orrespondientes a objetos eranos a la amara, que esa misma diferenia para dos regiones
orrespondientes a objetos alejados. En el primer aso podramos deir que ambas
regiones forman parte de un mismo objeto, mientras que en el segundo esa misma
armaion probablemente no sera orreta.
La regla que nosotros utilizamos se basa en que la diferenia entre los parametros
de movimiento sea menor que un porentaje del movimiento de las regiones. Para
unir dos regiones debe umplirse alguna de las siguientes uatro ondiiones:
difx < d1x y dify < d1y difx < d2x y dify < d1y difx < d1x y dify < d2y difx < d2x y dify < d2y Con esta regla, la diferenia de movimientos entre dos regiones se relaiona on
la dimension del movimiento. Esta fase de la segmentaion, sobre todo uando no
hay perspetiva, suele ser suiente para segmentar la imagen. Sin embargo, y asi
siempre dependiendo de la antidad de esalado que sufran los objetos al aerarse
a la amara, la siguiente fase puede ser neesaria para aabar de unir las regiones
moviles que perteneen a un mismo objeto. Dado que esta segunda fase realiza una
reestimaion del movimiento, preferimos usar un porentaje no demasiado alto, de
forma que se puedan orregir posibles errores en la estimaion del mismo.
3.5.2 Segmentaion on reestimaion de movimiento
Es muy probable que una region se mueva on el mismo movimiento que su veina,
debido a que ambas formen parte del mismo objeto. En esta fase del algoritmo haemos
uso de este onoimiento a priori para, al mismo tiempo, orregir estimaiones erroneas
de movimiento y mejorar la segmentaion.
El proeso que llevamos a abo en esta fase onsiste en:
1. Ordenar las regiones por orden asendente en uanto al numero de pxeles.
2. Tomar una region RA y alular los distintos DFDs apliandole los movimientos
de sus regiones adyaentes,
3. Seionar la region RB uyo movimiento ha produido un menor DFD.
72
Captulo 3. Analisis de movimiento
4. Unir ambas regiones si se umple la siguiente ondiion:
DF DAB < DF DAA + donde DF DXY es el DFD resultante de apliar sobre la region RX el movimiento
estimado para la region RY , y es una holgura.
5. Si aun quedan regiones, volver al paso 2.
El anterior algoritmo toma las regiones en orden asendente al numero de pxeles
que ontienen. Esto se hae porque a mayor tama~no de una region, mayor es la
onanza que se tiene en su estimaion de movimiento. De este modo se omprueba
si para ada region existe algun movimiento orrespondiente a alguna de las regiones
veinas que produza un resultado para la funion DFD asi tan bueno, o mejor, que
el orrespondiente a su movimiento.
Cuando se deide unir dos regiones, siempre se une la mas peque~na a la mas grande. Esto es importante ya que, uando tras varias adhesiones el tama~no de la region
se inrementa en mas de un 50%, se realiza una reestimaion de su movimiento, reestimaion que se alula partiendo del movimiento que tiene, no de ero. Su objetivo es
evitar la propagaion de errores. Evidentemente, lo ideal sera reestimar el movimiento
de una region ada vez que se produe una union, sin embargo, el anterior resultado
representa un equilibrio entre alidad de las estimaiones y bajo oste omputaional.
Aunque habitualmente basta on reorrer solo una vez la lista ompleta de regiones,
omo las uniones produen ambios en las relaiones de veindad, pueden ser neesarias
dos o mas iteraiones. Para evitar inneesarias reestimaiones de la funion DFD, se
maran aquellas regiones que han experimentado alguna union. De esta forma, uando
se vuelve a reorrer la lista solo es neesario visitar aquellas regiones que han ambiado,
o son veinas de alguna de estas.
Dado que las relaiones de veindad son basias para ambas fases de la segmentaion, se hae neesario emplear un grafo de adyaenia. En ella se maran las asillas
que orresponden a una veindad. Estas maras se orrigen a medida que se van
produiendo uniones de regiones. La atualizaion es senilla ya que uando se unen
dos regiones basta on pasar los veinos de la que desaparee a aquella que perdura.
El uso de este grafo se hae neesario, pues graias a ella es inmediato saber si dos
regiones son veinas. En nuestro aso el grafo se onstruye durante la reduion de
regiones, al mismo tiempo que se estudian los bordes de las regiones. De esta forma
su onstruion no supone ningun oste adiional.
3.6 Resultados
En esta seion mostramos los resultados de los proedimientos de deteion, estimaion y segmentaion de movimiento. Para ello utilizamos uatro seuenias: dos
urbanas, una de arretera y una de autopista.
3.6 Resultados
73
(a) Primera imagen de la
seuenia.
(b)
Resultado de la segmentaion estatia de la
imagen.
()
Eliminaion de
pxeles diferenia por
medio de la busqueda de
adenas de pxeles del
mismo signo.
(e)
Resultado de la reduion de regiones.
(f )
(d)
Substraion de la
imagen atual y la siguiente.
Union de regiones
on movimiento oherente.
Segmentaion nal
de la imagen.
(g)
Figura 3.12: Varias etapas de la segmentaion de una imagen de trao urbano.
74
Captulo 3. Analisis de movimiento
La primera seuenia orresponde a trao urbano y fue grabada desde la terraza
de un ediio. De esta seuenia hemos extrado tres imagenes onseutivas, que son
las que apareen, junto on algunos resultados intermedios del proeso, en las Figuras
3.12, 3.13, 3.14. En ellas, una furgoneta irula por una alle, en direion a la amara.
En esta seuenia no hemos marado omo area de interes solo la alzada, sino que
hemos usado un area de interes retangular. As, se puede apreiar el omportamiento
de otro tipo de regiones estatias, ademas de las orrespondientes a la alzada. Por
supuesto, en una apliaion real se hubiera marado solo la alzada, lo ual supone
una reduion del tiempo de omputaion.
La Figura 3.12 ontiene la primera imagen de la seuenia, subgura 3.12.a. Dado
que no ha habido imagenes anteriores, no existe una imagen referenia del fondo
estatio. Por lo tanto, para esta imagen no se realiza una deteion de movimiento, y
la segmentaion estatia se aplia a la totalidad del area de interes. El resultado se
muestra en la subgura 3.12.b.
El siguiente paso es unir las regiones que por su gran tama~no no pueden orresponder a vehulos. Esto nos proporiona una region fondo que oupa aproximadamente
las tres uartas partes de la imagen. La subgura 3.12. es el resultado de la substraion de la imagen de la subgura 3.12.a y la siguiente, subgura 3.13.a. Tras esta
substraion se realiza la seleion de adenas de pxeles diferenia on el mismo signo
para reduir la inuenia del ruido. El resultado se observa en la subgura 3.12.d.
Puede observarse que la mayor presenia de pxeles diferenia se onentra en la furgoneta y en su lado izquierdo, donde predominan las formas retas. En la subgura
3.12.e se muestra el estado de la segmentaion despues de este paso. A exepion
de las dos grandes regiones que ya fueron unidas al fondo debido a su tama~no, las
subguras 3.12.b y 3.12.e son pratiamente iguales. Debido a la presenia de pxeles
diferenia, preisamente sobre la zona donde hay mayor numero de regiones, tan solo
ha sido posible unir al fondo un par de regiones peque~nas. A ontinuaion se lleva
a abo la atualizaion de los valores de la imagen referenia del fondo estatio. En
este aso, dado que se trata de la primera atualizaion, se asignaran diretamente
los valores de los pxeles de la region fondo de la presente segmentaion. El resto de
pxeles, los que en este momento perteneen a otras regiones, ontinuaran on un valor
indeterminado, por lo que en la segmentaion de la siguiente imagen neesariamente
deberan ser proesados por la segmentaion estatia.
Una vez que se ha atualizado la imagen de referenia, se pasa a estimar el movimiento de las regiones que no perteneen al fondo. Con las estimaiones realizadas, se
proede a unir aquellas que presentan desplazamientos similares. La subgura 3.12.f
muestra esta union. Como puede observarse, la imagen se ha desompuesto en tres
regiones: el fondo y dos mas que perteneen a la furgoneta. El siguiente y ultimo
paso es la segmentaion on reestimaion de movimiento. Aqu se toma la region mas
peque~na de las dos que omponen la furgoneta, y se le aplia el movimiento estimado
para la otra. Como el DFD es similar, se produe la union de ambas, onsiguiendose
as la segmentaion nal (subgura 3.12.g).
La Figura 3.13 muestra la segmentaion de la segunda imagen de la seuenia,
3.6 Resultados
75
(a)
Segunda imagen de
la seuenia.
(d)
Resultado de la segmentaion estatia de la
imagen.
Resultado de la reduion de regiones.
(h)
(g)
(b)
Substraion entre la
imagen atual y la imagen fondo.
()
Imagen diferenia
despues de las operaiones morfologias.
(e)
Substraion de la
imagen atual y la siguiente.
Eliminaion de
pxeles diferenia por
medio de la busqueda de
adenas de pxeles del
mismo signo.
Union de regiones
on movimiento oherente.
(i)
(f )
Segmentaion nal de
la imagen.
Figura 3.13: Varias etapas de la segmentaion de la imagen siguiente a la de la
Figura 3.12.
76
Captulo 3. Analisis de movimiento
(a) Terera imagen de la
seuenia.
(b) Substrai
on entre la
imagen atual y la imagen fondo.
()
(d)
Resultado de la segmentaion estatia de la
imagen.
(e) Substrai
on de la
imagen atual y la siguiente.
Eliminaion de
pxeles diferenia por
medio de la busqueda de
adenas de pxeles del
mismo signo.
Resultado de la reduion de regiones.
(h) Uni
on de regiones
on movimiento oherente.
(i)
(g)
Imagen diferenia
despues de las operaiones morfologias.
(f )
Segmentaion nal de
la imagen.
Figura 3.14: Varias etapas de la segmentaion de la imagen siguiente a la de la
Figura 3.13.
3.6 Resultados
77
(a) Primera imagen de la
seuenia.
(b)
Resultado de la segmentaion de la imagen.
() Cuarta imagen de la
seuenia.
(d)
Resultado de la segmentaion de la imagen.
Figura 3.15: Segmentaion de una esena grabada en la Durlaher-Tor de Karlsruhe.
Estas imagenes fueron usadas en [Koller et al. 1993℄. (KOGS/IAKS Universitat
Karlsruhe)
subgura 3.13.a. A diferenia de la primera imagen, para la presente s que disponemos
de una imagen de referenia del fondo estatio. Al menos una imagen de referenia
parial. La subgura 3.13.b muestra la imagen diferenia obtenida tras la resta de la
imagen atual y el fondo. La subgura 3.13. es la misma imagen pero tras apliar las
operaiones morfologias. Como omentabamos en el Apartado 3.2, estas operaiones
tienen omo objetivo eliminar peque~nos grupos que no orresponden a entidades de
interes, y unir grupos que puedan orresponder a un mismo objeto. Como puede
observarse, se onsiguen ambos objetivos. Por un lado, han desapareido los peque~nos
grupos de pxeles, que on asi total seguridad deban orresponder a ruido. Y por
otra parte, se ha obtenido una masara ompata que engloba toda la superie de la
imagen oupada por la furgoneta. A ontinuaion se realiza la segmentaion estatia
sobre la parte de la imagen oupada por la masara de pxeles diferenia. El resultado
puede verse en la subgura 3.13.d.
78
Captulo 3. Analisis de movimiento
Una vez segmentada la zona donde se deteto algun ambio, se lleva a abo la
reduion de regiones basada en la substraion de imagenes ontiguas. La subgura
3.13.e muestra la imagen diferenia, y la subgura 3.13.f muestra el mismo resultado
tras la eliminaion del ruido. En este aso podemos ver que los pxeles diferenia se
onentran uniamente en la zona donde verdaderamente se ha produido el movimiento. Como onseuenia de ello, la reduion de regiones puede aislar orretamente las regiones que perteneen a la furgoneta. A ontinuaion se proede a la
estimaion y segmentaion de movimiento. A diferenia de la imagen anterior, en esta
oasion se obtienen movimientos similares para todas las regiones que omponen la
furgoneta. De este modo no es neesario reurrir a la segmentaion on reestimaion
de movimiento. La primera segmentaion ya une todos los pxeles de la furgoneta,
subgura 3.13.h, on lo que la siguiente segmentaion, aunque se lleve a abo, no tiene
efeto alguno (subgura 3.13.i).
La Figura 3.14 orresponde a la segmentaion de la terera imagen de la seuenia.
El proesamiento de esta imagen es similar al de las anteriores, sin embargo, en esta
oasion ya tenemos una imagen referenia del fondo estatio que es asi ompleta. En
la fase de deteion de movimiento solo se enuentran pxeles diferenia en la zona de
la furgoneta, de modo que solo se segmenta esta zona. Dado que toda la zona esta
en movimiento, la reduion basada en substraion de imagenes ontiguas no tiene
efeto, por lo que las subguras 3.14.d y 3.14.g presentan exatamente las mismas
regiones. La subgura 3.14.h es la segmentaion basada en similitud de movimientos.
Aqu se onsigue unir el uerpo prinipal de la furgoneta. El resto de regiones son
unidas por la segmentaion basada en reestimaion de movimiento, subgura 3.14.i.
Como hemos visto, tras proesar tan solo dos imagenes se dispone ya de una imagen
de referenia del fondo estatio. De este modo es posible desartar esta imagen uando
se deteta que se ha produido un ambio importante, pero sin afetar al proesamiento
del resto de imagenes.
Las Figuras 3.15 y 3.16 muestran las segmentaiones de otras dos seuenias. En
ambas la segmentaion es muho mas ompliada. Primeramente, porque en ambas
el numero de vehulos es muy grande: oho y diez, respetivamente. Ademas, ada
una de ellas presenta inonvenientes adiionales. La primera, Figura 3.15, plantea la
diultad del peque~no tama~no de los vehulos. Este tama~no vara desde 10x14 el
mas peque~no, hasta 18x30, aproximadamente, el mas grande. La segunda seuenia,
Figura 3.16, plantea los problemas de la agrupaion de vehulos y la perspetiva. En
el entro de la imagen, arril dereho, puede observarse un grupo de tres vehulos:
dos ohes y un amion. En uanto a la perspetiva, dada la situaion poo elevada
de la amara, el tama~no de los vehulos vara onsiderablemente. Mientras los mas
peque~nos apenas oupan tresientos pxeles, los mas grandes tienen un tama~no en el
plano de la imagen de varios miles de pxeles. Ademas, y lo que es mas importante, esto
hae que el movimiento no sea puramente translaional. A medida que los vehulos
se van aerando a la amara, su tama~no va aumentando, y, obviamente, uando se
van alejando suede lo ontrario.
La seuenia de la Figura 3.15 muestra un rue de avenidas en una plaza. Esta
3.6 Resultados
Camion 1
Cohe 2
Cohe 3
Cohe 4
Cohe 5
Cohe 6
Cohe 7
Cohe 8
79
Imagen 1
x
y
-0.2
0.0
1.0
0.7
1.3
1.6
1.3
1.9
-0.9
-0.9
-1.0
-1.0
-1.0
-1.3
-0.9
-0.8
Imagen 2
x
y
-0.2
-0.1
0.8
1.0
1.6
1.9
1.6
2.1
-0.7
-0.8
-0.7
-0.9
-1.0
-1.3
-0.9
-1.0
Imagen 3
x
y
-0.1
0.0
0.7
0.9
1,4
1.6
1.3
2.2
-0.7
-0.9
-0.8
-0.9
-1.0
-1.4
-0.8
-1.0
Imagen 4
x
y
-0.3
-0.2
0.9
0.9
1.5
1.7
2.1
2.3
-0.7
-0.7
-0.8
-0.9
-1.0
-1.2
-0.8
-1.0
Tabla 3.1: Movimientos estimados para los vehulos de la Figura 3.15.
imagen fue obtenida de la pagina web del Institut fur Algorithmen und Kognitive
Systeme, Universitat Karlsruhe, y orresponde a una seuenia utilizada por Koller et
al. [Koller et al., 1993℄ en un onoido artulo sobre seguimiento de vehulos. Ya en
este artulo, Koller et al. se~nalaban la diultad que entra~na esta seuenia debido
al reduido tama~no de los vehulos. De heho, su metodo requera una iniializaion
interativa para poder seguir los tres vehulos de menor intensidad. La seuenia
original es de un tama~no de 512x512 pxeles. Dado que nuestro metodo esta orientado
haia la implementaion en tiempo real, nosotros siempre usamos imagenes de un
tama~no inferior, por lo que el usarlo en esta oasion nos hara partir on una ventaja
de la que no se dispondra en una implantaion real del sistema. Por ello, y aun a
pesar de agravar el problema del peque~no tama~no de los objetos, hemos reduido el
tama~no de las imagenes a la mitad: 256x256.
Las subguras 3.15.a y 3.15. orresponden a la primera y uarta imagenes de
la seuenia. Se puede observar que nuestro metodo onsigue segmentar todos los
vehulos presentes. Sin embargo, podemos apreiar que el reduido tama~no de los
vehulos afeta a la alidad de la segmentaion. Esto se debe prinipalmente a la
segmentaion estatia. Dado el diminuto tama~no de algunos elementos de los ohes,
tales omo ruedas, ventanillas, parahoques, et, la segmentaion estatia no les onere importania, on lo que a vees se unen a la alzada. Tambien se produe el
heho de que uando se observan peque~nos elementos en la lejana, ompuestos por
intensidades laras y obsuras, la vision que se tiene de ellos es la de una unia zona
de intensidad media, la ual se paree mas a la intensidad de la arretera que a la de
el propio vehulo.
En el ambito de apliaion de nuestro metodo, la alidad de la segmentaion aree
de relativa importania, o al menos la importania que tiene es seundaria. Lo que
realmente interesa es saber uantos vehulos hay, donde se enuentran, y omo se
estan moviendo. Afortunadamente, estos objetivos se alanzan. La Tabla 3.1, muestra
las estimaiones de movimiento para todos los vehulos de la esena a lo largo de
uatro imagenes, las dos presentadas en la Figura 3.15, y las dos que se enuentran
entre ambas. En esta tabla se han numerado los vehulos tomando su posiion en
80
Captulo 3. Analisis de movimiento
la primera imagen. Los numeros mas bajos orresponden a vehulos situados en
posiiones mas altas de la imagen. Es deir, se ha ordenado de auerdo a la oordenada
y de su entro de masas. As mismo, el entro de oordenadas esta situado en la
esquina superior izquierda de la imagen. Observando los movimientos estimados para
los vehulos, se puede apreiar que todos ellos se desplazan haia el entro del rue,
y los que lo alanzan realizan un giro a la izquierda.
(a)
Primera imagen de la seuen-
(b) Resultado de la segmentai
on
de la imagen.
()
Cuarta imagen de la seuenia.
(d) Resultado de la segmentai
on
de la imagen.
ia.
Figura 3.16: Segmentaion de dos imagenes de la seuenia grabada en la N-340.
La seuenia de la Figura 3.16 presenta un aso mas ompliado debido a la situaion de la amara. De heho, orresponde a un aso extremo de perspetiva. En
una implementaion real, lo logio sera situar la amara en una posiion mas elevada,
la ual, por un lado, redujera la disparidad de tama~no entre vehulos, y, lo que es
mas importante, permitiera abarar un mayor espaio de arretera, y on menores
olusiones pariales. Sin embargo, esta seuenia nos permite observar que el metodo
trabaja orretamente, aun sin que se umpla la asunion de movimiento puramente
translaional.
Las subguras 3.16.a y 3.16. son las imagenes primera y uarta de la seuenia,
3.6 Resultados
Cohe 1
Camion 2
Camion 3
Cohe 4
Cohe 5
Cohe 6
Cohe 7
Cohe 8
81
Imagen 1
x
y
-4.0
-1.0
-0.3
-0.3
-0.5
-1.0
-0.7
-2.3
0.2
0.9
-1.2
-2.0
2.0
-2.5
4.0
-5.3
Imagen 2
x
y
-3.8
-1.1
-0.3
-0.2
-0.6
-1.1
-0.8
-2.6
0.4
0.8
-1.2
-1.6
2.5
-2.1
4.0
-4.8
Imagen 3
x
y
-3.8
-1.0
-0.6
-0.4
-0.6
-1.2
-0.8
-2.4
0.6
1.2
-1.2
-1.5
-2.5
-2.1
4.3
-4.4
Imagen 4
x
y
-3.7
-1.5
-1.1
-0.6
-0.8
-1.4
-0.9
-2.0
0.9
1.7
-1.1
-1.5
3.2
-2.0
4.6
-4.5
Tabla 3.2: Movimientos estimados para los vehulos de la Figura 3.16.
y las subguras 3.16.b y 3.16.d son sus respetivas segmentaiones. La Tabla 3.2
muestra los movimientos estimados en ada una de las uatro imagenes para ada uno
de los vehulos que apareen en la segmentaion de la primera imagen. Aqu de nuevo
hemos usado la misma numeraion, a menor oordenada y para el entro de masas del
vehulo, menor numero de orden.
La esena ontiene 10 vehulos, de los uales solo oho son orretamente segmentados en las uatro imagenes. Existen dos ohes que, dadas las diultades que
presentan, no pueden ser orretamente segmentados en todas las imagenes. El primero de estos vehulos es el que se enuentra asi totalmente oulto tras el amion
que se aera por el arril de la izquierda. Dado que esta mayoritariamente oulto,
y que por su lejana, su veloidad en el plano de la imagen es muy similar a la del
amion, tan solo pudo ser segmentado en la terera imagen. En realidad su situaion
se va agravando onforme avanza la seuenia, pues ada vez se halla mas oulto tras
el amion. El otro vehulo es el que se aleja de la amara por un amino de tierra
situado a la izquierda de la arretera. Este ohe se desplaza a una veloidad muy
baja, y ademas su vision es interferida por la baja vegetaion que se enuentra alrededor del amino. Su movimiento estimado es siempre muy erano a ero, on lo que
el algoritmo tiende a unirlo al fondo. Este vehulo fue segmentado en las imagenes
segunda y uarta.
Pensamos que, a pesar de los dos vehulos que presentan problemas de segmentaion, los resultados obtenidos en esta seuenia son muy satisfatorios. No se puede
requerir al metodo que distinga el movimiento de dos objetos adyaentes, en un aso en que, probablemente, ni siquiera un observador humano podra haerlo6. Por
lo que respeta a los vehulos prinipales, son segmentados on suiente preision.
Cabe destaar la apaidad del metodo para separar distintos vehulos, aunque estos
aparezan juntos en el plano de la imagen.
La Figura 3.17 muestra los resultados de la segmentaion de la imagen de la sub6
De heho, y sirva omo anedota, en el aso del vehulo que irula por el amino, fue el algoritmo
de segmentaion quien desubrio el vehulo antes que nosotros.
82
Captulo 3. Analisis de movimiento
(a)
Numero iniial de regiones = 5, Tmax = 14,
= 100, = 2500, =
16, = 8.
(b)
Variaion del parametro del kernel robusto
= 40.
()
Numero de regiones
= 35.
(e)
Sin utilizar resoluion subpxel.
(f )
(d)
Maxima desviaion
tpia Tmax = 20.
Inremento del umbral = 16.
Figura 3.17: Resultados de la segmentaion de la imagen de la subgura 3.16.a
utilizando varias ombinaiones de parametros.
gura 3.16.a, pero empleando otras ombinaiones de parametros. En general, se puede
observar que el metodo tiene un buen omportamiento uando se introduen ligeras
modiaiones sobre los parametros. Esto signia que no es neesario busar los
parametros optimos para ada seuenia, sino que mas bien, existe un amplio rango
de valores que proporionan resultados satisfatorios.
La subgura 3.17.a es una segmentaion en la que se han utilizado los siguientes
parameros: numero de regiones = 5, Tmax = 14, = 100, = 2500, = 16, = 8.
Los uatro primeros parametros orresponden a la segmentaion estatia (numero
iniial de regiones, desviaion tpia, y los tama~nos mnimo y maximo de region),
mientras que los dos ultimos, respetivamente, son el parametro del kernel robusto, y
el umbral empleado en la reduion del numero de regiones para alular las imagenes
diferenia. Por su parte, en la Figura 3.16 los parametros que se utilizaron fueron:
numero de regiones = 6, Tmax = 12, = 150, = 2000, = 19, = 8. En
ambas segmentaiones (subguras 3.16.b y 3.17.a) los resultados son ualitativamente
similares. Las peque~nas diferenias que se observan on respeto a la forma de los
vehulos se deben a los ambios introduidos en los parametros de la segmentaion
3.6 Resultados
83
estatia.
Para poder apreiar el efeto de ada parametro, el resto de subguras de la Figura
3.17 muestran modiaiones de un unio parametro on respeto a los que se han
usado en la subgura 3.17.a. Hemos observado que una variaion del parametro en
el rango 15 - 25 no produe ambios signiativos en la segmentaion nal. As, en la
subgura 3.17.b se ha inrementado este parametro hasta un valor desmesurado ( =
40). Esto hae aumentar la inuenia de los outliers en la estimaion de movimiento
de ada region. Como onseuenia, el algoritmo introdue algunos errores en el
alulo de los parametros de movimiento de algunas regiones, que, nalmente, no son
orretamente segmentadas.
En la subgura 3.17. se ha modiado el valor de la maxima desviaion tpia
Tmax . Este parametro ha pasado de valer 14 en la subgura 3.17.a a valer 20 ahora. Su
valor afeta a la segmentaion basada en nivel de gris (segmentaion estatia): uanto
mayor es su valor, mas grandes son las regiones resultantes. Hemos observado que la
variaion de este parametro en el rango 10 - 18 no inuye signiativamente en las
segmentaiones. En ualquier aso, a pesar de haber usado un valor Tmax = 20 se han
segmentado todos los vehulos, si bien, al no haberse produido todas las divisiones
neesarias de las regiones, esto ha afetado a las siluetas nales de los vehulos.
La subgura 3.17.d orresponde a una variaion del numero iniial de regiones.
Aunque las formas extradas no han variado de manera importante, si que se ha
produido un efeto perjudiial: el oste omputaional se ha inrementado onsiderablemente. Al pasar de 6 a 35 regiones iniiales, el oste ha aumentado un 61:5%.
La subgura 3.17.e trata de mostrar la importania de la estimaion subpxel. Aqu
ha sido suprimida, on lo que algunas regiones adyaentes que perteneen a diferentes
objetos han sido nalmente unidos. La perdida de la informaion subpxel ha sido la
que ha impedido distinguir los diferentes movimientos de estos vehulos.
Finalmente, en la subgura 3.17.f, se ha inrementado el umbral del alulo
de imagenes diferenia. Conseuentemente, la antidad de pxeles diferenia se ha
reduido, on respeto a la subgura 3.17.a, y algunas regiones adyaentes se han
unido.
La Figura 3.18 presenta la segmentaion de varias imagenes de una seuenia de
ohes irulando por una autopista. En esta seuenia, los vehulos se mueven a veloidades que rondan los 100km/h. La subgura 3.18.b orresponde a la segmentaion
de un ohe. E sta es la primera imagen en la que el ohe aparee en la segmentaion,
ya que en la anteriores su movimiento en la imagen era demasiado proximo a ero. De
manera similar, la subgura 3.18.d es la primera segmentaion en la ual se detetan
dos nuevos ohes uya veloidad ha pasado a ser suientemente distinta de ero. La
subgura 3.18.e es la imagen 55 y la subgura 3.18.f su orrespondiente segmentaion.
Finalmente, la subgura 3.18.h es la segmentaion de la imagen numero 100, subgura
3.18.g.
Los ostes omputaionales de las fases de estimaion y segmentaion de movimiento son lineales, siendo estas, respetivamente, O(Np2 ) y O(Nq), donde N es el
numero de pxeles de la imagen y, p y q son dos onstantes de valor peque~no si se las
84
Captulo 3. Analisis de movimiento
Sexta imagen.
(b)
()
Imagen numero 46.
(d)
(e)
Imagen numero 55.
(f )
(g)
Imagen numero 100.
(h)
(a)
Segmentaion de la
sexta imagen.
Segmentaion de la
imagen numero 46.
Segmentaion de la
imagen numero 55.
Segmentaion de la
imagen numero 100.
Figura 3.18: Cuatro imagenes de una seuenia de autopista on sus respetivas
segmentaiones.
3.7 Conlusiones
85
ompara on N . Tras una larga experimentaion, se ha estimado que los valores de
esas dos ontantes varan entre los rangos: 1 p 8 y 0 < q 49.
3.7 Conlusiones
En este aptulo hemos presentado un metodo de estimaion y segmentaion de movimiento espeialmente dise~nado para esenas de trao, aunque tambien utilizable en
otro tipo de seuenias donde la amara permaneza estatia, y el movimiento siga
aproximadamente un modelo translaional. El metodo es una ombinaion de diversas
tenias, las uales hemos desarrollado o adaptado para alanzar el objetivo propuesto.
Podemos desomponer el metodo en distintas fases: deteion, estimaion y segmentaion. En la primera se realiza una deteion de movimiento, la ual redue el
proeso a las zonas de verdadero interes. Esto proporiona dos grandes beneios: reduion del oste omputaional y simpliaion del problema. Esta tenia, aunque
estrehamente relaionada on otras existentes, proporiona el beneio de generar
una imagen referenia al mismo tiempo que se proesan las imagenes. No es neesario
detener el proeso hasta que se genere la imagen de referenia, sino que el algoritmo
puede seguir trabajando aunque no haya sido estimada ompletamente, o inluso si ni
siquiera existe.
La fase de reduion del numero de regiones basada en substraion de imagenes
onseutivas permite, en ombinaion on la anteriormente omentada deteion, aislar del fondo estatio las regiones que perteneen a los vehulos. Esta fase ofree
un diferente enfoque para el mismo problema de la deteion de movimiento, pero
el heho de estar basado en diferentes imagenes le permite atual donde la anterior
fase pudiera fallar, pero a un mismo reduido oste omputaional. Ademas, esta fase
olabora en la regeneraion de la imagen referenia del fondo estatio uando esta
debe desartarse.
El proedimiento de estimaion de movimiento ha sido dise~nado empleando multiresoluion, preision subpxel y estadstios robustos. El resultado son estimaiones
on el suiente potenial omo para disriminar entre regiones adyaentes on diferentes movimientos, y ademas afrontar problemas omo la existenia de mnimos
loales en la funion DFD y la violaion de la premisa de movimiento simple dentro
de ada region.
La segmentaion de movimiento ha sido dise~nada en dos pasos para onseguir una
mayor tolerania ante posibles errores de estimaion. La primera solo une aquellas
regiones adyaentes que por la similitud de sus estimaiones nos proporionan la suiente erteza omo para onsiderarlas partes de un mismo objeto. La segunda fase
permite reonsiderar las estimaiones para as unir regiones veinas. Esta reonsideraion se basa en la potenialidad de que dos regiones veinas sean parte de un
mismo objeto. Esta reestimaion ofree una mayor robustez al metodo, permitiendole
afrontar violaiones de la premisa de movimiento translaional.
Como se ha visto en los resultados, el empleo de un modelo de movimiento translaional en modo alguno diulta la segmentaion. Es mas, una estimaion de movi-
86
Captulo 3. Analisis de movimiento
miento basada en este modelo aporta suiente informaion omo para separar en la
mayora de asos regiones adyaentes que perteneen a diferentes vehulos.
El metodo se basa en la realizaion de una segmentaion estatia previa. En el
aptulo anterior se propuso un metodo de segmentaion para tales nes, que omo
all tambien se dijo, puede ser substituido por ualquier otro que umpla las mismas
ondiiones. En este aptulo se ha mostrado que la introduion de diho paso previo,
y el empleo de la informaion de intensidad omo riterio de homogeneidad resultan
muy adeuados para las esenas de trao. De una manera rapida y segura se onsigue
realizar la mayor parte de la segmentaion, prinipalmente agrupar los pxeles que
orresponden al fondo, sin todava haber iniiado la estimaion de movimiento.
Los ostes omputaionales de los proesos de estimaion y segmentaion de movimiento son lineales. Este heho hae que pueda formar parte del sistema total, al ual
se le exiga que trabajase en tiempo real on un hardware no dediado. Como se vera
en los siguientes aptulos, se onsigue este requerimiento.
Cap
tulo 4
Seguimiento e integraion
temporal morfologia
Contenido
4.1 Introduion . . . . . . . . . . . . . . . . . . . . . . . . . . .
87
4.1.1
4.1.2
4.1.3
Breve revision bibliograa . . . . . . . . . . . . . . . . . . . 88
Un metodo de seguimiento e integraion temporal morfologia 93
Estrutura del aptulo . . . . . . . . . . . . . . . . . . . . . 95
4.3.1
4.3.2
Correspondenias entre regiones . . . . . . . . . . . . . . . . 97
Estimaion de los parametros de movimiento . . . . . . . . . 99
4.5.1
4.5.2
4.5.3
Planteamiento del problema . . . . . . . . . . . . . . . . . . . 107
Busqueda de la region Rk . . . . . . . . . . . . . . . . . . . . 107
Generaion de la region Rl . . . . . . . . . . . . . . . . . . . 108
4.2 El algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Seguimiento de regiones . . . . . . . . . . . . . . . . . . . .
95
97
4.4 Memoria temporal . . . . . . . . . . . . . . . . . . . . . . . . 102
4.5 Reuperando regiones perdidas . . . . . . . . . . . . . . . . 106
4.6
4.7
4.8
4.9
Generaion de una segmentaion nal
Resumen del algoritmo . . . . . . . . .
Resultados . . . . . . . . . . . . . . . .
Conlusiones . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
108
108
109
114
4.1 Introduion
Este aptulo desarrolla dos importantes oneptos del analisis de imagenes dinamias:
el seguimiento y la integraion temporal. Hasta el momento tan solo hemos presentado
88
Captulo 4. Seguimiento e integraion temporal
el analisis de pares de imagenes onseutivas. Lo que mostramos a lo largo de este
aptulo es la extension de ese analisis a toda la seuenia.
A ontinuaion y dentro de esta misma seion mostramos una introduion a
ambas tenias, junto on una breve revision bibliograa de los trabajos existentes
relaionados on las mismas. En el Apartado 4.1.2 desribimos someramente el metodo
desarrollado, y en el Apartado 4.1.3 desribimos el ontenido del resto del aptulo.
4.1.1 Breve revision bibliograa
Partimos de la premisa de que los objetos de la esena se desplazan sin variaiones
brusas. Diha premisa en modo alguno limita la generalidad de nuestro metodo,
puesto que es apliable a la inmensa mayora de seuenias. Ademas, utilizaremos
esta restriion para relaionar las segmentaiones obtenidas a partir de los pares de
imagenes y obtener as un onoimiento del omportamiento de los objetos muho
mas fundamentado. Es obvio que uanta mas informaion reiba un sistema, mayor
sera la alidad de sus resultados. En nuestro aso, esto se tradue en que uantas mas
imagenes utiliemos para realizar nuestras estimaiones, mas ables seran las mismas,
y menor sera la inuenia de los errores puntuales que puedan produirse en el analisis
de pares de imagenes.
Como se ha visto en el aptulo anterior, el analisis de imagenes onseutivas
proporiona una mediion del movimiento para ada grupo onexo de pxeles que
muestra un desplazamiento difereniado del de sus veinos. Cada uno de estos grupos,
regiones, muy probablemente orrespondera a un objeto diferente, el ual ira variando
de una manera ontinua su posiion y forma en la imagen. Desgraiadamente no
podemos presuponer que todas las mediiones de movimiento y forma sean preisas,
mas bien al ontrario, hemos de tener en uenta que la presenia de ruido provoara
que las mismas no sigan una evoluion ompletamente uniforme.
A lo largo de este aptulo proponemos un metodo que permite integrar las diferentes observaiones obtenidas a partir del analisis de pares de imagenes. Esta integraion
lleva a abo dos importantes funiones: el seguimiento de la evoluion de los objetos,
y el aumento de la robustez de las estimaiones de movimiento y forma. Para ello,
en primer lugar debera realizarse una orrespondenia entre las regiones que forman
parte de la segmentaion de ada una de las imagenes, y en segundo lugar, debera
utilizarse algun tipo de memoria temporal que permita integrar las observaiones obtenidas durante la seuenia, de forma que en ada nueva imagen se puedan generar
estimaiones basadas en el onoimiento aumulado.
A este aopio de mediiones, el ual permite seguir, e inluso predeir, la evoluion de las entidades extradas de la imagen, es a lo que llamamos integraion
temporal. Este onepto ha sido freuentemente utilizado para aumentar la robustez de las estimaiones de movimiento [Zheng y Chellappa, 1995, Isard y Blake, 1996,
Zhang y Faugeras, 1992, Koller et al., 1994b℄, lo que se onoe omo seguimiento. Sin
embargo, apenas se ha explotado su utilidad de ara a la mejora de las segmentaiones
[Irani et al., 1992, Smith y Brady, 1995℄, lo que aqu llamamos integraion temporal
4.1 Introduion
morfologia,
89
y que algunos autores denominan, simplemente, integraion temporal.
Preferimos a~nadirle el aliativo \morfologia" para distinguirla laramente de otros
tipos de integraion temporal, omo pueden ser el propio seguimiento, o la integraion
de informaion de profundidad [Matthies y Kanade, 1989℄.
El seguimiento se basa en la utilizaion de orrespondenias entre elementos de la
imagen, o en estimaiones de ujo optio. En ambos asos, estas se obtienen a lo largo
de varias imagenes, sirviendo omo observaiones para el algoritmo de seguimiento.
Este algoritmo, en esenia, determina los parametros de movimiento que mejor se
adeuan al onjunto de observaiones.
En la mayora de metodos, la segmentaion proporiona informaion para llevar
a abo el seguimiento. Nuestra idea es que a su vez el seguimiento tambien puede
ayudar a mejorar la segmentaion. El seguimiento, por medio de las orrespondenias,
relaiona las distintas apariiones de una misma entidad a lo largo de una seuenia,
y ademas determina su movimiento. Por tanto, nos permite seguir la evoluion de las
formas. Dado que las variaiones son progresivas y que se onoen los parametros de
movimiento, se puede saber en ada imagen que pxeles tienen una mayor probabilidad
de perteneer a ada entidad. Ello signia que es posible predeir y orregir las
segmentaiones si se integra la informaion morfologia obtenida a partir de ada
imagen, integraion temporal morfologia.
Con la exepion de unos poos trabajos, se han ignorado los beneios que
el seguimiento de objetos moviles puede aportar a la segmentaion. Irani et al.
[Irani et al., 1992℄ utilizo la integraion temporal de los resultados de la segmentaion de movimiento para reduir su tiempo de alulo. Sin embargo, este metodo
no realizaba un seguimiento de la forma, on lo que la informaion aera de los
eventos de la esena no era diretamente disponible. El metodo de Meyer y Bouthemy [Meyer y Bouthemy, 1994℄ realiza un seguimiento de los ontornos de los objetos moviles. La integraion temporal se onsigue por medio del almaenamiento de
representaiones poligonales de ada uno de los objetos. Ello permite la deteion de
olusiones por medio de la omparaion entre las regiones segmentadas y las prediiones de sus ontornos. Smith y Brady [Smith y Brady, 1995℄ utilizan un mapa radial
para mantener la forma de los objetos. Este mapa se ombina on ada segmentaion
para produir la segmentaion nal de las imagenes. Esto le permite al metodo detetar olusiones, permitiendo en estas situaiones obtener una aproximaion al ontorno
total del objeto. En [Mae et al., 1996℄, se haen orresponder las disontinuidades en
el ampo de ujo on las de intensidad, bordes. Estas orrespondenias representan
bordes moviles, los uales son aumulados y usados de dos formas: omo prediion
de la posiion de los bordes en la imagen atual, y omo substitutos de los bordes
perdidos, on el n de onseguir ontornos ontinuos.
\A traking proess an be dened by (1) a representational model of tokens (e.g., image oordinates of distinguishable points, mid-point oordinates, length and orientation of ontour segments), (2) a kinemati model
of evolution of tokens (e.g., onstant veloity, onstant aeleration, aÆne
motion), (3) a set of relations between model parameters and image mea-
90
Captulo 4. Seguimiento e integraion temporal
surements, and (4) a temporal lter to estimate model parameters from
image data (a lassi lter that has been ommonly used is the Kalman
lter)." [Mitihe y Bouthemy, 1996℄
Dependiendo de la apliaion , se pueden utilizar diferentes modelos de movimiento, siendo los mas senillos aquellos que asumen veloidad onstante. Estos modelos pueden lasiarse en dos grupos [Tekalp, 1995℄: modelos de movimiento 2-D,
los uales representan trayetorias en el plano de la imagen, y modelos de movimiento
3-D, que representan inematias de movimientos fsios.
En los modelos de trayetorias 2-D, estas pueden basarse en diferentes transformaiones espaiales, translaion [Snyder y Rajala, 1983℄, afn [Shapiro, 1995℄, perspetiva o poligonal [Jang et al., 1997℄, lo ual se traduira en un diferente numero de
parametros para expresar las euaiones de movimiento. Con estos modelos se puede
realizar el seguimiento tanto de faetas individuales, omo de regiones. La evoluion
temporal de los parametros de las transformaiones pueden modelarse por medio de
rotaiones 2-D, translaiones, y/o dilataiones, o bien mediante la expansion de orden
bajo de las series de Taylor [Meyer y Bouthemy, 1994℄.
Para los modelos de movimiento rgido 3-D se suelen emplear dos alternativas
[Tekalp, 1995℄:
La rotaion se dene on respeto a un sistema jo de oordenadas del mundo
real [Weng et al., 1993℄, donde se asume que el entro de rotaion oinide on
el origen del sistema de oordenadas del mundo real. \Este enfoque es, por lo
general, inadeuado para problemas de seguimiento" [Tekalp, 1995℄. Esto se debe
a que la presenia de translaiones puede haer variar la posiion del entro de
rotaion, on lo que los parametros de rotaion seran diferentes en ada imagen
de la seuenia.
La rotaion se dene on respeto a un eje de rotaion [Young y Chellappa, 1990,
Haag y Nagel, 1998, Haag y Nagel, 1999℄. En este aso, la euaion del eje de
rotaion, el ual es iniialmente desonoido y se traslada en el tiempo, solo
puede ser determinada tras resolver las euaiones de movimiento.
Otra posible lasiaion de los modelos de movimiento empleados en el seguimiento es la de rgidos y deformables. Se ha propuesto el empleo de modelos de ontornos
ativos [Leymarie y Levine, 1993, Stark y Ihle, 1997, Blake y Isard, 1998℄, tales
omo snakes [Ip y Shen, 1998℄ y modelos deformables [Kervrann y Heitz, 94℄
para seguimiento de movimiento deformable 2-D, y superuadratias
[Metaxas y Terzopoulos, 1993℄ para seguimiento de movimiento deformable
3-D.
La orrespondenia de entidades y la estimaion de ujo optio plantean diultades debido a las ambiguedades de las orrespondenias o la no existenia de las mismas debido a olusiones. Para resolver estos asos se han propuesto diversas tenias
de asoiaion de datos [Bar-Shalom y Fortman, 1988, Rao, 1992, Cox, 1993℄. Dihas
4.1 Introduion
91
tenias onllevan una busqueda dentro de una ventana nita, la ual se entra alrededor de la posiion que el algoritmo de seguimiento predie. Las siguientes tres
asuniones ayudan a la formulaion del problema de la orrespondenia:
La posiion de un punto sera relativamente similar de una imagen a la siguiente.
La veloidad esalar de un punto sera relativamente similar de una imagen a la
siguiente.
La direion del movimiento de un punto sera relativamente similar de una
imagen a la siguiente.
Una vez que el modelo dinamio y un numero de orrespondenias sobre multiples
imagenes han sido determinados, se trata de busar aquellos parametros de movimiento que son onsistentes on el modelo y las observaiones. Para ello se pueden
usar dos tipos de tenias: por lotes (bath) y reursivas.
Los estimadores por lotes, tales omo el mnimo-uadratio, proesan todo el onjunto de datos de una vez, despues de que estos hayan sido reogidos. Por ontra,
los estimadores reursivos, tales omo los ltros de Kalman, van atualizando los
parametros onforme se van introduiendo nuevas observaiones. Los estimadores
por lotes tienden a ser numeriamente mas robustos que los reursivos, prinipalmente uando la euaion de transiion de estado, o la de observaion, no son lineales.
Sin embargo, los metodos reursivos son ventajosos uando se requieren estimaiones en tiempo real, ya que, a diferenia de los metodos por lotes, no neesitan proesar el onjunto total de observaiones ada vez que se introdue una nueva. En
[Weng et al., 1993℄ se propuso un metodo hbrido, llamado reursivo-por-lotes, el ual
ombina eienia omputaional on robustez en los resultados.
Los metodos que se enuentran en la literatura pueden seguir diferentes entidades:
puntos, lneas, ontornos, regiones, modelos, et.. Atendiendo al tipo de entidades
sobre el que ada metodo efetua el seguimiento, podemos realizar una lasiaion
en uatro grupos [Beymer et al., 1997℄:
Seguimiento basado en modelos tridimensionales.
Seguimiento basado en araterstias.
Seguimiento basado en regiones.
Seguimiento basado en modelos bidimensionales (modelos de ontornos ativos).
Los modelos tridimensionales onsisten en representaiones geometrias preisas
de objetos onoidos, los uales pueden estar oloados en posiiones y orientaiones
arbitrarias. Usando el onoimiento de la geometra de la amara y de la esena,
se proyeta el modelo tridimensional sobre el plano de la imagen, tratando de haer
oinidir las faetas del modelo y de la imagen. Para onseguir esta oinidenia se
realiza una busqueda de la posiion y orientaion que haga maxima la oinidenia.
92
Captulo 4. Seguimiento e integraion temporal
Una vez obtenida la posiion y orientaion del objeto en la siguiente imagen, para
que esta prediion sea segura, se deben estimar los parametros de movimiento. Las
estimaiones de la posiion, orientaion y movimiento se atualizan tras ada nueva
imagen, onforme se va llevando a abo el seguimiento.
Los metodos tridimensionales tienen un oste omputaional muy elevado. Se
puede obtener una reduion signiativa si se umple la premisa de que el objeto
desanse sobre el suelo de la esena. Dado que se onoe la geometra de la esena, el
seguimiento del objeto se redue a busquedas de movimientos de translaion sobre
el suelo y rotaion alrededor del eje vertial al plano del suelo [Worral et al., 1991,
Haag y Nagel, 1998, Haag y Nagel, 1999, Koller et al., 1993, Tan et al., 1998,
Frank et al., 1996, Gardner y Lawton, 1996, Gerard y Gagalowiz, 2000℄.
Los metodos basados en araterstias, tales omo puntos [Zheng y Chellappa, 1995,
Sudhir et al., 1997, Sethi y Jain, 1987, Beymer et al., 1997℄, lneas [Derihe y
Faugeras, 1990, Castellow et al., 1987, Liu y Huang, 1991, Clarke et al., 1996℄ o
urvas [Zhang, 1992, Isard y Blake, 1996℄, realizan el seguimiento normalmente
usando tenias de orrespondenia. Dada la esasa informaion que aportan
las araterstias, para ada una puede haber varios andidatos, por lo que
freuentemente no basta on asoiar ada una de ellas on la mas similar de la
siguiente imagen, regla del veino mas proximo. Se han empleado diversos metodos:
ltro de seguimiento-partiion (trak-splitting lter) [Smith y Buehler, 1975,
Zhang y Faugeras, 1992℄, ltro de asoiaion de datos de probabilidad onjunta
(JPDAF) [Fortmann et al., 1983, Bar-Shalom et al., 1990, Chang y Aggarwal, 1991℄,
programaion entera de probabilidad onjunta [Moreeld, 1977℄, hipotesis multiple
[Reid, 1979, Cox y Leonard, 1991℄, programaion dinamia [Shapiro et al., 1995℄. El
uso de faetas presenta dos desventajas importantes: no proporionan una explita
agrupaion de las faetas que se mueven oherentemente [Mitihe y Bouthemy, 1996℄,
y son sensibles a las olusiones [Mitihe y Bouthemy, 1996, Tekalp, 1995℄.
Los modelos deformables [Kass et al., 1988, Jain et al., 1996, Cootes et al., 1995℄
fueron desarrollados para detetar y loalizar formas que experimentan modiaiones. Han sido apliados a una gran variedad de problemas tales omo la
deteion de bordes o ontornos [Kass et al., 1988℄, seguimiento de movimiento
[Leymarie y Levine, 1993, Remagnino et al., 1997℄ y la segmentaion de imagenes de
resonanias magnetias [Cohen y Cohen, 1993℄.
\Snakes are a mehanism for bringing a ertain degree of prior knowledge
to bear on low-level image interpretation. Rather than expeting desirable
properties suh as ontinuity and smoothness to emerge from image data,
those properties are imposed from the start." [Blake y Isard, 1998℄
Una snake se dene omo un onjunto ordenado de puntos fVi ji = 1; 2; : : : ; N g. La
energa total de una snake es la suma ponderada de varios terminos de energa, los uales se dividen en energas internas y externas [Park y Han, 1997, Blake y Isard, 1998℄.
La energa interna trata de preservar la ontinuidad de la urva, mientras la externa
intenta adaptar la urva a la imagen. Cuando se dispone de un onoimiento previo
4.1 Introduion
93
aera de la forma de los objetos, este puede inorporase en forma de energa
[Radeva y Marti, 1995, Radeva et al., 1995, Ip y Shen, 1998℄. Dado que la adaptaion de la snake a la imagen es un proeso interativo, es neesario llevar a abo una
iniializaion. Esto representa un problema, ya que la snake iniial debe estar era de
la soluion deseada, pues de otro modo puede quedar atrapada en otro mnimo loal
debido a la energa interna. Dependiendo del tipo de apliaion, la iniializaion puede
tener que ser realizada por el usuario, o bien podra ser automatia [Jolly et al., 1996℄.
Una vez iniializada la snake, el proeso onsiste en minimizar iterativamente su
energa. En la literatura se enuentran diferentes enfoques para realizar este proeso:
elementos nitos [Kass et al., 1988℄, programaion dinamia [Amini et al., 1990℄,
algoritmos voraes (greedy) [Williams y Shah, 1992, Jang y Choi, 2000℄, redes
neuronales [Tsai et al., 1993℄. Cuando la primera imagen de la seuenia
ha sido proesada, se puede usar omo iniializaion una prediion de la
posiion del modelo deformable, as, es freuente el uso de ltros de Kalman [Blake et al., 1993, Koller et al., 1994b, Terzopoulos y Szeliski, 1992,
Arsenio y Santos-Vitor, 1997, Peterfreund, 1999, Jang y Choi, 2000℄.
Los metodos basados en regiones denen grupos de pxeles onexos que perteneen a un unio objeto. El seguimiento en este aso onsiste en relaionar las regiones de las distintas segmentaiones para estimar los parametros de movimiento.
En [Kottke y Sun, 1994, Brok-Gunn et al., 1994, Teal y Ellis, 1996℄ se realizan seguimientos de regiones basados en busar las de maxima similitud. Sin embargo, los
anteriores trabajos se limitan a estableer orrespondenias sin realizar una estimaion
de movimiento que integre las mediiones de toda la seuenia. Wixson [Wixson, 1996℄
utiliza un ltro preditivo para failitar la busqueda de regiones orrespondientes. En
[Gil et al., 1994℄ se inorporan dos ltros de Kalman, uno para estimar la posiion de
las regiones y otro para estimar su veloidad.
4.1.2 Un metodo de seguimiento e integraion temporal morfologia
\Traking regions rather than disrete tokens may yield more robust results
and provide new means to detet olusion" [Tekalp, 1995℄
Como hemos venido omentando a lo largo de esta Tesis, nuestro metodo se basa en regiones. Tal y omo apuntan Mitihe y Tekalp [Mitihe y Bouthemy, 1996,
Tekalp, 1995℄, el uso de regiones aporta robustez al proeso de seguimiento, puesto
que lo hae muho menos sensible a las olusiones. Otra ventaja es que failitan el
estableimiento de orrespondenias. Dado el mayor tama~no de las regiones frente a
araterstias mas simples omo puntos o urvas, un metodo de asoiaion de datos
basado en el veino mas proximo produe resultados orretos. No es neesario utilizar tenias mas omplejas (JPDAF, hipotesis multiple, et.), pues la informaion
que aporta ada region es suiente para evitar ambiguedades.
Los metodos basados en regiones presentan varias ventajas on respeto a los otros
tres grupos de tenias:
Modelos deformables. Frente a los metodos basados en modelos deformables,
94
Captulo 4. Seguimiento e integraion temporal
tal y omo apuntan varios autores [MLauhlan y Malik, 1997, Beymer et al.,
1997, Mitihe y Bouthemy, 1996℄, las regiones no presentan el problema de
la iniializaion, dado que no se parte de ningun modelo preestableido. Al
ontrario que on los primeros, no importa que los objetos esten parialmente
oultos, se puede iniiar el proeso on la parte visible.
Metodos basados en araterstias. Gil et al. [Gil et al., 1994℄ indian que el
uso de regiones es mas apropiado que el de ontornos uando el tama~no de los
objetos es peque~no y se produen ambios en las ondiiones de iluminaion,
omo a menudo es el aso en las esenas de trao.
Modelos tridimensionales. La prinipal ventaja de la utilizaion de regiones
frente a los modelos tridimensionales es su menor oste omputaional. Es ierto
que dihos modelos aportan un mayor onoimiento sobre el omportamiento y
tipo de los objetos. No obstante, omo ya se omento en el Captulo 1, ninguna
de las tareas que debe realizar un sistema de monitorizaion de trao justia
el empleo de tenias tan omplejas. Para ser apaes de utilizar dihas tenias,
deberamos disponer de un sistema dediado de alto oste, lo ual inumplira
una de nuestras premisas.
En este aptulo proponemos un metodo de seguimiento e integraion temporal
morfologia. El seguimiento se basa en una simple orrespondenia entre las regiones
obtenidas en las segmentaiones de ada imagen. Para ello se busa utilizar una base
de datos donde se inluye ada nueva region que aparee en una segmentaion. El
proeso de orrespondenia toma ada nueva segmentaion y asoia a ada region de
la base de datos aquella otra de la segmentaion atual que resulta mas similar.
El seguimiento se ompleta on la utilizaion de un ltro de Kalman que permite
renar las estimaiones de movimiento obtenidas para ada imagen. Debido al efeto
de la perspetiva que aparee en las seuenias de trao, en este ltro onsideramos que los objetos se desplazan on un modelo de movimiento donde la aeleraion
se inrementa de manera uniforme. De esta forma se tiene en uenta el inremento (deremento) de veloidad que experimentan las regiones uando los vehulos se
aproximan a (alejan de) la amara.
El seguimiento permite onoer la evoluion de las regiones. Esta evoluion es reogida mediante una estrategia de masaras que nos permite orregir la segmentaion
de ada imagen. Se asume que los ambios en la forma de los objetos son graduales, lo mismo que su apariion o desapariion en la esena. As, la segmentaion de
una imagen y de la siguiente deben ser muy pareidas. La orreion evita subitas
apariiones o desapariiones de regiones o partes de ellas, asumiendo que este tipo de
hehos se deben a errores puntuales de las segmentaiones. Con esta estrategia, no solo
la segmentaion proporiona informaion al seguimiento, sino que, a su vez, tambien
el seguimiento olabora en la mejora de la segmentaion. La idea basia surgio tras
la observaion de numerosas segmentaiones de imagenes. En ellas, los errores son
inevitables. As, para la segmentaion de un mismo objeto en diferentes imagenes se
observan variaiones de forma, que en algunos asos llegan a ser graves: uando el ob-
4.2 El algoritmo
95
jeto no es segmentado, o se une a la segmentaion de otro objeto. A partir del estudio
de las variaiones, llegamos a una onlusion que puede resultar en ierto modo obvia:
inluso en la seuenia peor segmentada, los pxeles mas freuentemente asignados a
un objeto, son aquellos que verdaderamente perteneen a el. Partiendo de esta idea,
deidimos que era posible llevar a abo una integraion temporal morfologia si se
onsideraba la pertenenia de ada pxel a un determinado objeto a lo largo de las
segmentaiones anteriores. De este modo, la segmentaion de ada imagen que se obtiene a partir del analisis de movimiento se onsidera omo una nueva observaion que
debe tenerse en uenta para produir la segmentaion nal. En diha segmentaion
nal, los pxeles se asignan al objeto a aquel que mas freuentemente han perteneido.
4.1.3 Estrutura del aptulo
A ontinuaion detallamos la estrutura del resto del aptulo. La siguiente seion
muestra una vision general del metodo desribiendo los prinipales pasos del algoritmo
desarrollado. La Seion 4.3 desribe el seguimiento de regiones. E ste onsta de
dos partes: estableimiento de orrespondenias entre regiones, y estimaion de los
parametros de movimiento por medio de un ltro de Kalman. La Seion 4.4 muestra
lo que denominamos memoria temporal. Diha memoria es una estrutura de datos
que integra la informaion proporionada por ada segmentaion aera de la forma
de las regiones. As mismo, en esta seion, se detalla el itado proeso de integraion de informaion. La Seion 4.5 muestra omo el algoritmo reupera regiones
desapareidas en la segmentaion a partir de la informaion reogida en la memoria
temporal. La Seion 4.6 desribe la generaion de la segmentaion denitiva de ada
imagen por medio de la integraion temporal morfologia. Dado que el algoritmo
presentado en ese aptulo onsta de un gran numero de pasos, la Seion 4.7 reapitula
todo lo expuesto en las seiones preedentes. Aqu se enumeran los diferentes pasos
que se han seguido, de manera que el letor tenga una vision global de lo expuesto.
Por ultimo, la Seion 4.8 expone algunos resultados sobre varias seuenias de trao
y la Seion 4.9 omenta las onlusiones del presente aptulo.
4.2 El algoritmo de seguimiento e integraion temporal
morfologia
La Figura 4.1 muestra el algoritmo general del metodo. Consiste en un proeso iterativo que va tomando los resultados obtenidos por la estimaion y segmentaion de
movimiento. Dado que la integraion temporal genera la segmentaion denitiva,
tendremos dos segmentaiones para ada imagen. Para distinguirlas, a la obtenida
por el analisis de movimiento la llamaremos segmentaion iniial, mientras que a la
segmentaion denitiva la denominaremos segmentaion nal.
El primer paso onsiste en tomar la segmentaion iniial de la primera imagen de
la seuenia. Para ada una de las regiones detetadas se rea una entrada en una
lista llamada lista maestra. Su nalidad es la de servir omo referenia para busar
96
Captulo 4. Seguimiento e integraion temporal
Figura 4.1: Algoritmo de seguimiento e integraion temporal morfologia.
las regiones orrespondientes a un mismo objeto a lo largo de la seuenia. Para
ada una de estas regiones se rea una matriz que ontiene informaion aera de los
pxeles que a ella van siendo asignados en ada segmentaion iniial. Para simpliar
la expliaion del metodo asumiremos que el tama~no de la matriz es el mismo que
el de la imagen, sin embargo, esto puede optimizarse failmente usando un tama~no
similar al que tiene la region.
En ada iteraion se toma una segmentaion iniial y se establee una orrespondenia entre las regiones de la lista maestra y la segmentaion atual. En este mismo
paso se utiliza un ltro de Kalman para estimar los parametros de movimiento de
las regiones de la lista maestra que han obtenido orrespondenia. Con este ltro se
aumenta la robustez de las estimaiones de movimiento, tomando omo observaiones
los desplazamientos estimados de imagen a imagen.
4.3 Seguimiento de regiones
97
Figura 4.2: Pasos que omponen el seguimiento de regiones.
El siguiente paso reupera lo que llamamos regiones perdidas. Dado que asumimos
que las regiones desapareen de manera gradual en la imagen, se onsidera que la
desapariion subita de una region se debe a un error de la segmentaion. Lo que
se intenta en este paso es reuperar las regiones que estuvieron presentes durante
varias imagenes previas y que no lo estan en la atual, regiones perdidas. Graias a la
informaion almaenada en las matries de la lista maestra podemos busar a donde
han sido asignados sus pxeles y regenerar la region a partir de ellos.
Con la orrespondenia entre regiones se atualiza la informaion de las matries
de la lista maestra y a ontinuaion se genera la segmentaion nal de la imagen
atual. Esta segmentaion utiliza los valores de las matries para asignar ada pxel
a la region mas probable.
Los dos ultimos pasos del algoritmo preparan la lista maestra para la siguiente
iteraion. Primero se simplia la lista eliminando las regiones que no han obtenido
orrespondenia en las ultimas iteraiones. Dihas regiones orresponden a objetos
que han abandonado la esena o a errores puntuales de las segmentaiones iniiales
(regiones que no estan relaionadas on un objeto). Por ultimo, se aplia el movimiento
de ada region a su matriz. De esta forma se desplaza la informaion de ada pxel a
la posiion donde estara en la siguiente imagen.
4.3 Seguimiento de regiones
El seguimiento permite averiguar las trayetorias de las regiones segmentadas.
Basiamente, esta fase onsta de dos partes: orrespondenias entre regiones y
estimaion de los parametros de movimiento de ada region.
4.3.1 Correspondenias entre regiones
Las orrespondenias se estableen entre las regiones extradas de ada imagen y las
que ontiene la lista maestra. De este modo se relaionan las entidades que orresponden a un mismo objeto y se sigue su omportamiento a lo largo de la seuenia.
En un esquema de orrespondenia, las regiones presentan dos importantes ventajas frente a otro tipo de araterstias mas simples omo puntos, lneas o urvas.
Ambas ventajas se derivan de su mayor tama~no y son: ontienen una mayor informaion y su numero en la imagen es menor. Dihas araterstias permiten que una
98
Captulo 4. Seguimiento e integraion temporal
Figura 4.3: Se establee una orrespondenia entre las regiones de la lista maestra,
master list, y las regiones extradas de la imagen atual.
estrategia basada en el veino mas proximo (orrespondenia de una region on aquella otra que resulta mas similar) sea suiente sin la neesidad de reurrir a otro tipo
de estrategias de mayor omplejidad.
Dado que las araterstias que se usan para estableer la orrespondenia son
diferentes, empleamos pesos para equilibrar su importania. El proeso onsta de dos
pasos: orrespondenia y atualizaion de pesos.
1.
Correspondenia.
Se establee una orrespondenia entre ada region de la lista
maestra y la mas similar de las extradas de la imagen atual. Para busar la
similitud se onsideran ino araterstias de las regiones: las oordenadas x e
y del entro de masas, la intensidad media y los dos parametros de movimiento
translaional. Estas araterstias denen un vetor m = (mx; my ; mg ; vx; vy )t
para ada region, donde (mx; my ) es el entroide de la region, mg es la intensidad
media, y (vx; vy ) es la veloidad estimada. La orrespondenia se establee entre
aquellas dos regiones Rn y Rm que minimizan la siguiente distania euldea
ponderada al uadrado:
dmn = (mm mn )t W(mm mn)
(4.1)
donde mm es el vetor de araterstias de la region de la lista maestra Rm, mn
es el vetor de la nueva region Rn y W es una matriz de pesos on dimensiones
5 5. W ontiene en su diagonal prinipal los pesos de las ino araterstias
(wx ; wy ; wg ; wvx ; wvy ), y el resto son eros.
2. Atualizaion de los pesos. En ada iteraion se realulan los pesos de forma
que se minimie la suma total de las distanias dmn , siendo Rm y Rn dos regiones
4.3 Seguimiento de regiones
99
orrespondientes. Si km es el numero de orrespondenias que deseamos estableer, se tratara de elegir aquellos pesos (wx; wy ; wg ; wvx ; wvy ) que minimien
la suma total de distanias dT :
min
d
wx ;wy ;wg ;wvx ;wvy T
=
km
X
m=1
(4.2)
dmn ;
Esta minimizaion estara, ademas, sujeta a la restriion
= 1;
(4.3)
la ual evita el aumento inontrolado de los valores de los pesos.
Apliando el metodo de los Multipliadores de Lagrange se pueden alular los
pesos en la anterior minimizaion.
wx wy wg wvx wvy
dT
=
km
X
m=1
dmn + (wx wy wg wvx wvy
1)
(4.4)
Calulando el valor de en (4.4) obtenemos los valores de los pesos:
wx =
q
qPm
q
k (mm mn )2 5 (Pkm (mm mn )2 5 (Pkm (mm mn )2
5
(
vx
y
g
m=1 g
m=1 vx
q Pkmm=1 y
Pk m
5
(
m=1
(mmvy
mnvy )2
((
m=1
(mmx
mnx )2 ) 4=5
Pkm m n 2
(m m )
wk = Pkmm=1 mk n k2 ; k = fy; g; vx ; vy g
wx
(4.5)
(4.6)
(mx mx )
Los dos pasos del proedimiento se repetiran hasta que la suma de distanias dT
alane un mnimo. Para aelerar la onvergenia del proeso, y onsiderando las tres
asuniones referidas en la pagina 91 (posiion, veloidad y direion similares), antes
de alular la distania dmn se desartan aquellas regiones on entroides separados
por una distania mayor a un umbral ud .
m=1
4.3.2 Estimaion de los parametros de movimiento
La mision de esta parte del metodo es determinar para ada region los parametros
de movimiento que mejor se adeuan al onjunto de observaiones. El onjunto de
observaiones son las estimaiones de movimiento que se realizan para ada imagen,
y el modelo de movimiento usado es el translaional. Mas onretamente asumiremos
un movimiento uniformemente aelerado, lo ual nos permitira modelar el efeto de
aeleraion o deeleraion que experimentan las regiones uando se aeran o alejan
de la amara.
100
Captulo 4. Seguimiento e integraion temporal
Figura 4.4: Algoritmo iterativo de orrespondenia de regiones.
Para realizar la estimaion, nosotros, al igual que la mayora de trabajos, emplearemos un estimador reursivo. Como omentamos en el Apartado 4.1.1, esta lase
de estimadores es mas apropiada para apliaiones en tiempo real, debido a que no
requieren proesar todo el onjunto de observaiones ada vez que se introdue una
nueva.
Como estimador utilizamos un ltro de Kalman (ver Apendie B), el ual permite
estimar el mejor valor, en el sentido mnimo-uadratio, de un vetor de estados a
partir de un onjunto de mediiones on ruido gaussiano en un sistema dinamio
lineal. De heho, modelaremos el movimiento de una region en la imagen omo un
sistema dinamio y lineal.
La veloidad de una region en el instante k se dene por dos omponentes vk =
fvxk ; vyk g. El modelo de movimiento debera onsiderar el inremento de la veloidad
que experimentan las proyeiones de los vehulos uando estos se aeran a la amara.
De este modo, asumiremos que la variaion de la aeleraion (ak = faxk ; ayk g) es
onstante y representada por el vetor = fx ; y g. Por tanto, el modelo inematio
para las evoluion de las regiones quedara denido por las euaiones (4.7-4.11), en
las que t es el inremento de tiempo.
ek = 1=6k 1 t3 + 1=2ak 1 t2 + vk 1 t + ek 1
(4.7)
vk = 1=2k 1 t2 + ak 1 t + vk 1
(4.8)
ak = ak 1 + k 1 t
(4.9)
k = k
=
(4.10)
En las Euaiones (4.7), (4.8) y (4.9), ek , vk y ak denotan la posiion, la veloidad
y aeleraion de una region en el instante k, y t es la variaion del tiempo, que
podemos suponer omo la unidad sin perdida de generalidad.
1
4.3 Seguimiento de regiones
101
t = 1
(4.11)
La Euaion (4.10) dene un movimiento en el plano de la imagen en el que
la aeleraion se inrementa uniformemente. Conviene se~nalar que para obtener un
modelo de movimiento mas preiso se debera haber tenido en uenta la veloidad y la
aeleraion angulares. Por ejemplo, en el aso de una urva es lara la relaion entre
la variaion de las oordenadas x e y. No obstante, para el problema planteado no se
requiere tal preision, ya que on el modelo planteado es suiente para estableer las
orrespondenias entre diferentes imagenes. De esta forma se opto por desestimarlas
para tener un modelo mas simple. Ademas, en la mayora de situaiones, los vehulos
siguen trayetorias retilneas, on lo que ambas omponentes, veloidad y aeleraion
angulares, seran ero, y por lo tanto, los sistemas para x e y seran independientes..
De auerdo on las euaiones (4.7-4.10), podemos separar este sistema en dos
subsistemas independientes, ada uno para una oordenada diferente (x; y). As, onstruimos dos ltros de Kalman on diferentes vetores de estado (x e y). Estos vetores
se denen omo:
2
3
xk
6 vxk 77
xk = 6
4 axk 5
xk
2
3
yk
6 vyk 77
yk = 6
4 ayk 5
(4.12)
yk
Dado que el resto de euaiones son identias para ambos ltros, solo desribiremos
el relaionado on la oordenada x. El proeso de estimaion se ontrola mediante las
euaiones de estado y mediion. La euaion de estado dene la transiion desde el
estado xk al xk+1:
xk+1 = Ak xk + rp k
(4.13)
La euaion de mediion relaiona las observaiones on el estado del proeso:
zk = Hk xk + rmk
(4.14)
En las Euaiones (4.13) y (4.14), las variables rpk y rmk representan los ruidos
del proeso y mediion. Se asume que ambos son independientes on distribuiones
de probabilidad normal de media 0 y matries de ovarianza Q y R.
P (rp )
! N (0; Q)
P (rm) ! N (0; R)
La matriz Ak (n n) relaiona el estado en el instante k on el estado en el instante
k +1. La matriz Hk (m n) en la Euaion (4.14) relaiona el estado en el instante k
on la mediion en el mismo instante. De auerdo on las Euaiones (4.7-4.11), Ak
y Hk se denen omo:
102
Captulo 4. Seguimiento e integraion temporal
2 1 1 0:5 1=6 3
6 0 1 1 0:5 77
Ak = 6
4 0 0 1 1 5;
(4.15)
0 0 0 1
1
0
0
0
Hk = 0 1 0 0
(4.16)
La introduion de errores graves en una mediion puede perturbar las estimaiones produidas por el ltro de Kalman en las subsiguientes iteraiones. Por lo tanto,
es importante evitar dihos errores o, al menos, reduir su inuenia. En ada iteraion, el ltro de Kalman proporiona prediiones de los vetores de estado que son
generadas antes de la introduion de las mediiones. Nosotros utilizamos estas prediiones para detetar graves errores en las mediiones de la posiion y la veloidad.
As, las mediiones xk , yk , vxk y vyk son substituidas por x~k , y~k , v~xk y v~yk mediante
la funion :
8
< u^ 2u Si u < u^ 2u
u~ = (u; u^; u ) = u
u^ 2u u u^ + 2u
: u^ + 2 Si
Si
zi > u^ + 2u
u
u~ = fx~k ; y~k ; v~kx ; v~ky g
= (vky ; v^ky ; vky )
donde x^k , v^xk , y^k y v^yk son las prediiones de ada mediion, y xk , vxk , yk y vyk
son las respetivas desviaiones tpias.
x~k = (xk ; x^k ; xk ); y~k = (yk ; y^k ; yk ); v~kx = (vkx ; v^kx ; vkx ); v~ky
4.4 Memoria temporal
La memoria temporal se implementa en el sistema omo una lista a la que denominamos lista maestra. Su utilidad es la de almaenar informaion aera de las
proyeiones de los objetos de la esena en la imagen. Prinipalmente, se guardan
datos relativos a la forma y desplazamiento del objeto. Con ellos se lleva a abo
la integraion temporal morfologia que proporiona la segmentaion nal de ada
imagen.
En la lista maestra se insertan aquellas regiones de las segmentaiones iniiales
que no han obtenido orrespondenia on ninguna region de la lista. Se onsidera que
la apariion de una nueva region puede deberse a dos motivos: un nuevo objeto que
ha entrado en la esena, o un error de segmentaion (basiamente, un objeto1 que
ha quedado dividido en mas de una region). El proeso de orrespondenia permite
difereniar ambos asos. Una vez insertadas en la lista, solo las regiones que son
4.4 Memoria temporal
103
Figura 4.5: Lista maestra de regiones.
objetos ompletos obtendran orrespondenias en la mayora de imagenes, mientras
que las erroneas tenderan a lo ontrario.
Cada vez que se inserta una region Rm en la lista maestra se rea para ella una
matriz M m . Como ya se omento, por motivos de simpliidad asumiremos que su
tama~no es similar al de la imagen. Sin embargo, en el sistema real, y para optimizar
la oupaion de memoria, usamos el mnimo retangulo que engloba la region, mas
una peque~na franja de seguridad, por si el numero de pxeles de la region aumenta.
En aso de que en algun momento la region exeda la matriz, se vuelve a rear una
nueva siguiendo las mismas diretries y transriendo la informaion entre ellas.
La Figura 4.5 muestra la lista maestra on las matries que se rean para ada
region insertada en ella. Cada elda Mijm de la matriz M m ontiene dos ampos (Mijm :v
y Mijm:o). El ampo Mijm:v sirve para ontar el numero de segmentaiones en las que el
pxel (i; j ) ha perteneido a la region, mientras que el ampo Mijm :o guarda el numero
onseutivo de segmentaiones en las que el pxel no ha perteneido a la region. La
utilidad del primer ampo es estimar la probabilidad de pertenenia de un pxel a las
distintas regiones. Cuando se genera la segmentaion nal de la imagen, ada pxel
sera asignado a la region en la que las segmentaiones iniiales mas vees lo hayan
oloado. Por medio del valor Mijm:v podemos expresar la probabilidad de que un
pxel (i; j ) perteneza a una region Rm de la siguiente forma:
Mijm :v
l
l2LM Mij :v
P (Rm j(i; j )) = P
(4.17)
donde LM es la lista maestra.
Por otro lado, el ampo Mijm :o permite detetar pxeles que han perteneido a la
region durante varias segmentaiones iniiales, pero que han dejado de perteneer a
1
En esta deniion tambien se onsidera al fondo estatio omo un objeto
104
Captulo 4. Seguimiento e integraion temporal
Figura 4.6: Iniializaion de la lista maestra de regiones.
ella. Un aso tpio de estos pxeles son los del ontorno de una region orrespondiente
a la proyeion de un objeto que se va alejando de la amara. En ese aso, la region
va reduiendo su area, on lo que dihos pxeles deben eliminarse de la region aunque
hayan perteneido a ella durante varias imagenes. Otro aso tpio es el de dos objetos
alejados que se aproximan juntos. Dada la lejana, el sistema los empieza a segmentar
omo una unia region, sin embargo, onforme se van aerando, empiezan a ser
detetados omo dos regiones independientes. Esto se tradue en la apariion de una
nueva region, uyos pxeles deben ser substrados de la mas antigua. En ese aso,
ada region, la nueva y la antigua, seran asignadas a ada uno de los dos objetos,
probablemente la mas vieja sera asignada al objeto on una proyeion mayor, debido
a que mantendra una mayor similitud.
Cuando se inserta en la lista maestra una nueva region Rm, todos los valores Mijm :o
toman el valor ero, mientras que los valores Mijm:v son puestos a uno o ero segun su
pertenenia a la region.
Si (i; j ) 2 Rm
m
Mij :v = 01 Para
el resto de pxeles
donde (i; j ) es un pxel de la imagen que ha sido asignado en la segmentaion iniial
a alguna region Rx.
La Figura 4.6 muestra un ejemplo de iniializaion de dos regiones que han sido
insertadas en la lista maestra. La proyeion del objeto de la izquierda se inserta
omo region R1 y la de la dereha omo R2. En las matries de ambas regiones, los
pxeles que perteneen a la region son iniializados on valor Mijx :v = 1 y Mijx :o = 0,
y aquellos que no perteneen se iniializan on valores Mijx :v y Mijx :o iguales a ero.
La atualizaion de los valores de esta matriz se realiza tras estableer las orrespondenias entre las regiones de la segmentaion iniial atual y las de la lista
4.4 Memoria temporal
105
Figura 4.7: Atualizaion de la lista maestra de regiones.
maestra. Como hemos diho, las regiones que no obtienen orrespondenia son insertadas, mientras que para las que s que la obtienen se realiza una modiaion de
los valores Rijx :v y Rijx :o. Dada una orrespondenia entre una region Rm de la lista
maestra y una region Rk de la segmentaion iniial atual, la atualizaion de valores
sigue las siguientes reglas:
Si (i; j ) 2 Rk
=) Mijm:v = Mijm :v + 1 y Mijm :o = 0
Si (i; j ) 2= Rk y Mijm :v > 0 =) Mijm:o = Mijm:o + 1
Si Mijm :o = Omax
=) Mijm:v = 0
Si Mijm :v = 0
=) Mijm:o = 0
Segun la primera regla, uando un pxel (i; j ) pertenee a la region, el valor Mijm :v
se inrementa y el valor Mijm :o se pone a ero. Segun la segunda, uando un pxel
(i; j ) que ha perteneido a la region se pierde en la segmentaion iniial atual, se
inrementa el valor Mijm :o. La terera regla india que uando para un pxel de una
region Rm se alanza un valor maximo Omax , se elimina el pxel de la region. Esto se
hae asignando un ero al ampo Mijm :v de ese pxel. Por ultimo, la uarta regla die
que el valor Mijm :o de ualquier pxel que no perteneza a la region debe permaneer
siempre a ero.
Hemos jado de manera experimental el valor de Omax omo 3. Se onsidera que
la desapariion de un pxel durante tres segmentaiones onseutivas viene a indiar
que ese pxel ha dejado de perteneer al objeto donde estaba asignado. Por otra parte,
valores muho mas grandes impediran el neesario dinamismo en la variaion de la
forma. Por ejemplo, evitara que la segmentaion nal reejase los efetos de esalado
que se produen uando los vehulos se aeran o alejan de la amara.
La Figura 4.7 muestra un ejemplo de atualizaion de las regiones que se insertaban
en la Figura 4.6. La matriz de la parte inferior de la imagen representa la segmentaion
106
Captulo 4. Seguimiento e integraion temporal
iniial de la imagen atual. En ella hay dos regiones, la de la dereha ha sido heha
orresponder on la region R2 y la de la izquierda on R1. En el aso de la region
R2 , la forma segmentada se mantiene identia, por lo que para todos los pxeles que
tenan un valor Mijm:v distinto de ero (que haban perteneido a la region en alguna
segmentaion anterior) se inrementa Mijm :v y se mantiene Mijm :o igual a ero. En el
aso de R1, en la segmentaion atual se ha perdido el pxel inferior. En este pxel se
inrementa el ampo Mijm:o, mientras que para el resto de pxeles que perteneen a la
region roja se inrementa Mijm:v y se pone a ero Mijm:o.
Los valores de la lista maestra se utilizaran para la generaion de la segmentaion
nal de la imagen. Tras obtener esta segmentaion, y omo preparaion para el
proesamiento de la siguiente imagen, la informaion almaenada en ada matriz se
desplaza on el movimiento estimado para ada region. De esta forma se mueven los
valores orrespondientes de ada pxel a la posiion donde se espera enontrarlos en
la siguiente segmentaion.
4.5 Reuperando regiones perdidas
Algunas vees, una region de la lista maestra que ha apareido regularmente durante
varias segmentaiones iniiales desaparee en una imagen, sin que ello se deba a que
ha abandonado la esena. Nuestro metodo uenta el numero de vees que ada region
de la lista ha enontrado orrespondenia en una segmentaion iniial. Cuando el
ontador de una region alanza un valor Pmax , esta es delarada region permanente.
Ello signia que no puede desapareer exepto si sobrepasa los lmites de la imagen
(abandona la esena). La seleion de Pmax no es rtia, puesto que un vehulo
suele apareer en al menos 25 o 30 imagenes. Por ello basta on elegir un valor que
razonablemente nos de a entender que la persistenia de una region orresponde a la
presenia de un vehulo. En todas las seuenias que hemos proesado hemos jado
Pmax = 10, obteniendo resultados satisfatorios.
Una region permanente es aquella que por el numero de vees que ha apareido,
nos ofree la total seguridad de que orresponde a un objeto del mundo real. Como
ontrapartida existen otro tipo de regiones que apareen de manera irunstanial,
debido a errores de segmentaion.
La desapariion de una region permanente puede deberse a errores de segmentaion
o a que el desplazamiento del objeto no permite difereniar el movimiento de su
proyeion del de las regiones irundantes. Por ejemplo, en esenas de trao, esto
ultimo puede sueder uando un grupo de vehulos se aleja de la amara, o tambien
uando un ohe se detiene. En el primer aso, las segmentaiones iniiales omenzaran
gradualmente a agrupar varios de estos vehulos en una misma region, para nalmente
unirlos todos en una sola. En el segundo aso, uando la veloidad del ohe sea ero
o asi ero, su proyeion sera irremisiblemente fusionada a la region fondo.
En todos los anteriores asos, la informaion guardada para ada region en la lista
maestra puede ayudar a reuperar su forma. La idea basia es, uando se deteta la
desapariion de una region permanente, busar que region es la que le ha arrebatado
4.5 Reuperando regiones perdidas
107
sus pxeles. Una vez hallada esta, se trata de ver que pxeles deben orresponder a
ada una. Para ello se analizan los valores Mijm :v de las matries de ambas regiones
y se asigna ada pxel a la region on mayor valor. Esto se basa en que, omo hemos
diho, estos valores aportan el historial de ada pxel. As, se trata de asignar ada
pxel a la region donde mas vees ha perteneido.
La reuperaion de regiones perdidas es un paso previo a la atualizaion de la
lista maestra. Por ello, una vez reuperados los pxeles no se atualiza diretamente
la region sino que se orrige la segmentaion iniial generando una region que supuestamente debera haber apareido en ella.
4.5.1 Planteamiento del problema
Con todo lo anteriormente expuesto, el planteamiento del problema sera: dada una
region permanente Rp que no ha enontrado una region orrespondiente, generar en
la segmentaion iniial una region Rl , que se hara orresponder on Rp, tomando los
pxeles de una region Rk de la segmentaion iniial on region orrespondiente Rm en
la lista maestra. El algoritmo propuesto onsta de dos pasos:
Enontrar la region Rk omo aquella on mayor probabilidad de ontener pxeles
de la region Rp.
Generar la region Rl tomando pxeles de la region Rk . Para ello habra que
estudiar para ada pxel si tiene mayor probabilidad de perteneer a la region
Rp o a Rm , la region orrespondiente a Rk .
4.5.2 Busqueda de la region Rk
Para enontrar la region Rk analizamos los valores Mijp :v de la region Rp. Se rea un
aumulador Aps por ada region Rs de la segmentaion iniial al que se le van sumando
los valores Mij :v de los pxeles (i; j ) que perteneen a la region Rs.
8(i; j ) 2 Imagen=(i; j ) 2 Rs; As = As + Mijp :v
Una vez proesados todos los pxeles de la imagen, Rk orrespondera a la region
on un maximo As.
Rk =Ak =
max fAsg;
8Rs 2SI
(4.18)
donde SI es la segmentaion iniial de la imagen atual.
La region Rk sera aquella que tiene la mayor antidad de pxeles on alta probabilidad de perteneer a la region perdida Rp.
108
Captulo 4. Seguimiento e integraion temporal
4.5.3 Generaion de la region Rl
La region Rk tiene omo region orrespondiente en la lista maestra a Rm . Ahora
tratamos de ver que pxelesp de Rk orresponden a Rm y uales a Rp. Para ello
analizaremos los valores Mij :v y Mijm :v y asignaremos ada pxel a la region on un
mayor valor para ese pxel. Los pxeles que tengan mayor probabilidad de orresponder
a Rp se los asignaremos a la nueva region Rl , estableiendo una orrespondenia entre
ellas.
Iniialmente, Rl = ;. Los pxeles son asignados a Rl siguiendo la siguiente regla:
8(i; j ) 2 Rn; Si Mijk :v < Mijp :v entones Rl (= Rl + f(i; j )g y Rn (= Rn f(i; j )g
4.6 Generaion de una segmentaion nal por medio de
la integraion temporal morfologia
La generaion de la segmentaion nal de ada imagen se hae en base a la informaion
almaenada en la lista maestra. El proedimiento es bastante senillo: se asigna ada
pxel de la imagen a la region donde el pxel tiene una mayor probabilidad de perteneer
de auerdo on la probabilidad expresada en la euaion (4.17).
8(i; j ) 2 Imagen; (i; j ) 2 Rx ! P (Rxj(i; j )) = 8Rmax
fP (Ry j(i; j ))g;
y 2LM
donde LM es la lista maestra y la probabilidad se expresa de auerdo on la expresion
que aparee en la euaion (4.17) y que a ontinuaion reproduimos:
P(
(i; j )) = 8Rmax
y 2LM
Ry j
(
M y :v
P ij l
l2LM Mij :v
)
4.7 Resumen del algoritmo
Para mejor omprension del algoritmo propuesto, a ontinuaion resumiremos los
diferentes pasos del mismo. Para ello seguiremos el algoritmo de la Figura 4.1 (ver
pagina 96).
1.
Iniializaion.
Se toma la segmentaion iniial de la primera imagen de la seuenia y se onstruye la lista maestra de regiones. Este paso solo se realiza una
vez, para la primera imagen, a diferenia del resto de pasos que se repiten para
ada nueva imagen.
2. Para ada imagen se toma su segmentaion iniial que es el resultado del proeso
expliado en el Captulo 3.
4.8 Resultados
3.
4.
5.
6.
7.
8.
109
Correspondenia.
Se establee la orrespondenia entre las regiones de la lista
maestra y de la nueva segmentaion iniial.
Reuperaion de regiones perdidas. Se busan regiones delaradas omo permanentes y que no apareen en la segmentaion iniial. Su reuperaion onsiste
en reintegrarlas en la segmentaion iniial tomando pxeles de otras regiones.
Atualizaion de la lista maestra. Se integra en la memoria temporal la informaion aportada por la segmentaion atual.
Segmentaion nal. A partir de la lista maestra se genera una nueva segmentaion (segmentaion nal de la imagen atual).
Eliminaion de regiones. Las regiones que no se han usado durante varias iteraiones se borran de la lista maestra. E stas orresponden a vehulos que han
abandonado la esena o a regiones fruto de errores de la segmentaion iniial.
Mover regiones. Se aplian los parametros de movimiento estimado para ada
region de la lista maestra a su matriz. De esta forma la informaion de la region
se traslada a la posiion donde se espera enontrarla en la siguiente imagen.
4.8 Resultados
El metodo presentado en este aptulo ha sido probado sobre varias seuenias de
trao, en esta seion mostramos los resultados de las seuenias. La Figura 4.8
muestra una seuenia de 15 imagenes donde varios vehulos se desplazan por una
arretera. Las subguras 4.8.a y 4.8.b ontienen, respetivamente, la primera y ultima
imagenes de la seuenia. La subgura 4.8. muestra la segmentaion de la primera
imagen y la subgura 4.8.d presenta el seguimiento de las diferentes regiones.
En la subgura 4.8.d se observan las trayetorias de ada uno de los vehulos a
lo largo de la seuenia. E stas vienen representadas por la evoluion de los entroides
de las regiones. Hemos presentado las posiiones estimadas por el ltro de Kalman
en ino imagenes de la seuenia: imagenes 1, 4, 7, 10 y 13. Las lneas onetan los
entros que orresponden a proyeiones del mismo vehulo en diferentes instantes,
manteniendo el orden temporal. Dado que la seuenia representa menos de dos
segundos abra esperar que las trayetorias de los vehulos tuvieran una forma muy
similar a una lnea reta. Esto se obtiene para asi todas las regiones, sin embargo, se
pueden apreiar peque~nos errores en algunas de las trayetorias. Cuando ello suede,
los errores suelen presentarse en alguno de los primeros dos puntos (imagenes 1 y
4). Esto se debe a que el ltro de Kalman neesita algunas iteraiones iniiales para
empezar a onverger. Durante estas iteraiones, los errores produidos en el proeso
de mediion (estimaion y segmentaion de movimiento) inuyen seriamente en las
estimaiones generadas por el ltro. Una vez superadas, la inuenia de los errores
omienza a dereer, y las estimaiones se aeran ada vez mas a la trayetoria
orreta.
110
Captulo 4. Seguimiento e integraion temporal
(a)
Primera imagen de la seuenia
Segmentaion de la primera imagen
de la seuenia
()
(b)
Ultima
imagen de la seuenia
(d)
Trayetorias de los vehulos
Figura 4.8: Seguimiento de vehulos en una esena de trao
Las Figuras 4.9 y 4.10 muestran las segmentaiones de dos seuenias de imagenes,
orrespondiendo la primera a la misma seuenia que la Figura 4.8. En ambas guras, la primera olumna presenta varias imagenes de la seuenia, la segunda olumna
muestra la segmentaion iniial de ada imagen, y la terera olumna es la segmentaion nal onseguida por medio de la integraion temporal.
Las imagenes de la Figura 4.9 han sido esogidas por ser las que produen las peores
segmentaiones iniiales de la seuenia. La subgura 4.9.a orresponde a la quinta
imagen de la seuenia, siendo la subgura 4.9.b su segmentaion iniial. En ella se
observa que el amion mas alejado ha sido dividido en dos regiones. Sin embargo, la
integraion de la informaion de las segmentaiones previas, donde el amion estaba
formado por una unia region, onsigue que la segmentaion nal una ambas regiones,
subgura 4.9..
La subgura 4.9.d muestra la deima imagen de la seuenia. La segmentaion
4.8 Resultados
111
(a)
Quinta imagen.
(b) Segmentai
on iniial.
()
Segmentaion nal.
(d)
Deima imagen.
(e)
Segmentaion iniial.
(f )
Segmentaion nal
Deimo uarta ima-
(h)
Segmentaion iniial
(i)
Segmentaion nal.
(g)
gen.
Figura 4.9: Seuenia de vehulos en una arretera. Primera olumna: imagen
original. Segunda olumna: segmentaion iniial. Terera olumna: segmentaion
nal de la imagen
112
Captulo 4. Seguimiento e integraion temporal
iniial, subgura 4.9.e, presenta un problema similar al de la quinta imagen, aunque
en este aso el vehulo subdivido es el que se enuentra en medio del grupo de tres
que irula por el arril de la dereha. De nuevo se observa en la subgura 4.9.f que la
segmentaion nal es orreta, obteniendo una proyeion del ohe formada por una
unia region.
La segmentaion iniial de la imagen numero atore, subgura 4.9.h, es, on
diferenia, la peor de la seuenia. Algunas regiones estatias se han detetado omo
moviles, parte del amion mas alejado se ha perdido, se han unido el primer y segundo
ohe del grupo de tres, y el amion de este grupo ha desapareido. A pesar de estos
errores, el metodo orrige la segmentaion: desapareen las regiones estatias y los
vehulos reobran su forma. El ultimo amion del grupo de tres es reuperado graias
a que su region fue delarada omo permanente. As, sus pxeles se extraen de los de
la region fondo.
En la Figura 4.10 se muestran uatro imagenes de una misma seuenia. La seuenia registra el trao de una alle y onsta de 858 imagenes, de las que mostramos
la segmentaion de uatro de ellas. El tama~no de ada imagen es de 192144 pxeles.
La subgura 4.10.a muestra la imagen numero 488. En ella dos vehulos irulan
en diferente direion. Las subguras 4.10.d y 4.10.g orresponden a las imagenes
numero 555 y 644. En ellas irulan dos vehulos on intensidades de gris muy pareidas a la de la alzada. Ello provoa que en determinadas segmentaiones iniiales los
vehulos solo sean parialmente segmentados, o inluso divididos en varias regiones.
Sin embargo, la segmentaion nal orrige estas situaiones graias a la aumulaion
de informaion obtenida en las imagenes previas. La subgura 4.10.j presenta otra
imagen difil. En ella una moto uya proyeion oupa alrededor de 50 pxeles irula
alejandose de la amara. Ademas, y aunque la intensidad de la moto s que ofree
suiente ontraste on la alzada, presenta el inonveniente de su reduida veloidad.
Ambos problemas, tama~no y veloidad, impiden su orreta segmentaion iniial en
algunas imagenes, aunque de nuevo la segmentaion nal es orreta.
La Figura 4.11 muestra el rue de una alle on una avenida. Los vehulos entran
en la imagen desde los bordes izquierdo e inferior de la imagen, y la abandonan por los
bordes superior, inferior y dereho. En la subgura 4.11.b aparee la segmentaion y
trayetoria de un ohe que toma una urva. Se puede apreiar que el sistema es apaz
de seguir su trayetoria, a la vez que la segmentaion va atualizando la forma del
vehulo. A medida que el ohe gira, la parte que se observa del mismo va ambiando.
La segmentaion resultante va adaptandose gradualmente, eliminando los pxeles que
han dejado de perteneer a la region y a~nadiendo los que son nuevos. La subgura
4.11. orresponde a otra esena de la misma seuenia, donde ino ohes se hallaban
detenidos en un semaforo y ahora uatro de ellos irulan a lo largo de la avenida y
uno gira por una alle a la izquierda. Debido a que iniialmente se hallaban todos
juntos y a que asualmente varios de ellos presentan olores muy similares (en este
aso nos referimos al olor real de los ohes, y no a la intensidad de gris reejada en
las imagenes de la seuenia), las primeras segmentaiones de estos ohes presentan
algunos errores iniiales que, omo puede observarse en la subgura 4.11.d, afetan al
tramo iniial de las trayetorias estimadas para algunos de ellos. No obstante, tras
4.8 Resultados
(a)
113
Imagen 488.
Segmentaion
()
Segmentaion -
(e) Segmentai
on ini-
(f )
Segmentaion -
(h)
Segmentaion
(i)
Segmentaion -
(k)
Segmentaion
(l)
Segmentaion -
(b)
iniial.
(d)
Imagen 555.
ial.
(g)
Imagen 644.
iniial.
(j)
Imagen 728.
iniial.
nal.
nal.
nal.
nal.
Figura 4.10: Varias segmentaiones de una seuenia de trao en iudad. Primera
olumna: imagen original. Segunda olumna: segmentaion iniial. Terera olumna:
segmentaion nal de la imagen.
114
Captulo 4. Seguimiento e integraion temporal
(a)
Imagen 118.
()
Imagen 380.
(b) Segmentai
on y trayetoria
del vehulo.
Segmentaion y trayetorias
de los vehulos.
(d)
Figura 4.11: Seuenia de vehulos en un rue de una avenida Primera olumna:
imagen original. Segunda olumna: segmentaion nal de la imagen
unas poas imagenes las trayetorias omienzan a ser mas orretas graias, tanto a
que las segmentaiones omienzan a ser mejores debido a que el movimiento se hae
mas difereniado, omo a que se hae notar el efeto estabilizador del ltro de Kalman.
4.9 Conlusiones
En este aptulo se ha presentado un metodo novedoso de segmentaion por medio de
la integraion temporal. El metodo propuesto integra las segmentaiones que proporiona el modulo de analisis de movimiento para generar segmentaiones mejoradas.
La mayora de tenias existentes emplean la segmentaion para aportar informaion
al modulo de seguimiento. En nuestro aso, ademas, el seguimiento ayuda a la segmentaion relaionando la informaion morfologia obtenida en ada imagen.
Como se ha visto, la integraion temporal morfologia aporta grandes beneios
pues permite fundamentar la segmentaion no en unas poas imagenes, sino en todas
4.9 Conlusiones
115
las preedentes. En esenia, lo que aporta es una estabilizaion de la forma de los
objetos, la ual minimiza la inuenia de los errores puntuales que puedan surgir en
el proesamiento de algunas imagenes: por ejemplo la apariion o desapariion total
o parial de regiones.
116
Captulo 4. Seguimiento e integraion temporal
Cap
tulo 5
Un sistema de monitorizaion de
trao en tiempo real
Contenido
5.1 Introduion. Monitorizaion de trao . . . . . . . . . . . 118
5.2 Tareas de monitorizaion de trao . . . . . . . . . . . . . 118
5.2.1
Mediion del volumen del trao . . . . . . . . . . . . . . . . 119
5.2.2
Seguimiento de trayetorias . . . . . . . . . . . . . . . . . . . 121
5.2.3
Deteion de vehulos parados . . . . . . . . . . . . . . . . . 122
5.2.4
Deteion de eventos anomalos . . . . . . . . . . . . . . . . . 124
5.3 Un sistema en tiempo real . . . . . . . . . . . . . . . . . . . 124
5.3.1
Arquitetura del sistema . . . . . . . . . . . . . . . . . . . . . 124
Equipamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Software del sistema . . . . . . . . . . . . . . . . . . . . . . . 126
5.3.2
Segmentaion virtual . . . . . . . . . . . . . . . . . . . . . . . 128
5.4 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Seuenia de una alle de doble direion . . . . . . . . . . . 130
Seuenia de la rotonda . . . . . . . . . . . . . . . . . . . . . 130
Seuenia de la arretera . . . . . . . . . . . . . . . . . . . . 134
Seuenia del semaforo . . . . . . . . . . . . . . . . . . . . . . 136
Seuenia del rue de alles on la avenida . . . . . . . . . . 136
Seuenia de la autopista . . . . . . . . . . . . . . . . . . . . 140
Veloidad de proesamiento . . . . . . . . . . . . . . . . . . . 142
5.5 Conlusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
118
Captulo 5. Un sistema de monitorizaion de trao
5.1 Introduion. Monitorizaion de trao
La monitorizaion de trao es una labor de indudable interes en nuestros das. El
gran audal de trao de las alles y arreteras haen neesaria la automatizaion
de su ontrol. Frente a los sistemas usados hasta ahora, omo detetores basados
en miroondas y detetores de bule indutivo(ver pagina 3), los sistemas basados en
vision presentan varias ventajas:
Menor oste eonomio.
Instalaion mas fail.
Permiten la estimaion de mas parametros.
Un sistema de monitorizaion de trao debe obtener mediiones aera del trao
que permitan dos tipos de atuaiones:
Solventar situaiones anomalas, omo pudieran ser atasos o aidentes.
Ayudar en el dise~no de la red vial aportando informaion sobre el volumen y
tipo de trao de las vas monitorizadas.
El presente aptulo trata de mostrar omo se llevan a abo las tareas de monitorizaion en el sistema propuesto en esta Tesis, al mismo tiempo que se muestra
la arquitetura de diho sistema. La Seion 5.2 desribe las menionadas tareas y
la Seion 5.3 explia omo se han implementado para onseguir el funionamiento
del sistema en tiempo real. De ese modo, el Apartado 5.3.1 detalla el equipamiento
mnimo requerido y los programas que se han esrito, as omo los proesos a que
han dado lugar los mismos, prestando espeial interes a la informaion que uye entre
ellos. El Apartado 5.3.2 trata una tenia propuesta para el presente sistema la ual
evita tener que proesar todas las imagenes de una seuenia para obtener su segmentaion. Esta reduion del numero de imagenes resulta de espeial interes, puesto
que, obviamente, ontribuye a disminuir el oste omputaional, pero tratando de no
afetar a los resultados.
En este aptulo se prestara una importante atenion a la seion dediada a los
resultados, Seion 5.4. En ella se utilizaran diversas seuenias para mostrar omo
funiona el sistema propuesto y uales son los resultados que aporta. Como es habitual,
se onluira on una seion donde se esbozaran las onlusiones del aptulo.
5.2 Tareas de monitorizaion de trao
El sistema de monitorizaion de trao propuesto en esta Tesis proporiona las siguientes tareas:
Mediion del volumen de trao.
5.2 Tareas de monitorizaion de trao
119
Seguimiento de trayetorias individuales de vehulos.
Deteion de vehulos parados.
Deteion de eventos anomalos.
Para el buen funionamiento de las tenias propuestas en este aptulo resulta
neesario delimitar en la imagen los bordes de la arretera y de los arriles que hayan
en ella. Esto puede realizarse de manera manual o automatia:
Manualmente. Se posiiona y enfoa la amara lista para empezar a monitorizar
el trao, si bien antes de omenzar el proesamiento se aptura una imagen.
Sobre esta imagen y mediante ualquier programa de dibujo, se maran en distintas intensidades de gris los diferentes arriles, as omo el resto de imagen que
no es arretera. Esto ultimo se mara on intensidad ero. La imagen resultante
se pasa al programa de monitorizaion.
Automatiamente. Se emplea un algoritmo omo el propuesto en [Steward et
al., 1994℄ (la Figura 3.1 muestra un ejemplo del funionamiento de este algoritmo). El algoritmo proporiona de manera automatia la imagen requerida por
el programa de monitorizaion.
Cada uno de estos metodos tiene sus ventajas e inonvenientes. El metodo manual
tiene la ventaja de poder realizar un ajuste mas exato de los lmites. Sin embargo,
presenta el serio inonveniente de requerir un operador que lleve a abo esta funion.
El metodo automatio presenta una seria desventaja que nos hizo deseharlo: las
zonas de la arretera on esaso trao son delaradas omo zonas no-arretera. Esto,
por ejemplo, afeta a los arenes, que son zonas por las que raramente se irula, pero
que es preiso ontrolar.
A ontinuaion, en los diferentes apartados, se iran viendo las tareas de monitorizaion de trao que el sistema lleva a abo. En ada apartado veremos en que
onsiste la tarea orrespondiente y ual es el modo en que se efetua. Para que el
letor tenga una vision mas lara de omo se obtienen las informaiones resultantes
de ada tarea, la Figura 5.1 muestra el ujo de informaiones que el sistema produe,
y omo estas son ombinadas para produir nuevos resultados.
5.2.1 Mediion del volumen del trao
Tal y omo se ha visto en el aptulo anterior, el sistema desarrollado permite onoer el
numero de vehulos que se enuentran en ada imagen. Ademas, el sistema establee
orrespondenias entre las diferentes apariiones de un mismo vehulo en diferentes
imagenes, on lo que se puede obtener, tambien de forma direta, otra mediion de
interes para el ontrol de trao: el numero de vehulos que han irulado por la
arretera entre las imagenes n y n + k1 .
1
Dado que se onoe el instante de adquisiion de ada imagen, esto es equivalente a saber el
numero de vehulos entre dos instantes de tiempo.
120
Captulo 5. Un sistema de monitorizaion de trao
Figura 5.1: Flujo de informaiones del sistema. Las ajas representan informaiones
que se obtienen en alguna fase del proesamiento, mientras que las ehas indian
que una informaion (la apuntada) se genera a partir de la otra (la que se enuentra
en el origen de la eha).
Sabiendo los lmites de los diferentes arriles y la posiion de los vehulos en la
imagen2, podemos medir el numero de vehulos que ha irulado por ada arril (por
ejemplo, en una autopista). Y puesto que se onoe el sentido del trao en ada
arril, se sabra el numero de vehulos que ha irulado en ada direion.
La Figura 5.2 muestra dos asos donde resulta de interes poder desglosar el volumen de trao. En el aso de la autopista es interesante saber el volumen de ada
arril, por ejemplo, en una bifuraion o en una salida de autopista pueden existir
diferenias sensibles entre arriles. En el aso de la avenida ademas de onoer la intensidad de trao de ada arril, onviene saber que direiones toman los vehulos
que abandonan la avenida y desde que alles se suelen inorporar a la misma.
2
Cada vehulo se asigna a aquel arril donde se enuentra su entroide.
5.2 Tareas de monitorizaion de trao
(a)
Autopista.
121
(b)
Crue de una avenida.
Figura 5.2: Dos asos tpios donde no solo interesa saber el volumen total del
trao, sino tambien el de ada arril o alle.
Los atasos pueden detetarse alulando la proporion entre el numero de
vehulos presentes en una imagen y el numero medio de vehulos que abandonan la
esena (vehulos uyo entroide sale de los bordes de la la imagen). Un gran numero
de vehulos en la esena y una media muy baja indiaran una situaion de ataso.
r=
Numero de vehulos en la esena
Numero medio de salidas
(5.1)
5.2.2 Seguimiento de trayetorias
El seguimiento de trayetorias de vehulos en el plano de la imagen se onsigue de
manera direta a partir del proeso de seguimiento que se mostro en el Captulo
4. Diho proeso nos permite onoer la posiion de los distintos vehulos en ada
una de las imagenes. Esto se onsegua mediante un proeso de estableimiento de
orrespondenias entre las regiones, las que se obtienen en ada segmentaion iniial y
las que perteneen a la lista maestra. Esto, ademas, se ompletaba on la inorporaion
de un ltro de Kalman que permita estabilizar las trayetorias haiendolas menos
sensibles a posibles errores en la segmentaion iniial.
El trazado de trayetorias de vehulos es de gran utilidad en el estudio de urvas
de arretera. El analisis de las trayetorias de varios vehulos permite saber por que
parte de la urva (haia el interior o exterior) suelen pasar los ohes, as omo donde
suelen frenar. Esto permite detetar anomalas en la onstruion y dise~no omo, por
ejemplo, un peralte erroneo.
En la Figura 5.3 tenemos un ejemplo del seguimiento de un vehulo a lo largo de
una urva. Analizando varias de estas trayetorias se puede entender el omportamiento general de los ohes en una urva omo esta.
122
Captulo 5. Un sistema de monitorizaion de trao
(a)
Un ohe toma una urva.
(b) Segmentai
on del vehulo y su
trayetoria.
Figura 5.3: Trayetoria de un ohe en una urva.
5.2.3 Deteion de vehulos parados
Cuando una region vehulo tiene una veloidad muy erana a ero, el modulo de
estimaion y segmentaion de movimiento la une al fondo debido a la similitud de
movimientos. No obstante, tal y omo se vio en la Seion 4.5, a una region de la lista
maestra que haya apareido repetidamente en diversas segmentaiones se la delara
region permanente. Ello signia que esa region solo puede desapareer al abandonar
la imagen por alguna de sus zonas de salida.
Tambien se vio en la misma seion que uando en el modulo de integraion temporal no se enuentra ninguna region permanente en la segmentaion iniial, entones
es el sistema quien la a~nade a la segmentaion nal (reuperaion de regiones perdidas, Seion 4.5). De esta forma, aunque un vehulo se detenga, su forma en la
segmentaion nuna se pierde.
Cuando una region redue su veloidad a valores muy proximos a ero, se genera
un aviso que india que un vehulo se ha detenido. Esta informaion es de gran interes
pues puede signiar una situaion potenial de peligro para el resto de vehulos, o
quizas la avera de un ohe al que se debera atender. Del mismo modo, uando se
detete que el vehulo reemprende la marha se generara otro aviso que informe de
ello.
La Figura 5.4 muestra un vehulo que se detiene en el aren de una arretera.
En la subgura 5.4.a el ohe se aparta al aren mientras redue su veloidad. En
la subgura 5.4. el vehulo ya se ha detenido y es uando el sistema avisa de esta
situaion de posible riesgo. Puede verse en la subgura 5.4.d que a pesar de estar
detenido, el sistema sigue segmentando el vehulo. En la subgura 5.4.e el vehulo
ha reemprendido la marha y el sistema reemprende su seguimiento. Puede verse, por
la trayetoria del automovil en la subgura 5.4.f, que en este aso no se produe una
reinorporaion gradual a la alzada, sino que rapidamente gira las ruedas y sigue su
5.2 Tareas de monitorizaion de trao
123
(a) Un ohe omienza a detenerse en el aren de una arretera.
(b)
() El ohe se ha detenido ompletamente.
(d)
(e)
ha.
El vehulo reiniia la mar-
Segmentaion y trayetoria
del vehiulo.
Segmentaion y trayetoria
del vehiulo.
(f ) Segmentai
on y trayetoria
del vehiulo.
Figura 5.4: Seuenia en la que un ohe se detiene en el aren de una arretera.
124
Captulo 5. Un sistema de monitorizaion de trao
reorrido.
5.2.4 Deteion de eventos anomalos
Las situaiones peligrosas, tales omo aidentes, deben ser detetadas por un sistema
de monitorizaion de trao de manera que se provoque un aviso instantaneo. Nuestro
sistema puede detetar tres tipos de situaiones peligrosas:
Vehulos que ruzan lneas maradas omo de peligro. Estas lneas virtuales se
denen en el sistema y delimitan la parte de la imagen en la ual los vehulos se
mueven. De este modo, mararan los bordes de la arretera, as omo separaran
arriles on sentido de irulaion ontraria. Cuando un vehulo rue una de
estas lneas se lanzara un aviso que alerte de una situaion de potenial peligro.
Vehulos que irulan en un mismo arril pero en sentido ontrario. Esto engloba tambien a los vehulos que se enuentran detenidos en un arril por el que
irula un vehulo. De igual forma, aqu tambien se lanzara una alarma.
Posibles olisiones. El heho de que un vehulo reduza su veloidad de manera
brusa puede signiar una posible olision ontra otro vehulo u objeto. Por lo
tanto, uando se detete esta situaion se lanzara un aviso, tanto si se produe
dentro omo fuera de la alzada, por ejemplo el aren.
5.3 Un sistema en tiempo real
Uno de los prinipales objetivos de esta Tesis ha sido onseguir un sistema que funione en tiempo real, sin emplear hardware dediado de oste exesivo. En esta seion
se expondra omo se ha llevado a abo la implementaion del sistema. Primero se vera
ual es el equipamiento mnimo requerido y a ontinuaion omo se han distribuido
las tareas vistas en los aptulos preedentes en proesos que se ejeutan de manera
onurrente. El ultimo apartado de esta seion desribe una tenia llamada segmentaion virtual. on ella se onsigue reduir signiativamente el oste de omputaion
al permitir no tener que proesar todas las imagenes de la seuenia.
5.3.1 Arquitetura del sistema
En este apartado mostraremos la manera en que ha sido implementado el sistema
de monitorizaion de trao. Primeramente veremos el equipamiento requerido y a
ontinuaion ual es la distribuion de proesos que se han desarrollado y que tareas
lleva a abo ada uno de ellos.
Equipamiento
El sistema requiere el siguiente equipamiento para llevar a abo sus funiones:
5.3 Un sistema en tiempo real
125
Figura 5.5: Arquitetura del sistema de monitorizaion de trao. Programas que
interatuan para llevar a abo el analisis de movimiento y las tareas de monitorizaion
de trao.
Una amara en blano y negro.
Un ordenador que umpla los siguientes mnimos:
{
{
{
Cuatro proesadores Pentium II a 400 Mhz.
Tarjeta de adquisiion de imagenes.
Sistema operativo Linux.
Conviene alarar que para poder realizar un mejor estudio de las seuenias, todos
los experimentos que se presentan en esta Tesis se han realizado o-line. De esta
forma se pueden repetir las mismas seuenias para analizar irunstanias de interes.
Para ello las seuenias se han grabado mediante una amara de vdeo VHS y luego se
han digitalizado. Este modo de trabajo presenta el inonveniente de que las imagenes
tienen una peor alidad, si bien, al haer que el sistema funione satisfatoriamente
on ellas, garantizamos que este es mas robusto.
126
Captulo 5. Un sistema de monitorizaion de trao
Software del sistema
Aqu se vera que programas se han desarrollado, que tareas lleva a abo ada uno
de ellos y ual es la interonexion entre los mismos. Para ello nos serviremos de
varias guras, entre ellas la Figura 5.5. En diha gura se observan los tres tipos de
programas que se han realizado y la relaion que existe entre ellos.
El programa ontrolador es el enargado de omuniarse on la amara y transferir las imagenes a los proesos de estimaion y segmentaion.
Los proesos de estimaion y segmentaion son los que, omo su nombre india,
efetuan la estimaion y segmentaion de movimiento. Se trata de una serie
de programas similares que se arranan al mismo tiempo y que tomando omo entrada un par de imagenes onseutivas, proporionan omo resultado las
segmentaiones iniiales de ada imagen. Junto a ada segmentaion, ademas,
proporionan la estimaion de movimiento orrespondiente a las regiones detetadas.
El programa de seguimiento y monitorizaion de trao es el enargado del
resto de tareas del sistema. Por un lado, realiza las labores de seguimiento e
integraion temporal, al mismo tiempo que lleva a abo las tareas propiamente
dihas de monitorizaion de trao: mediion del volumen de trao, seguimiento
de trayetorias, deteion de vehulos parados y deteion de eventos anomalos.
La Figura 5.63 muestra las tareas que son propias de ada programa. El modulo
de estimaion y segmentaion de movimiento engloba las tareas de deteion de movimiento, segmentaion estatia, estimaion de movimiento y segmentaion de movimiento. Por su parte, el modulo de seguimiento y monitorizaion de trao realiza las
tareas de seguimiento, integraion temporal morfologia y estimaion de parametros
de trao.
El programa ontrolador no aparee en la Figura 5.6, puesto que en prinipio solo
se enarga de enviar ordenes a los proesos de estimaion y segmentaion. Cada vez
que se aptura una nueva imagen, el programa busa el proeso que se enuentra
libre, y a este se le enva la orden indiativa de que debe realizar la estimaion y
segmentaion de la imagen previa, haiendo uso de la imagen reibida.
La omuniaion entre proesos se realiza por medio de seiones rtias, las
uales han sido implementadas mediante semaforos (omo muestra la Figura 5.7).
Dihos meanismos se enuentran disponibles en la mayora de sistemas operativos
multitarea, y su ometido es el de permitir la sinronizaion entre proesos. Esta
3
Con respeto a esta gura resulta neesario haer un par de alaraiones. Segun el diagrama de
ujo que all aparee, una vez que se han estimado los parametros de trao, estos son transmitidos.
Conviene alarar que dado que no existe ningun sistema de nivel superior que reopile estos datos,
la parte de omuniaion no ha sido desarrollada. En uanto a la memoria temporal, el smbolo
que la representa signia almaenamiento, sin que se trate espeamente de una unidad de diso.
En realidad, y para onseguir una mayor veloidad de proesamiento, la memoria temporal, la lista
maestra de regiones, reside en memoria prinipal.
5.3 Un sistema en tiempo real
Figura 5.6: Distribuion de los distintos omponentes del sistema de monitorizaion
de trao entre los programas implementados.
127
128
Captulo 5. Un sistema de monitorizaion de trao
Figura 5.7: La omuniaion entre proesos se realiza mediante seiones rtias.
sinronizaion es la que hae posible estableer restriiones de aeso a determinadas
zonas de memoria (seiones rtias).
En nuestro aso las restriiones de aeso son de dos tipos:
Esritura. En una seion rtia no puede haber dos proesos esribiendo al
mismo tiempo.
Letura. En una seion rtia puede haber varios proesos leyendo al mismo
tiempo, si bien no es posible leer mientras algun proeso esta esribiendo.
5.3.2 Segmentaion virtual
Una forma de aelerar el proesamiento de una seuenia es, sin duda, minimizar el
numero de imagenes por segundo que el sistema debe tratar. Sin embargo, reduir
exesivamente esta proporion no es tampoo deseable, pues lleva aparejados dos
efetos:
Cuantas menos imagenes se tomen, mayor sera el desplazamiento de los objetos
de una imagen a la siguiente. Este heho supone tanto a nuestro metodo de
estimaion de movimiento (ver Seion 3.4), omo a la mayora del resto de
metodos basados en orrespondenias, un aumento del tiempo de alulo del
movimiento que es debido al inevitable inremento del espaio de busqueda.
Cuanto mas se ample el espaio de busqueda, mayor es la probabilidad de
obtener orrespondenias erroneas. Conretamente en nuestro metodo esto aumentara la posibilidad de que la estimaion se detenga en un mnimo loal de la
funion de error DFD.
La integraion temporal morfologia que se presento en el aptulo anterior proporiona una forma de reduir el numero de imagenes, pero sin aumentar el tiempo
entre las dos imagenes que se utilizan para alular la estimaion de movimiento.
Reordemos que la integraion temporal morfologia almaenaba la forma de las
regiones junto on sus parametros de movimiento y una probabilidad de pertenenia
de los pxeles de la imagen a ada region. De este modo, es posible a partir de la
5.4 Resultados
129
segmentaion nal de la imagen n predeir la segmentaion de la imagen n + 1: se
desplazan las regiones por medio de las prediiones de movimiento que aporta el ltro
de Kalman y se asignan los pxeles de la imagen de auerdo a las probabilidades de
pertenenia.
A estas prediiones de segmentaion es a lo que denominamos segmentaiones
virtuales. Interalandolas se onsigue reduir el oste omputaional, pero sin inrementar el intervalo temporal entre pares de imagenes. Obviamente, esto representa
una disminuion del numero de observaiones que el sistema integra, y por tanto los
resultados estaran menos fundamentados. En un entorno ideal, donde no existiera
ruido en las observaiones, la interalaion de segmentaiones virtuales no afetara
a los resultados. Sin embargo, esto no es posible, y lo que realmente suede es que
uanto mas ruidosas son las observaiones mas afeta la introduion de este tipo de
segmentaiones, y por tanto, mas debera limitarse su uso.
Ademas de reduir tiempo de omputaion, en un sistema en tiempo real, las
segmentaiones virtuales sirven de salvaguarda ante saturaiones del sistema. En el
Apartado 5.3.1 se explio que el programa ontrolador aptura imagenes a intervalos
regulares de tiempo y se las va pasando a los proesos de estimaion y segmentaion de
movimiento. Estos proesos son ejeuiones simultaneas de un mismo programa, y sus
resultados son integrados por el programa de seguimiento y monitorizaion de trao.
Resulta fundamental que dihos resultados sean entregados justo a tiempo, puesto que
en aso ontrario se omenzaran a aumular retrasos que aabaran desfasando de
manera exesiva la esena real on las segmentaiones y resultados nales del sistema
de monitorizaion.
Cuando el programa de seguimiento y monitorizaion de trao no reibe los resultados una vez transurrido el intervalo previsto, enva una orden de anelar operaion
al proeso de estimaion y segmentaion de movimiento en uestion y a ontinuaion
interala una segmentaion virtual. De esta forma se evitan retardos sin afetar signiativamente a los resultados.
5.4 Resultados
En este apartado se desribiran varios experimentos. En ellos se trabajara sobre
diversas seuenias, tratando de mostrar las tareas que el sistema presentado en esta
Tesis desempe~na de ara al ontrol de trao.
Quizas la funion mas importante que se le puede requerir al sistema es la mediion
de la densidad del trao. Esto, a su vez, se basa en la apaidad que tenga el sistema
de ontar de manera segura el numero de vehulos que han irulado por el tramo de
arretera bajo ontrol entre dos instantes de tiempo. Para omprobar esta apaidad,
se proesaran seis seuenias orrespondientes a distintas situaiones de trao:
Una alle de doble direion (Figura 5.8).
Una vista parial de una rotonda (Figura 5.9).
130
Captulo 5. Un sistema de monitorizaion de trao
Una arretera de doble direion (Figura 5.10).
Una alle on un semaforo donde se van deteniendo los vehulos (Figura 5.11).
Un rue de alles on una avenida (Figura 5.12).
Una autopista (Figura 5.14).
Seuenia de una alle de doble direion
La seuenia que aparee en la Figura 5.8 muestra una alle on dos arriles, ada uno
on un sentido diferente de irulaion. En realidad se trata de la misma seuenia
que hemos usado en los Captulos 3 y 4 (Figuras 3.12, 3.13, 3.14 y 4.10).
La seuenia onsta de 1230 imagenes grabadas a razon de 10 imagenes por segundo. La esena presenta el inonveniente de tener un bajo ontraste debido a que
fue grabada al atardeer. No obstante, los resultados de la deteion de vehulos
fueron optimos. Durante los 2 minutos que dura la seuenia, irularon 22 vehulos
por la alle, 9 en direion norte-sur y 13 en sentido ontrario. El sistema deteto
orretamente los 22 vehulos junto on sus direiones de irulaion.
En la Figura 5.8 se muestran oho instantes de la seuenia junto on sus orrespondientes segmentaiones (oloadas a la dereha de su orrespondiente imagen). En
las subguras 5.8.a, 5.8.i y 5.8.k apareen dos de los tres4 peatones que quedaron registrados en la seuenia. Por su parte, en la subgura 5.8.m lo que esta irulando es
una motoileta. A pesar de la similitud en la forma de los peatones y la motoileta,
el sistema onto a esta omo un vehulo, pero no a las personas. Este heho se debe
a la esasa veloidad de los peatones, lo ual provoa que en la gran mayora de asos
sean unidos al fondo.
El resto de subguras muestran imagenes on varios de los vehulos que irulan
durante el trasurso de la seuenia. A su dereha apareen sus orrespondientes
segmentaiones. Los vehulos de las subguras 5.8. y 5.8.o son un ejemplo laro del
poo ontraste que presenta la seuenia. Los valores de intensidad de los pxeles de
estas dos imagenes se enuentran todos ellos en el rango 0-166. Se puede observar
que las intensidades de la alzada y los vehulos de estas dos subguras son bastante
pareidas.
Seuenia de la rotonda
La Figura 5.9 presenta una nueva seuenia de trao urbano. Los vehulos parten de
la zona inferior izquierda de la imagen, donde se enontraban parados tras un semaforo,
y uando llegan al entro deben optar por girar a la dereha o a la izquierda. Los
ohes que van haia la dereha giran alrededor de una gran rotonda, de la que puede
observarse una peque~na parte en el entro dereha de las imagenes, mientras los de la
izquierda ontinuan por una avenida.
4
El peaton de las subguras 5.8.i y 5.8.k es el mismo. Debido a su veloidad lenta, transurridas
48 imagenes de la seuenia, a penas se ha desplazado unos poos metros.
5.4 Resultados
(a)
Imagen 40.
131
(b)
Segmentaion
nal.
()
Imagen 170.
(d)
Segmentaion
nal.
(e)
Imagen 255.
(f )
Segmentaion
nal.
(g)
Imagen 380.
(h)
(i)
Imagen 440.
(j)
Segmentaion
nal.
(k)
Imagen 488.
(l)
Segmentaion
nal.
(o)
Imagen 910.
(p)
(m)
Imagen 728.
(n)
Segmentaion
nal.
Segmentaion
nal.
Segmentaion
nal.
Figura 5.8: Diez imagenes de una seuenia urbana on sus orrespondientes segmentaiones.
132
Captulo 5. Un sistema de monitorizaion de trao
(a)
Imagen 4.
(b)
()
Imagen 27.
(d)
Segmentaion de la imagen
(f )
Segmentaion de la imagen
Segmentaion de la uarta
imagen.
27.
(e)
Imagen 37.
37.
Figura 5.9: Una seuenia de vehulos en un rue de una iudad. Las subguras
de la dereha orresponden a las segmentaiones de las imagenes de las subguras de
la izquierda.
5.4 Resultados
133
Las subguras de la izquierda muestran tres imagenes de la seuenia, mientras
que las de la dereha son sus respetivas segmentaiones nales. En esta seuenia
se intento omprobar omo afetan las siguientes situaiones al funionamiento del
sistema:
Que las trayetorias no sean retilneas, sino urvas, omo ourre en la seuenia. Los vehulos que giran a la izquierda, iniialmente solo muestran su parte
trasera, mientras que nalmente apareen de ostado.
La presenia de elementos estatios que oulten parialmente la vision de los
vehulos. En esta seuenia apareen varias farolas en la parte izquierda, mientras que en la parte inferior estan los numeros de la feha de grabaion y un
semaforo. Todos estos elementos deterioran las formas de los vehulos que se
extraen en las segmentaiones iniiales, inluso produiendo la division de un
vehulo en varias regiones, ada una de las uales podra ser interpretada omo
un vehulo diferente.
La primera diultad, la de las trayetorias urvilneas, no plantea ningun problema al sistema. Dado que el ambio en la forma de los vehulos se produe gradualmente, el sistema tambien se adapta de manera progresiva. Las orrespondenias se
estableen orretamente, al tiempo que las segmentaiones van ambiando de forma
gradual para adeuarse a las diferentes vistas que ofree ada ohe.
En uanto a los objetos estatios, estos deterioran las segmentaiones iniiales,
pero graias a la integraion temporal (ver Captulo 4) las segmentaiones nales
tienden a mitigar sus efetos. Tanto la feha de grabaion, 27 7 1997, omo un
semaforo que hay junto al a~no, diultan las segmentaiones de los ohes. Esto
puede apreiarse laramente en el vehulo que se enuentra mas abajo en la subgura
5.9.d. Su segmentaion es bastante deiente en la imagen 27, pero en la imagen 37
vuelve a ser ompata.
En el tramo de alzada que se enuentra a la izquierda de la imagen, apareen
dos farolas que tienden a dividir las segmentaiones de los vehulos. En la subgura
5.9.b el ohe que esta tras una de estas farolas es segmentado parialmente, es deir,
solo la parte trasera es extrada en la segmentaion nal. En las siguientes imagenes
el vehulo sera totalmente perdido, y de heho ni siquiera sera ontabilizado omo
un ohe. Ello se debe a que no han pasado suientes imagenes omo para que la
integraion temporal pueda aumular la informaion temporal neesaria para orregir
los errores. En la segmentaion iniial del vehulo, uando este llega a la farola, es
dividido en dos regiones, on estimaiones de movimiento erroneas provoadas por los
pxeles estatios de la farola. Por todo ello, la integraion temporal no puede seguir
al vehulo, on lo que nuna llega a delararlo omo una region permanente, lo ual
implia que no sea ontabilizado omo un vehulo.
Afortunadamente, uando se uenta on suientes observaiones de un vehulo,
la anteposiion de las farolas no afeta al resultado nal. Esto podemos verlo en
la subgura 5.9.d, donde un vehulo diferente s es segmentado orretamente. En
este aso, tanto la integraion temporal morfologia, omo el ltro de Kalman han
134
Captulo 5. Un sistema de monitorizaion de trao
ontado on suientes observaiones omo para que unos uantos errores no afeten
a la estimaion nal.
Con respeto al onteo de vehulos, la seuenia es bastante orta, algo mas de un
minuto, tiempo durante el ual irularon 19 vehulos. De estos 19 ohes el sistema
solo fallo en la deteion del vehulo menionado anteriormente, es deir deteto 18
de los 19 vehulos que irularon.
Tambien se ontabilizo uantos seguan girando alrededor de la rotonda y uantos
toran a la dereha. De los 18 ohes detetados, 10 ontinuaron en la rotonda, y 8
tomaron la avenida de la dereha.
Seuenia de la arretera
En la Figura 5.10 apareen varias imagenes de una seuenia de arretera, junto a
sus orrespondientes segmentaiones. Se trata de una va de dos sentidos, on un
arril para ada uno de ellos. En el tramo que muestra la esena esta permitido el
adelantamiento, por lo que en ambos arriles pueden irular vehulos en ualquiera
de los dos sentidos.
Es una seuenia relativamente larga, unos 4 minutos, en la que aparee un gran
numero de vehulos que ademas son de diversas lases: ohes, amiones, ohes on
aravana, et. Otra araterstia adiional de esta seuenia es la gran profundidad
de ampo que presenta. As, no es posible detetar el movimiento de los vehulos
que al enontrarse muy alejados de la amara presentan una veloidad muy erana a
ero en el plano de la imagen. Esto se apreia en la segunda imagen que se presenta,
subgura 5.10.. donde el vehulo mas alejado no puede detetarse. No obstante,
uando su veloidad en la imagen permite difereniarlo del fondo, s que es segmentado
y ontabilizado.
En esta misma subgura 5.10. un ohe esta realizando un adelantamiento. Aunque en este tramo de arretera estan permitidos los adelantamientos, se denio una
lnea de peligro sobre la raya disontinua. De esta forma, se simulo una situaion de
potenial peligro uando un vehulo rebasa a otro en zona prohibida. Cuando el entro de masas de la segmentaion del ohe se situo a la dereha de la lnea, el sistema
genero un aviso. Como ya se omento, este aviso debera ser reibido por un programa
de mas alto nivel5, donde posiblemente un operador estudiara la potenialidad del
peligro que plantease la situaion.
El resto de subguras de la Figura 5.10 orresponden a distintas imagenes de la
seuenia. En la subgura 5.10.i se observan dos amiones de gran tama~no, mientras
que en las restantes imagenes los vehulos son ohes. Durante el trasurso de la
seuenia se detetaron 22 de los 23 vehulos que por ella irularon. De estos 22
vehulos, 14 irulaban por el arril de la izquierda, y 8 por el de la dereha.
5
Se omento on anterioridad que estos programas de mas alto nivel no han sido desarrollados por
orresponder a un tipo de problemas que esapan del ambito de esta Tesis. El sistema desarrollado
se limita a realizar mediiones y detetar eventos
5.4 Resultados
135
(a)
Imagen 100.
(b)
Segmentaion
de la imagen 100.
()
Imagen 233.
(d)
(e)
Imagen 310.
(f )
Segmentaion
de la imagen 310.
(g)
Imagen 570.
(h)
(i)
Imagen 667.
(j)
Segmentaion
de la imagen 667.
(k)
Imagen 1050.
(l)
Imagen 1277.
(n)
Segmentaion
de la imagen 1277.
(o)
Imagen 1835.
(p)
(m)
Segmentaion
de la imagen 233.
Segmentaion
de la imagen 570.
Segmentaion
de la imagen 1050.
Segmentaion
de la imagen 1835.
Figura 5.10: Seuenia de trao en arretera. Vehulos de distintos tipos irulan
sobre una arretera de dos sentidos.
136
Captulo 5. Un sistema de monitorizaion de trao
Seuenia del semaforo
En la Figura 5.11 se muestran uatro imagenes de una misma seuenia. En ella dos
ohes se aproximan a un semaforo, en el ual se detienen. En la subgura 5.11.a se
muestra la imagen numero 15 de la seuenia. En ella un ohe omienza a detenerse
ante el semaforo que se enuentra en rojo. De este modo, la imagen numero 37
(subgura 5.11.d) es en la ultima donde se puede apreiar el movimiento del vehulo
en la imagen.
Las subguras 5.11.b y 5.11. representan las segmentaiones iniial y nal de la
imagen 15, mientras que, por su parte, las subguras 5.11.e y 5.11.f orresponden a la
imagen 37. En todas ellas podemos apreiar que la forma del vehulo ha sido extrada
on bastante exatitud.
En la imagen 79 (subgura 5.11.g) un nuevo vehulo esta reduiendo su veloidad
ante la proximidad del semaforo, que ontinua en rojo. Obviamente, al no ambiar
el semaforo, el primer ohe sigue detenido, por lo que la segmentaion iniial no
puede extraer su forma, puesto que sigue sin detetarse movimiento. No obstante,
la segmentaion nal sigue onteniendo su silueta. Esto se onsigue por medio de
la integraion temporal (ver Captulo 4). Dado que la region del primer vehulo fue
delarada omo permanente, solo se le permite desapareer uando abandona la esena
por alguno de los bordes de la imagen.
Por ultimo, la Subgura 5.11.j orresponde a la imagen numero 94, donde ambos
vehulos se hayan totalmente parados. Por ello, la segmentaion iniial no deteta
objetos moviles, pero de nuevo la segmentaion nal ontiene la segmentaion de
ambos vehulos.
Seuenia del rue de alles on la avenida
Las imagenes de la Figura 5.12 orresponden a un rue urbano entre una avenida y
dos alles. La avenida ontiene tres arriles, uno de ellos para autobuses, y el sentido
de irulaion es de izquierda a dereha. La alle inferior es de doble direion on
un arril para ada sentido. Por lo tanto, por esta alle los vehulos pueden tanto
abandonar la avenida, omo inorporarse a ella. Por ontra, la alle que ompleta el
rue, y que se halla en la parte superior, es de una unia direion, pero tiene dos
arriles por los que los ohes salen de la avenida.
La duraion de la seuenia es de algo mas de 15 minutos. Tiempo durante el ual
irularon 188 vehulos de uatro tipos: motos, ohes, furgonetas y autobuses. El
sistema ontabilizo 191 on lo que el error produido fue de un 1; 59%. Asimismo,
tambien se ontrolo el trao de ada una de las alles. Para ello se onto uantos
vehulos abandonaban la esena por ada una de las tres alles, dando los siguientes
resultados:
Avenida. De los 191 vehulos ontabilizados, 135 salieron de la imagen por la
va prinipal.
Calle superior. 42 vehulos.
5.4 Resultados
(a)
137
Imagen 15.
Segmentaion
()
Segmentaion -
(e) Segmentai
on ini-
(f )
Segmentaion -
(h)
Segmentaion
(i)
Segmentaion -
(k)
Segmentaion
(l)
Segmentaion -
(b)
iniial.
(d)
Imagen 37.
ial.
(g)
Imagen 79.
iniial.
(j)
Imagen 94.
iniial.
nal.
nal.
nal.
nal.
Figura 5.11: Seuenia de ohes deteniendose ante un semaforo. Primera o-
lumna: imagen original. Segunda olumna: segmentaion iniial. Terera olumna:
segmentaion nal de la imagen.
138
Captulo 5. Un sistema de monitorizaion de trao
(a)
Imagen 144.
(b)
(e)
Imagen 932.
Imagen 3648.
(i)
(m)
Imagen 5050.
Segmentaion
de la imagen 144.
()
Imagen 533.
(d)
(f )
Segmentaion
de la imagen 932.
(g)
Imagen 1285.
(h)
(j)
Segmentaion
de la imagen 3648.
(k)
Imagen 4071.
(l)
Segmentaion
de la imagen 5050.
(o)
Imagen 5560.
(p)
(n)
Segmentaion
de la imagen 533.
Segmentaion
de la imagen 1285.
Segmentaion
de la imagen 4071.
Segmentaion
de la imagen 5560.
Figura 5.12: Seuenia de trao urbano un rue de una avenida.
5.4 Resultados
139
Figura 5.13: Vehulos detetados en ada una de las direiones de salida.
Calle inferior.
14 vehulos giraron por esta alle desde la avenida.
La Figura 5.13 muestra graamente el volumen de trao. Las ehas que ontienen un numero representan arriles por los que se abandona el ampo visual de la
amara. El resto de ehas indian que por el orrespondiente arril entran vehulos.
Se observa que la mayor parte de vehulos tras superar el rue siguen irulando por
la avenida, 135 vehulos. El numero ontenido en ada eha india uantos vehulos
irularon por el arril sobre el que esta situada. As, se puede ver que en la avenida
el arril mas utilizado es el entral, y el menos usado el inferior, al tratarse del arril
\Bus". La alle superior es por la que en segundo lugar mas vehulos abandonan el
rue, 42 vehulos. En este aso el uso de los dos arriles es bastante similar. Por
ultimo itar que el arril de salida menos usado es el de la alle inferior, por el que
irularon tan solo 14 vehulos.
Los tres errores que se produjeron en esta seuenia se debieron a tres vehulos
que desapareieron de la segmentaion iniial durante un exesivo numero de imagenes
onseutivas. Esto se debio al fuerte viento que haba en el instante de la grabaion,
el ual produa onstantes vibraiones en la amara. Se debe tener en uenta que la
amara estaba montada sobre un trpode, sin que hubiera ningun tipo de proteion
ontra el aire. En una instalaion real del sistema se ontara on mas medios, de
manera que la jaion de la amara impidiera vibraiones tan grandes omo las que
se registraron.
Durante toda la seuenia el sistema mostro una gran robustez frente a las osilaiones provoadas por el viento. Si embargo, en los tres instantes en que irulaban
estos tres vehulos las vibraiones fueron espeialmente ostensibles, on lo que se
impidio que las segmentaiones fueran orretas durante varias imagenes onseutivas. Debido a esto, se perdio el rastro de los vehulos, on lo que al volver a ser
segmentados orretamente, el sistema los ontabilizo omo nuevos.
140
Captulo 5. Un sistema de monitorizaion de trao
Como onseuenia de estas situaiones, el sistema lanzo tres avisos, al entender
que los tres vehulos haban reduido brusamente su veloidad. Estos eventos son
de espeial interes pues pueden indiar un hoque y una posible situaion posterior de
peligro.
Las subguras de la Figura 5.12 muestran oho esenas distintas de esta seuenia.
En la subgura 5.12.a tres ohes irulan a lo largo de la avenida, de los uales dos
estan a punto de salir del ampo visual de la amara. La subgura 5.12.b orresponde
a la segmentaion nal de estos vehulos.
En la subgura 5.12. apareen 4 ohes y una moto. Puede verse en la segmentaion, subgura 5.12.d, que a pesar de su tama~no (unos 100 pxeles) y su elevada
veloidad (80 o 90 km/h), la moto es orretamente segmentada.
A ontinuaion, subgura 5.12.e, un ohe de olor osuro ruza transversalmente
la avenida desde la alle inferior haia la superior. La subgura 5.12.g orresponde al
giro de un vehulo haia la alle inferior, y la subguras 5.12.i y 5.12.k muestran un
autobus y un ohe, respetivamente.
En la subgura 5.12.m, una moto y un ohe han salido de la alle inferior. Mientras el ohe gira haia la avenida, la moto la ruza haia la alle superior. Por
ultimo, la subgura 5.12.o ontiene tres ohes, dos de ellos muy pegados, pero que
son orretamente segmentados.
En esta seuenia se puede apreiar que el sistema puede tratar vehulos de diversos tama~nos: desde motoiletas, subguras 5.12. y 5.12.m, hasta autobuses, subgura 5.12.i. Esto nos permite pensar en una senilla extension de las tareas del sistema.
En ella se realizara una lasiaion de los vehulos de una seuenia en tres ategoras: motos, ohes, y vehulos grandes (autobuses y amiones). La lasiaion se
basara en el numero de pxeles que omponen una region.
Seuenia de la autopista
La Figura 5.14 muestra una seuenia orrespondiente a una autopista. Este tipo de
vas presentan omo araterstia partiular la elevada veloidad de los vehulos que
por ella irulan. Aunque el lmite de veloidad en Espa~na este jado en 120km/hora,
es freuente que algunos vehulos superen este lmite, a vees ampliamente. Este
heho obliga a que el sistema deba proesar mas imagenes por segundo de las que
sera neesario en el resto de vas. En el aso de la seuenia que presentamos se
han utilizado 12 imagenes por segundo, si bien todos los vehulos parean irular
a veloidades relativamente moderadas, menos de 140km/hora. Es por ello, que para
una implantaion real del sistema en una autopista quizas debiera ampliarse el ritmo
de aptura hasta las 15 imagenes por segundo.
En el aso onreto de la autopista de la Figura 5.14 la densidad normal de trao
es bastante baja. As, durante los nueve minutos que dura la seuenia, irularon
solamente 32 vehulos. De estos, la mayora eran amiones, y el resto ohes o
furgonetas.
El sistema ontabilizo 33 vehulos en lugar de los 32 que irularon. El error se
5.4 Resultados
141
(a)
Imagen 25.
(b)
(e)
Imagen 486.
Imagen 2145.
(i)
(m)
Imagen 4838.
Segmentaion
de la imagen 25.
()
Imagen 334.
(d)
(f )
Segmentaion
de la imagen 486.
(g)
Imagen 1055.
(h)
(j)
Segmentaion
de la imagen 2145.
(k)
Imagen 3617.
(l)
Segmentaion
de la imagen 4838.
(o)
Imagen 5538.
(p)
(n)
Segmentaion
de la imagen 334.
Segmentaion
de la imagen 1055.
Segmentaion
de la imagen 3617.
Segmentaion
de la imagen 5538.
Figura 5.14: Seuenia de trao en una autopista.
142
Captulo 5. Un sistema de monitorizaion de trao
produjo al dividir en dos un amion on un gran trailer durante varias segmentaiones
iniiales. El numero de vehulos en ada arril fue de 27 (teniendo en uenta el
vehulo ontabilizado de mas) por el arril de la izquierda de la imagen y 6 por el
dereho.
En la Figura 5.14 se muestran varias esenas de la seuenia junto a sus orrespondientes segmentaiones. La subgura 5.14.a presenta un ohe que se aera a
la amara. A pesar de su gran lejana, el vehulo puede ser segmentado. En otros
tipos de vas, los vehulos no pueden ser detetados uando estan tan lejos, debido a
que su veloidad en la imagen es muy erana a ero. En este aso, al irular mas
rapidamente los vehulos, tambien las veloidades en la imagen son mas altas y por
tanto se pueden detetar a una mayor distania de la amara.
Las subguras 5.14., 5.14.k, 5.14.m y 5.14.o orresponden a varios amiones, que
es el tipo de vehulo que mas aparee en la seuenia. Se puede ver que los amiones
se enuentran a diferentes distanias relativas a la amara, donde el mas erano es el
de la subgura 5.14.m que ya asi ha salido del ampo visual de la amara.
En la subgura 5.14.e apareen dos ohes situados a diferentes distanias y en la
subgura 5.14.g hay dos amiones y dos ohes. Uno de los ohes lleva detras una
aravana, sin embargo el sistema lo ontabilizo orretamente omo un unio vehulo.
En la subgura 5.14.i hay una furgoneta on un remolque, que tambien fue segmentada
orretamente omo una misma unidad.
Veloidad de proesamiento
El sistema desrito en este aptulo ha sido probado sobre un ordenador de uatro
proesadores Pentium II a 400 Mhz. Sobre este equipo se ha onseguido el proesamiento de las anteriores seuenias en tiempo real, a exepion de la seuenia de la
autopista, donde se tuvo que inrementar el numero de imagenes por segundo hasta
12. En todas las seuenias proesadas en tiempo real, el tama~no de imagen empleado
fue 192144, y el ritmo de adquisiion de imagenes 10 por segundo, utilizando una
segmentaion virtual por ada segmentaion real.
La seuenia de la autopista no pudo proesarse en tiempo real, al tener que usar
12 imagenes por segundo. No obstante, en el momento en que se esta aabando de
esribir esta Tesis, ya es posible enontrar failmente ordenadores PC on proesadores
Pentium III que trabajan a 900Mhz o mas. As pues, sera razonable pensar que on
uno de estos equipos, tambien esta seuenia se podra proesar en tiempo real.
5.5 Conlusiones
En el presente aptulo se han mostrado las distintas tareas que el sistema de monitorizaion propuesto en esta Tesis puede llevar a abo. Dihas tareas son basiamente:
Mediion del volumen de trao.
Seguimiento de trayetorias.
5.5 Conlusiones
Deteion de vehulos parados.
Deteion de eventos anomalos.
143
Como onseuenia de las anteriores tareas, se puede no solo mejorar la situaion del
trao en un instante dado, sino tambien obtener estadstias a mas largo plazo que
ayuden a planiar la red vial.
Como se ha visto en la Seion 5.3, el sistema desarrollado puede trabajar en
tiempo real. Para ello se han implementado tres tipos de proesos que ooperan en el
proesamiento de las imagenes:
Controlador, que se enarga de ordenar el proesamiento de ada imagen.
Estimaion y segmentaion de movimiento, que se enarga de la segmentaion
iniial de la imagen.
Seguimiento y monitorizaion de trao, que realiza la segmentaion nal de
ada imagen y lleva a abo las tareas de monitorizaion de trao.
Ademas, se ha mostrado una tenia llamada segmentaion virtual que permite
evitar el proesamiento de iertas imagenes, lo ual permite un ahorro omputaional.
Diha tenia onsiste basiamente en usar la informaion reogida por el sistema a
lo largo de la seuenia para predeir los resultados de esas iertas imagenes.
En este aptulo se ha prestado una espeial atenion al apartado dediado a
los resultados de la apliaion. Se han usado esenas tanto de trao urbano omo
de arretera, probando el funionamiento del sistema bajo diversas irunstanias
que se presentan usualmente: semaforos, rues, adelantamientos, et. El sistema
se ha mostrado apto para ambos tipos de vas, donde las veloidades medias de los
vehulos son diferentes. Tambien se ha visto que el funionamiento del sistema no es
dependiente de la direion de irulaion de los vehulos: tanto retilneas, vertial
y horizontal a la imagen; omo irulares, en urvas y rotondas.
En el aso de las trayetorias urvas, la integraion temporal no se ve afetada
por la variaion del punto de vista del objeto que se apreia en ada imagen de la
seuenia. La memoria temporal va siendo atualizada a medida que el vehulo gira,
on lo que las segmentaiones se van adaptando a la vision que la amara peribe de
los objetos.
Se ha omprobado el funionamiento frente a diferentes tipos de vehulos: ohes,
motos, furgonetas y amiones. A pesar de los diferentes tama~nos, sobre todo en el
aso de las motos que pueden oupar alrededor de 100 pxeles, el sistema es apaz de
realizar un seguimiento de todos ellos.
Se debe resaltar que el sistema ha mostrado una gran abilidad, fundamentada
en gran medida por la integraion temporal. Esta tenia elimina el efeto de la
mayora de errores que se produen en el tratamiento de imagenes puntuales de la
seuenia. Ademas, permite que la existenia de determinados elementos estatios
que se interponen en la vision de los ohes, omo semaforos o farolas, no afeten a
los resultados.
144
Captulo 5. Un sistema de monitorizaion de trao
Se ha utilizado un equipamiento basado en ordenadores PC, sin tener que reurrir
a sistemas dediados que dispararan el oste eonomio. Con el ordenador empleado,
el sistema es apaz de proesar hasta diez imagenes por segundo, lo ual es suiente
para la gran mayora de situaiones.
Cap
tulo 6
Conlusiones
Contenido
6.1
6.2
6.3
6.4
Conlusiones generales . . . . . . . . . . . . .
Aportaiones . . . . . . . . . . . . . . . . . . .
Lneas de trabajo futuro . . . . . . . . . . . .
Lista de publiaiones surgidas de esta Tesis
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
145
147
148
149
Este aptulo sumariza el trabajo presentado en esta Tesis. La Seion 6.1 presentara la onlusiones generales que pueden extraerse a partir de la investigaion realizada. La Seion 6.2 resumira las prinipales aportaiones y la Seion 6.3 tratara las
posibles lneas de investigaion que pueden surgir a partir del trabajo desarrollado en
esta Tesis. Por ultimo, en la Seion 6.4 se muestra una lista de las publiaiones que
el presente trabajo ha ido generando durante su desarrollo.
6.1 Conlusiones generales
Como primera onlusion, reemos que puede armarse que los objetivos que en un
prinipio se plantearon han sido ompletados satisfatoriamente. Se han desarrollado
un onjunto de metodos y tenias que se interonetan para alanzar la meta prinipal: un sistema basado en vision por ordenador apaz de realizar diversas tareas
de monitorizaion de trao. Para ello se ha realizado un profundo estudio de la
literatura existente sobre ada una de las partes que integran el trabajo: monitorizaion de trao, segmentaion de imagenes estatias, estimaion y segmentaion de
movimiento, integraion temporal, y seguimiento.
A lo largo de los diferentes aptulos de esta Tesis se ha mostrado que el analisis
de movimiento sobre el plano de la imagen puede proporionar todo el onoimiento
neesario para resolver las tareas de monitorizaion de trao. Por lo que el uso de
estruturas tridimensionales inrementara substanialmente el oste omputaional
sin apenas aportar ventajas a la onseuion de las tareas mas importantes.
146
Captulo 6. Conlusiones
Dentro del analisis bidimensional, las regiones, omo araterstia basia del proeso, han mostrado dotar de una gran robustez a los metodos. Permiten asignar
vetores de movimiento a todos los pxeles de la imagen sin disparar el oste omputaional de su estimaion. Como se vio en el Captulo 3, resultan espeialmente
interesantes en las seuenias de trao, donde las olusiones son freuentes y el fondo
es estatio.
En el Captulo 2 se realizo un estudio de las tenias de segmentaion de imagenes
estatias, y mas onretamente de su apliaion al problema del trao. Como se
muestra en esta Tesis, no paree neesario el uso de olor, ya que que la intensidad
de gris aporta suiente informaion. La tenia a utilizar debe ser no supervisada,
apaz de adaptarse automatiamente a los ambios en el numero y tama~no de los
objetos y sobre todo obtener regiones ompuestas por pxeles de no mas de un objeto.
Los resultados de este aptulo muestran que la intensidad de gris resulta ser un buen
riterio de homogeneidad.
El metodo de segmentaion estatia desarrollado (Captulo 2) umple las anteriores
restriiones. Se adapta dinamiamente al numero de vehulos que aparezan en la
esena. Ademas, ofree un exelente omportamiento on respeto a la restriion
mas importante: no formar regiones donde haya pxeles que pertenezan a mas de un
vehulo.
El Captulo 3 mostro que un senillo modelo de movimiento translaional es suiente para realizar una orreta segmentaion de movimiento en las esenas de trao.
Frente a modelos de movimiento mas omplejos, reporta un onsiderable ahorro en el
oste omputaional.
En este mismo aptulo se vio que las tenias basadas en substraion de imagenes,
a pesar de su senillez, son de enorme utilidad en el analisis de movimiento. Con un
reduido oste omputaional, permiten agrupar la mayor parte de las regiones que
perteneen a un mismo objeto.
Al emplear tenias basadas en substraion se suele elegir entre una de las dos
posibilidades mas omunes: substraion de la imagen atual y una de referenia, o de
dos imagenes onseutivas. Hemos mostrado que su ombinaion no es redundante.
La primera ofree mejores resultados uando las ondiiones son estables, mientras
que la segunda es menos sensible a las rapidas variaiones de las ondiiones de la
esena y a peque~nas vibraiones de la amara.
Seguimiento y segmentaion son dos proesos que pueden olaborar mutuamente.
De manera ontraria a lo que en otros trabajos se ha venido haiendo, en el Captulo
4 se presenta un metodo que no solo usa la informaion proveniente de la segmentaion para realizar el seguimiento, sino que, ademas, este segundo proeso permite
mejorar las segmentaiones. La integraion temporal morfologia permite aumular
onoimiento sobre la forma de las regiones de la imagen, para a partir de ah obtener
segmentaiones mas ables.
La utilizaion de un ltro de Kalman en el seguimiento redue la inuenia de
los errores de mediion que inevitablemente apareen en ualquier tenia de estimaion de movimiento. Ademas, aporta prediiones que pueden ser empleadas por la
6.2 Aportaiones
147
integraion temporal morfologia.
El Captulo 5 muestra que es posible implementar el sistema en un hardware
omun (por ejemplo, un ordenador del tipo PC). Esto signia un menor oste frente
a sistemas dediados, omo por ejemplo: sistemas basados en DSP's.
6.2 Aportaiones
Las prinipales aportaiones del trabajo desarrollado en esta Tesis se pueden resumir
en las siguientes:
Un metodo de segmentaion de imagenes estatias que utiliza la intensidad de los
pxeles omo riterio de homogeneidad. Este riterio ha resultado espeialmente
util dentro del ambito de apliaion de este trabajo, las esenas de trao, puesto
que tanto los objetos, vehulos, omo el fondo, la arretera, se araterizan por
la ausenia de texturas. E ste metodo umple la premisa de ser no supervisado y,
ademas, utilizar una estrategia jerarquia que le permite adaptarse a seuenias
on un numero ambiante de objetos.
Ya se omento en aptulos preedentes que esta tenia puede ser substituida
por alguna otra que se enuentre en la literatura o que este disponible en un
futuro. Para ello se deberan satisfaer las tres mismas ondiiones que nuestro
metodo umple: ser no supervisado, adaptarse automatiamente a la variaion
del numero de objetos de la esena, y onseguir segmentaiones donde, aunque
un objeto pueda ser subdivido en diversas regiones, nuna varios objetos formen
parte de la misma region nal.
Un metodo de deteion de movimiento (Captulo 3) basado en una ombinaion
de dos tenias de substraion de imagenes: una de substraion de una imagen
referenia que representa el fondo estatio, y otra de substraion de imagenes
onseutivas. Este metodo realiza un rapido agrupamiento de la mayor parte
de las regiones que perteneen a un mismo objeto. La imagen referenia se
realula tras ada imagen, permitiendo as su adaptaion a las variaiones de
las ondiiones de la esena.
El metodo de analisis de movimiento que se desribe a lo largo del Captulo
3 onstituye en s una ombinaion novedosa de tenias, unas nuevas y otras
ya existentes, que permiten la estimaion y segmentaion de movimiento en
tiempo real en una esena de trao. Esta estimaion se basa en un modelo de
movimiento translaional, el ual permite un ahorro en el oste omputaional
frente a otros modelos mas omplejos.
Con respeto al seguimiento, se plantea un nuevo enfoque de su relaion on la
segmentaion: no solo la segmentaion aporta informaion al seguimiento, sino
que tambien el seguimiento puede ayudar a mejorar las segmentaiones.
148
Captulo 6. Conlusiones
La integraion temporal morfologia que en esta Tesis proponemos es una
tenia totalmente nueva que permite obtener segmentaiones basadas en todas
la imagenes preedentes. De este modo, las soluiones son mas estables y, por
tanto, menos inueniadas por los errores.
Se ha introduido el onepto de segmentaion virtual, el ual permite, basandose
en la integraion temporal morfologia, proyetar las segmentaiones anteriores
evitando el proesamiento de iertas imagenes. Esto permite reduir el oste
omputaional, a la vez que se salvaguarda al sistema frente a aumentos desmesurados de arga omputaional (uando el sistema no es apaz de proesar a
tiempo una imagen, se introdue una segmentaion virtual).
6.3 Lneas de trabajo futuro
En general, la mayora de tenias aqu tratadas pueden ser tomadas omo punto de
partida para desarrollar trabajos futuros. A ontinuaion itaremos algunas de las
posibles lneas de trabajo a seguir:
El estudio de nuevos metodos de estimaion de movimiento que empleen modelos
algo mas omplejos que el puramente translaional que se ha usado en esta
Tesis. Ya se omento on anterioridad que la utilizaion de este modelo de
movimiento responda al deseo de minimizar al maximo el oste omputaional
de este proeso. Aunque este modelo simple ha respondido de manera bastante
satisfatoria, no abe duda que se podran reduir los errores de estimaion si se
usara un modelo que al menos ontemplara el efeto de esalado que se produe
en los vehulos uando se aeran o alejan de la amara.
Dado que el modelo de movimiento era el translaional, la integraion temporal
morfologia se desarrollo sin onsiderar modelos mas omplejos. Sera altamente
interesante extender diha tenia para ampliar las posibilidades de su utilizaion.
Podra inrementarse la preision en la estimaion de trayetorias al ombinar
las tenias propuestas en esta tesis on otras basadas en orrespondenias de
puntos o bordes. Dadas las segmentaiones de dos imagenes onseutivas se
estableeran orrespondenias entre las araterstias de ambas imagenes. Esto permitira estimar los parametros de movimiento de ada region on mayor
preision, al mismo tiempo que permitira estableer orrespondenias entre regiones, por ejemplo, dada una region, su orrespondiente podra estableerse
omo aquella que ontiene un mayor numero de araterstias que son orrespondientes de las de la primera region.
Otra extension del presente trabajo onsistira en la estimaion de las veloidades reales de los vehulos. Para ello sera neesario inorporar algun tipo de
onoimiento aera de la geometra de la esena, alibraion del sistema, et.
6.4 Lista de publiaiones surgidas de esta Tesis
149
6.4 Lista de publiaiones surgidas de esta Tesis
El embrion de la presente Tesis fue la tesina de master que el autor realizo durante el
urso 1995-96 en la Universidad de Surrey [Badenas, 1996℄ y que fue dirigida por el
Dotor Miroslaw Bober. A partir de este primer trabajo, se han atravesado diversas
etapas que han ido aportando onoimientos y resultados que han sido presentados a
diversos ongresos o revistas. La presente lista ordena ronologiamente las publiaiones relaionadas on esta Tesis que hasta la feha ha generado el presente trabajo:
[Badenas, 1996℄ J. Badenas. Appliation of Motion Estimation and Segmenta
tion Tehniques to TraÆ Monitoring. Ms. Thesis del Master on Multimedia
Tehnology and Systems, University of Surrey, U.K., 1996.
[Badenas et al., 1997a℄ J. Badenas, M. Bober y F. Pla. Combining Intensity
and Motion-based Segmentation for Robust TraÆ Monitoring. En Proeedings
of the VII Simposium Naional de Reonoimiento de Formas y Analisis de
Imagenes (SNRFAI'97), Barelona, Espa~na, paginas 281-286, abril 1997.
[Badenas et al., 1997b℄ J. Badenas, M. Bober y F. Pla. Motion and IntensityBased Segmentation and Its Appliation to TraÆ Monitoring. En Proeedings
of the International Conferene on Image Analysis and Proessing (ICIAP'97),
Florenia, Italia, paginas 502-509, septiembre 1997.
[Badenas y Pla, 1998a℄ J. Badenas y F. Pla. Applying Computer Vision Tehniques to TraÆ Monitoring. En Proeedings of the 11th International Conferene
on Industrial and Engineering Appliations of Artiial Intelligene and Expert
Systems (IEA-98-AIE), Beniassim, Espa~na, paginas 776-785, junio 1998.
[Badenas y Pla, 1998b℄ J. Badenas y F. Pla. Segmentation Based on RegionTraking in Image Sequenes for TraÆ Monitoring. En Proeedings of the 14th
International Conferene on Pattern Reognition (ICPR'98), Brisbane, Australia, paginas 999-1001, agosto 1998.
[Badenas et al., 1999℄ J. Badenas, J.M. Sanhiz y F. Pla. Traking Regions using
Temporal Integration for TraÆ Monitoring. En Proeedings of the VIII Simposium Naional de Reonoimiento de Formas y Analisis de Imagenes (SNRFAI'99), Bilbao, Espa~na, paginas 321-328, 1999.
[Badenas et al., 2000a℄ J. Badenas, J.M. Sanhiz y F. Pla Seguimiento
de Regiones Utilizando Integraion Temporal y su Apliaion al Control
de Trao, Revista Eletronia de Vision por Computador (REVC), No.1,
http://www.v.uab.es/rev/revista/01/0104-abs.htm, enero 2000.
[Badenas et al., 2000b℄ J. Badenas, J.M. Sanhiz y F. Pla. Using Temporal Integration for Traking Regions in traÆ Monitoring Sequenes. En Proeedings
of the 15th International Conferene on Pattern Reognition (ICPR'2000), Barelona, Espa~na, volumen 3, paginas 1137-1140, septiembre, 2000.
150
Captulo 6. Conlusiones
[Badenas et al., 2001a℄ J. Badenas, J.M. Sanhiz y F. Pla. Motion-based segmen-
tation and region-traking in image sequenes. Pattern Reognition, 34(3):661670, 2001.
[Badenas et al., 2001b℄ J. Badenas, M. Bober y F. Pla. Segmenting TraÆ Senes
from Gray Level and Motion Information. Pattern Analysis and Appliations
(Aeptado en julio de 2000).
[Badenas et al., 2001℄ J. Badenas, F. Pla y J.M. Sanhiz. A Computer Vision
System for Real-Time TraÆ Monitoring. Enviado al IX Simposium Naional
de Reonoimiento de Formas y Analisis de Imagen, Castellon, Espa~na, 2001.
Ap
endie A
Operadores morfologios
Las operaiones morfologias realizan modiaiones sobre la forma de las regiones. Su
aion ambia la pertenenia de los pxeles a una region atendiendo solo a propiedades
geometrias, por lo que su apliaion natural es sobre imagenes binarias, donde \1"
india pertenenia a la region, y \0" india no pertenenia.
Existen diversos operadores morfologios, sin embargo en este apendie tan solo
veremos los mas basios, aquellos que afetan diretamente a esta Tesis. Puede enontrarse una expliaion mas ompleta en la mayora de libros generales sobre vision
artiial [Low, 1991, Sonka et al., 1993, Jain et al., 1995℄.
A ontinuaion veremos los siguientes uatro operadores:
Dilataion
Erosion
Apertura
Cierre
Para poder expresar estas operaiones de una manera formal, debemos onsiderar
la imagen omo un espaio bidimensional E 2 . Cualquier punto de la imagen puede ser
tratado omo un vetor on respeto al origen (0; 0). Una region X sera un onjunto
de puntos perteneientes al espaio E 2 .
Una transformaion morfologia viene dada por la relaion entre el onjunto de
puntos X, y otro peque~no onjunto de puntos B llamado el elemento estruturante.
B se expresa on respeto a un origen loal O, llamado punto representativo.
Apliar un operador morfologio sobre una region X signia mover el elemento
B sistematiamente a traves de todos los puntos de X.
La operaion morfologia de dilataion ombina dos onjuntos de
puntos usando la adiion de vetores. La dilataion X B es el onjunto de puntos
Dilataion
152
Apendie A. Operadores morfologios
Elemento
estructurante
Elemento
estructurante
Contorno
original
de la figura
Contorno
original
de la figura
(a)
Dilataion.
(b)
Erosion.
Figura A.1: Operaiones morfologias de erosion y dilataion.
resultante de todas las posibles sumas de pares de elementos, uno de ada onjunto
X y B.
X B = fd 2 E 2 =d = x + b; 8x 2 X y 8b 2 Bg
(A.1)
La subgura A.1.a muestra el resultado de apliar un elemento estruturante de
ino pxeles a una region. Dada la forma del elemento estruturante, el resultado es
la adiion a la region de aquellos pxeles veinos situados al norte, sur, este y oeste de
algun pxel de la frontera.
La operaion morfologia de erosion es la operaion reproa de la dilataion. El resultado de la erosion son todos los puntos d para los uales todas las
posibles adiiones d + b perteneen a la region X.
Erosion
X B = fd 2 E 2 =d + b 2 X ; 8b 2 Bg
(A.2)
La subgura A.1.b muestra un ejemplo de la apliaion del mismo elemento estruturante sobre una region diferente. El resultado es la supresion de todos aquellos
pxeles de la region que se hayan en una frontera, y que no tienen uatro puntos (norte,
sur, este y oeste) alrededor que tambien pertenezan a la region.
Apertura La operaion morfologia de apertura
de una dilataion.
Æ onsiste en una erosion seguida
X Æ B = (X B) B
(A.3)
El efeto de una operaion de apertura es el de eliminar peque~nos grupos de pxeles
y uniformizar el ontorno de las regiones al suprimir salientes peque~nos.
153
La operaion morfologia de ierre es la operaion inversa a la apertura.
Consiste de una dilataion seguida por una erosion.
Cierre
X B = (X B ) B
(A.4)
Como onseuenia de esta operaion se onetan regiones eranas, se rellenan
peque~nos ahujeros y se uniformizan los ontornos al rellenar los peque~nos entrantes
de los bordes. Por supuesto, tanto en el ierre omo en la apertura los oneptos
de peque~no y erano estan relaionados on el tama~no que pueda tener el elemento
estruturante.
154
Apendie A. Operadores morfologios
Ap
endie B
El ltro de Kalman
B.1 Introduion
El ltro de Kalman fue propuesto por R.E. Kalman en 1960 [Kalman, 1960℄ omo una
soluion reursiva al problema del ltrado lineal de datos disretos. En los ultimos
a~nos, este ltro ha sido ampliamente investigado y apliado a una gran diversidad de
areas ientas, entre ellas la vision por ordenador.
El ltro onsiste en un onjunto de euaiones que proporionan una soluion
omputaionalmente eiente del metodo mnimo-uadratio. Su importania radia
en que permite realizar estimaiones de estados pasados, presentes y futuros, aun
uando la naturaleza del sistema modelado no se onoe on preision.
Lo aqu expuesto tan solo pretende ser una senilla introduion al ltro disreto de Kalman, la ual esta prinipalmente basada en [Welh y Bishop, 1997℄. En
[Maybek, 1979, Bar-Shalom y Fortman, 1988, Brown y Hwang, 1992, Jaobs, 1993℄
pueden enontrarse desripiones muho mas extensas y profundas aera de este ltro.
El objetivo del ltro de Kalman es estimar el estado x 2 Rn de un proeso ontrolado en tiempo disreto. Este proeso es gobernado por la euaion lineal:
xk+1 = Ak xk + wk ;
on una mediion z 2 Rm , tal que
zk = Hk xk + vk
(B.1)
(B.2)
En las anteriores dos euaiones, las variables wk y vk representan los ruidos del
proeso y mediion, respetivamente. Para ambos, se asume que son independientes entre si, que orresponden a ruido blano, es deir, que siguen distribuiones de
probabilidad normal de media ero.
P (w)
! N (0; Q)
156
Apendie B. El ltro de Kalman
P (v)
! N (0; R)
La matriz A n n de la euaion (B.1) relaiona el estado en el instante k on
el estado en el instante k + 1. Por su parte, la matriz H m n de la euaion (B.2)
relaiona el estado en el instante k on la mediion en el mismo instante.
Se dene x^ kjk 1 omo la estimaion a a priori en el instante k dado el onoimiento
previo a diho instante, y x^ omo la estimaion a posteriori del estado en el instante k
dada la estimaion zk . Podemos denir los errores de estimaion a priori y a posteriori
omo
ekjk 1 xk x^ kjk 1
ek xk x^ k
siendo las respetivas ovarianzas de error:
Pkjk 1 = E [ekjk 1 eTkjk 1℄
Pk = E [ek eTk ℄
La estimaion del estado a posteriori es una ombinaion lineal de la estimaion
a priori x^ kjk 1 y la diferenia entre la mediion real zk y la prediion de la mediion
Hk x^ kjk 1 .
x^ k = x^ kjk 1 + K(zk Hk x^ kjk 1 )
(B.3)
La diferenia (zk Hk x^ kjk 1) reibe el nombre de residuo y reeja la disrepania
entre la mediion predeida y la mediion real. La matriz K n n se llama la ganania
de Kalman y se alula de forma que minimie la ovarianza de error a posteriori Pk .
Kk =
Pkjk 1 HTk
Hk Pkjk 1 HTk + Rk
(B.4)
B.2 Algoritmo del ltro de Kalman
El ltro de Kalman lleva a abo la estimaion empleando una forma de ontrol realimentado: se estima el estado en un instante dado, y se realimenta el proeso mediante
las mediiones. Las euaiones del algoritmo pueden ser agrupadas en dos ategoras:
prediion y atualizaion. Las euaiones de prediion estiman el estado y la ovarianza del error atuales a partir del estado y ovarianza del instante previo.
Euaiones de prediion:
1. Proyetar el estado haia adelante
x^ kjk 1 = Ak 1 x^ k 1
(B.5)
B.2 Algoritmo del ltro de Kalman
157
Figura B.1: Cilo del algoritmo de Kalman.
2. Proyetar la ovarianza del error haia adelante
(B.6)
Pkjk 1 = Ak 1 Pk 1 ATk 1 + Qk 1
Por su parte, las euaiones de atualizaion son las que realizan la realimentaion al inorporar las nuevas mediiones a las estimaiones a priori para mejorarlas
obteniendo unas estimaiones a posteriori. Las estimaiones de atualizaion llevan a
abo una orreion en base a las mediiones que se van obteniendo.
Euaiones de atualizaion:
1. Calulo de la ganania de Kalman
Kk =
Pkjk 1 HTk
Hk Pkjk 1 HTk + Rk
(B.7)
2. Atualizaion de la estimaion mediante la mediion zk
x^ k = x^ kjk 1 + K(zk Hk x^ kjk 1)
(B.8)
3. Atualizaion de la ovarianza del error
Pk = (I Kk Hk )Pkjk 1
(B.9)
El algoritmo se iniializa on la introduion de las estimaiones iniiales de x^ kjk 1
y Pkjk 1, para as pasar a la fase de atualizaion. Una vez esta ha sido ompletada,
se iniia el proeso iterativo onsistente en la prediion seguida de la atualizaion.
158
Apendie B. El ltro de Kalman
Bibliografa
[Abdel-Malek et al., 1990℄ A. Abdel-Malek, O. Hasekioglu, y J. Bloomer. Image segmentation via motion vetor estimates. En Medial imaging IV: Image Proessing,
paginas 366{371. SPIE, 1990.
[Aggarwal y Nandhakumar, 1988℄ J.K. Aggarwal y N.N~ andhakumar. On the omputation of motion from sequene of images - a review. IEEE Transations on Pattern
Analysis and Mahine Intelligene, 3:917{935, 1988.
[Amini et al., 1990℄ A.A. Amini, T.E. Weymouth, y R.C. Jain. Using dinami programming for solving variational problems in vision. IEEE Transations on Pattern
Analysis and Mahine Intelligene, 12(9):855{867, 1990.
[Anandan, 1987℄ P. Anandan. Measuring visual motion from image sequenes. PhD
thesis, COINS Dept., Univ. of Massahusetts, Amherst, 1987.
[Arsenio y Santos-Vitor, 1997℄ A. Arsenio y J. Santos-Vitor. Ative monoular traking with temporal integration of visual ues. En 9th Portuguese Conferene on
Pattern Reognition, paginas 191{198, 1997.
[Badenas et al., 1997℄ J. Badenas, M. Bober, y F. Pla. Combining intensity and
motion-based segmentation for robust traÆ monitoring. En Proeedings of the
Conferene on Pattern Reognition and Image Analysis, Barelona, Spain, paginas
281{286, Abril 1997.
[Badenas, 1996℄ Jorge Badenas. Appliation of motion estimation and segmentation
tehniques to traÆ monitoring. Master's thesis, Master on Multimedia Tehnology
and Systems, University of Surrey, 1996.
[Ballard y Brown, 1982℄ D.H. Ballard y C.M. Brown. Computer Vision. Prentie Hall
INC, New Jersey, 1982.
[Bar-Shalom et al., 1990℄ Y. Bar-Shalom, K.C. Chang, y H.A. Blom. Automati trak
formation in lutter with a reursive algorithm. En Multitarget-Multisensor Traking: Advaned Appliations, paginas 25{42, 1990.
[Bar-Shalom y Fortman, 1988℄ Y. Bar-Shalom y T.E. Fortman. Traking and Data
Assoiation. Aademi Press, In., 1988.
160
BIBLIOGRAFIA
[Barnard y Thompson, 1980℄ S.T. Barnard y W.B. Thompson. Disparity analysis
of images. IEEE Transations on Pattern Analysis and Mahine Intelligene,
2(4):333{340, 1980.
[Barnard, 1979℄ S.T. Barnard. The image orrespondene problem. PhD thesis, University of Minnesota, 1979.
[Bartels et al., 1987℄ R. Bartels, J. Beatty, y B. Barsky. An introdution to splines
for use in omputer vision. Morgan Kaufmann, 1987.
[Battiti et al., 1991℄ R. Battiti, E. Amaldi, y C. Koh. Computing optial ow aross
multiple sales. International Journal of Computer Vision, 6(2):133{145, 1991.
[Beymer et al., 1997℄ D. Beymer, P. MLauhlan, B. Coifman, y J. Malik. A real-time
omputer vision system for measuring traÆ parameters. En Computer Vision and
Pattern Reognition, paginas 495{501, 1997.
[Bierling, 1988℄ M. Bierling. Displaement estimation by hierarhial blok-mathing.
En Visual Communiation and Image Proessing, paginas 942{951, 1988.
[Biswass y Pal, 2000℄ S. Biswass y N.R. Pal. On hierarhial segmentation for image
ompression. Pattern Reognition Letters, 21:131{144, 2000.
[Blak y Anandan, 1996℄ M.J. Blak y P. Anandan. The robust estimation of multiple
motions: Parametri and pieewise-smooth ow elds. Computer Vision and Image
Understanding, paginas 75{104, 1996.
[Blake et al., 1993℄ A. Blake, R. Curwen, y A. Zisserman. AÆne-invariant ontour
traking with automati ontrol of spatiotemporal sale. En Proeedings of the
Fourth International Conferene on Computer Vision, Berlin, May 1993, paginas
66{75, 1993.
[Blake y Isard, 1998℄ A. Blake y M. Isard. Ative ontours. Springer-Verlag, 1998.
[Bober y Kittler, 1993℄ M. Bober y J. Kittler. Estimation of omplex multi-modal
motion: An approah based on robust statistis and Hough transform. En Proeedings of the British Mahine Vision Conferene, paginas 239{248. BMVA Press,
1993.
[Bober y Kittler, 1994a℄ M. Bober y J. Kittler. Estimation of general multimodal
motion: an approah based on robust statistis and Hough transform. Image and
Vision Computing, 12(12):661{668, 1994.
[Bober y Kittler, 1994b℄ M. Bober y J. Kittler. Robust motion analysis. En Proeedings, CVPR '94 (IEEE Computer Soiety Conferene on Computer Vision and
Pattern Reognition), Seattle, June 20-24, 1994, paginas 947{952. IEEE Computer
Soiety Press, 1994.
BIBLIOGRAFIA
161
[Borshukov et al., 1997℄ G.D. Borshukov, G. Bozdagi, Y. Altunbasak, y A.M. Tekalp.
Motion segmentation by multistage aÆne lassiation. IEEE Transations on
Image Proessing, 6(11):1591{1594, 1997.
[Bouthemy y Lalade, 1993℄ P. Bouthemy y P. Lalade. Reovery of moving objets
masks in an image sequene using loal spatiotemporal ontextual information.
Optial Engineering, 32(6):1205{1212, 1993.
[Box, 1953℄ G. E. Box. Non-normality and tests on variane. Biometrika, 40:318{335,
1953.
[Brie y Fennema, 1970℄ C.R. Brie y C.L. Fennema. Sene analysis using regions.
Artiial Intelligene, 1:205{226, 1970.
[Brok-Gunn et al., 1994℄ S.A. Brok-Gunn, G.R. Dowling, y T.J. Ellis. Traking
using olour information. Tehnial report, Department of Computer Siene, City
University, London, 1994.
[Broggi y Dikmanns, 2000℄ A. Broggi y E.D. Dikmanns. Appliations of omputer
vision to intelligent vehiles. Image and Vision Computing, 18:365{366, 2000.
[Brown y Hwang, 1992℄ R.G. Brown y P.Y.C. Hwang. Introdution to Random Signals
and Applied Kalman Filtering. Wiley and Sons, In, seond edition, 1992.
[Canny, 1986℄ J.F. Canny. A omputational approah to edge detetion. IEEE Transations on Pattern Analysis and Mahine Intelligene, 8:679{698, 1986.
[Castellow et al., 1987℄ D.A. Castellow, D.W. Murray, G.L. Sott, y B.F. Buxton.
Mathing anny edgels to ompute the prinipal omponents of opti ow. En 3rd
Alvey Vision Conferene, paginas 193{200, Septiembre 1987.
[Castro y Morandi, 1987℄ E. De Castro y C. Morandi. Registration of translated and
rotated images using nite fourier transforms. IEEE Transations on Pattern Analysis and Mahine Intelligene, 9(5):700{703, Septiembre 1987.
[Chang y Aggarwal, 1991℄ Y.L. Chang y J.K. Aggarwal. 3d struture reonstrution
from an ego motion sequene using statistial estimation and detetion theory. En
IEEE Workshop in Visual Motion, paginas 268{273, 1991.
[Cho y Meer, 1997℄ K. Cho y P. Meer. Image segmentation from onsensus information. Computer Vision and Image Understanding, 68(1):72{89, Otubre 1997.
[Clarke et al., 1996℄ J.C. Clarke, S. Carlsson, y A. Zisserman. Deteting and traking
linear features eÆiently. En 7th British Mahine Vision Conferene, 1996.
[Cohen y Cohen, 1993℄ L.D. Cohen y I. Cohen. Finite-element methods for ative
ontour models and balloons for 2-d and 3-d images. IEEE Transations on Pattern
Analysis and Mahine Intelligene, 15(11):1131{1147, 1993.
162
BIBLIOGRAFIA
[Coleman y Andrews, 1979℄ G.B. Coleman y H.C. Andrews. Image segmentation by
lustering. IEEE, 67(5):773{785, 1979.
[Cootes et al., 1995℄ T.F. Cootes, C.J. Taylor, D.H. Cooper, y J. Graham. Ative
shape models { their training and appliation. Computer Vision and Image Understanding, 61(1):38{59, 1995.
[Cox y Leonard, 1991℄ I.J. Cox y J.J. Leonard. Probabilisti data assoiation for dynami world modeling: a multiple hypothesis approah. En International Conferene on Advaned Robotis, Pisa, Italy, 1991.
[Cox, 1993℄ I.J. Cox. A review of statisitial data assoiation tehniques for motion.
International Journal of Computer Vision, 10(1):53{66, 1993.
[Derihe y Faugeras, 1990℄ R. Derihe y O. Faugeras. Traking line segments. Image
and Vision Computing, 8(4):261{270, 1990.
[Diehl, 1991℄ N. Diehl. Objet-oriented motion estimation and segmentation in image
sequenes. Signal Proessing: Image Communiation, 3:23{56, 1991.
[Donohoe et al., 1988℄ G.W. Donohoe, D.R. Hush, y N. Ahmed. Change detetion
for target detetion and lassiation in video sequenes. En Proeedings of the
International Conferene on Aoustis, Speeh and Signal Proessing, paginas 1084{
1087, New York, 1988.
[Dubuisson et al., 1996℄ M.P. Dubuisson, S. Lakshmanan, y A.K. Jain. Vehile segmentation and lassiation using deformable templates. IEEE Transations on
Pattern Analysis and Mahine Intelligene, 18(3):293{308, 1996.
[Dubuisson y Jain, 1995℄ M.P. Dubuisson y A.K. Jain. Contour extration of moving
objets in omplex outdoor senes. International Journal of Computer Vision,
14:83{105, 1995.
[Eghbali, 1979℄ H.J. Eghbali. K-s test for deteting hanges from landsat imagery
data. IEEE Transations on Systems, Man and Cybernetis, 9(1):17{23, 1979.
[Elder y Zuker, 1996℄ J.H. Elder y S.W. Zuker. Computing ontour losure. En
4th European Conferene on Computer Vision, paginas 399{412, Cambridge, U.K.,
Abril 1996.
[Enkelmann, 1988℄ W. Enkelmann. Investigations of multigrid algorithms for the estimation of optial ow elds in image sequenes. Computer Vision, Graphis and
Image Proessing, 43:150{177, 1988.
[Erkam et al., 1993℄ Y.M. Erkam, M.I. Sezan, y A.T. Erdem. A hierarhial phaseorrelation method for motion estimation. En Conferene on Information Siene
and Systems, paginas 419{424, Baltimore, Mar. 1993.
BIBLIOGRAFIA
163
[Fathy y Siyal, 1997℄ M. Fathy y M.Y. Siyal. Measuring traÆ movements at juntions using image proesing tehniques. Pattern Reognition Letters, 8:493{500,
1997.
[Faugeras, 1993℄ O. Faugeras. Three-Dimensional Computer Vision. A Geometri
Viewpoint. The MIT Press, 1993.
[Feldman y Yakimovsky, 1974℄ J.A. Feldman y Y. Yakimovsky. Deision theory and
artial intelligene: I.a. semantis-based region analyser". Artiial Intelligene,
5(4):349{371, 1974.
[Fernyhough et al., 1996℄ J.H. Fernyhough, A.G. Cohn, y D.C. Hogg. Generation of
semanti regions from image sequenes. En Jan-Olof Eklundh, editor, 7th European Conferene on Computer Vision, paginas 475{484, Cambridge, Abril 1996.
Springer-Verlag.
[Ferrier et al., 1994℄ N.J. Ferrier, S.M. Rowe, y A. Blake. Real-time traÆ monitoring.
En Proeedings, 2nd IEEE Workshop on Appliations of Computer Vision, paginas
81{87, 1994.
[Ferryman et al., 1995℄ J.M. Ferryman, A. D. Worrall, G.D. Sullivan, y K.D. Baker.
A generi deformable model for vehile reognition. En Proeedings of the British
Mahine Vision Conferene, paginas 128{136. BMVA Press, 1995.
[Fleet y Jepson, 1990℄ D.J. Fleet y A.D. Jepson. Computation of omponent image
veloity from loal phase information. International Journal of Computer Vision,
5:77{104, 1990.
[Fleet, 1992℄ D.J. Fleet. Measurement of Image Veloity. Kluwer Aademi Publishers, 1992.
[Flusser, 1992℄ J. Flusser. An adaptative method for image registration. Pattern
Reognition, 38:45{54, 1992.
[Fortmann et al., 1983℄ T.E. Fortmann, Y. Bar-Shalom, y M. Shee. Multi-target
traking using joint probabilisti data assoiation. IEEE Jounal on Oeani Engineering, 8:173.184, 1983.
[Frank et al., 1996℄ T. Frank, M. Haag, H. Kollnig, y H-H. Nagel. Traking of oluded
vehiles in traÆ senes. En Jan-Olof Eklundh, editor, 7th European Conferene
on Computer Vision, paginas 485{494, Cambridge, Abril 1996. Springer-Verlag.
[Gamba et al., 1997℄ P. Gamba, R. Lodola, y A. Meoi. Sene interpretation by
fusion of segment and region information. Image and Vision Computing, 15:499{
509, 1997.
[Gardner y Lawton, 1996℄ W.F. Gardner y D.T. Lawton. Interative model-based
vehile traking. IEEE Transations on Pattern Analysis and Mahine Intelligene,
11:1115{1121, 1996.
164
BIBLIOGRAFIA
[Gelgon y Bouthemy, 2000℄ M. Gelgon y P. Bouthemy. A region-level motion-based
graph representation and labeling for traking a spatial image partition. Pattern
Reognition, 33:725{740, 2000.
[Gerard y Gagalowiz, 2000℄ P. Gerard y A. Gagalowiz. Three dimensional modelbased traking using texture learning and mathing. Pattern Reognition Letters,
21:1095{1103, 2000.
[Gharavi y Mills, 1990℄ H. Gharavi y M. Mills. Blok-mathing motion estimation
algorithms: New results. IEEE Transations on Ciruits and Systems, 37:649{651,
1990.
[Giahetti et al., 1995℄ A. Giahetti, M. Cappello, y V. Torre. Dynami segmentation
of traÆ senes. En IEEE International Vehiles Symposium, paginas 258{263,
1995.
[Giahetti, 2000℄ A. Giahetti. Mathing teniques to ompute image motion. Image
and Vision Computing, 18(3):247{260, 2000.
[Gibson, 1950℄ J.J. Gibson. The pereption of the visual world. Houghton Miin,
Boston, MA, 1950.
[Gil et al., 1994℄ S. Gil, R. Milanese, y T. Pun. Feature seletion for objet traking in traÆ senes. En International Symposium on Smart Highways, Boston,
Massahusetts, 1994. SPIE.
[Gil et al., 1996℄ S. Gil, R. Milanese, y T. Pun. Combining multiple estimates for vehile traking. En Jan-Olof Eklundh, editor, 7th European Conferene on Computer
Vision, paginas 307{320, Cambridge, Abril 1996. Springer-Verlag.
[Gil y Pun, 1993℄ S. Gil y T. Pun. Non-linear multiresolution relaxation for alerting.
En Proeedings of the European Conferene on Ciruit Theory and Design, paginas
1639{1644, 1993.
[Gokmen y Li, 1990℄ M. Gokmen y C.C. Li. Edge detetion with iteratively rened
regularization. En 10th International Conferene on Pattern Reognition, paginas
690{693, 1990.
[Gong y Brady, 1990℄ S. Gong y M. Brady. Parallel omputation of opti ow. En
O. Faugeras, editor, 1st European Conferene on Computer Vision, paginas 124{
133, 1990.
[Gonzalez y Wintz, 1977℄ R.C. Gonzalez y P. Wintz. Digital Image Proessing.
Addison-Wesley, 1977.
[Gross y Rosenfeld, 1987℄ A.D. Gross y A. Rosenfeld. Multiresolution objet detetion
and delineation. Computer Vision, Graphis and Image Proessing, 39:102{115,
1987.
BIBLIOGRAFIA
165
[Gupta y Sortrakul, 1998℄ L. Gupta y T. Sortrakul. A gauxian-mixture-based image
segmentation algorithm. Pattern Reognition, 31(3):315{325, 1998.
[Haag y Nagel, 1998℄ M. Haag y H-H. Nagel. Traking of omplex driving manoeuvres
in traÆ image sequenes. Image and Vision Computing, 16:517{527, 1998.
[Haag y Nagel, 1999℄ M. Haag y H-H. Nagel. Combination of edge element and optial ow estimates for 3d-model-based vehile traking in traÆ image sequenes.
International Journal of Computer Vision, 35(3):295{319, 1999.
[Haag y Nagel, 2000℄ M. Haag y H-H. Nagel. Inremental reognition of traÆ situations from video image sequenes. Image and Vision Computing, 18(2):137{153,
2000.
[Hampel, 1968℄ F. R. Hampel. Contributions to the theory of robust estimation. PhD
thesis, Univ. of California, Berkeley, 1968.
[Haskell et al., 1972℄ B. Haskell, F. Mounts, y J. Candy. Interframe oding of videotelephone pitures. En Proeedings of the IEEE, volumen 60, paginas 792{302,
1972.
[Hassan, 1989℄ M.H. Hassan. A lass of iterative thresholding algorithms for realtime image segmentation. En Seventh Meeting of Intelligene Robots and Computer
Vision, paginas 182{193, 1989.
[Haubeker y Spies, 1999℄ H. Haubeker y H. Spies. Motion. En Jahne et al. [1999℄,
aptulo 13, paginas 309{396.
[Heeger, 1988℄ D.J. Heeger. Optial ow using spatiotemporal lters. International
Journal of Computer Vision, 1:279{302, 1988.
[Heitz y Bouthemy, 1993℄ F. Heitz y P. Bouthemy. Multimodal estimation of disontinuous optial ow using markov random elds. IEEE Transations on Pattern
Analysis and Mahine Intelligene, 15:1217{1232, 1993.
[Herman y Liu, 1978℄ G.T. Herman y H.K. Liu. Dynami boundary surfae detetion.
Computer Graphis and Image Proessing, 7:130{138, 1978.
[Hildreth, 1984℄ E.C. Hildreth. Computations underlying the measurement of visual
motion. Artiial Intelligene, 23:309{354, 1984.
[Holden, 1993℄ M. Holden. Parallel Algotithms for Digital Image Proessing. John
Wiley and Sons, 1993.
[Hong et al., 1980℄ T.H. Hong, C.R. Dyer, y A. Rosenfeld. Texture primitive extration using an edge-based approah. IEEE Transations on Systems, Man and
Cybernetis, 10(10):659{675, 1980.
166
BIBLIOGRAFIA
[Hong, 1982℄ T.H. Hong. Image smoothing and segmentation by multiresolution pixel
linking further experimets. IEEE Transations on Systems, Man and Cybernetis,
12(5):611{622, 1982.
[Horn y Shunk, 1981℄ B.K.P. Horn y B.G. Shunk. Determining optial ow. Artiial Intelligene, 17:185{203, 1981.
[Horn, 1986℄ B.K.P. Horn. Robot Vision. MIT Press, 1986.
[Horowitz y Pavlidis, 1974℄ S.L. Horowitz y T. Pavlidis. Piture segmentation by a
direted split-and-merge proedure. En Seond International Joint Conferene on
Pattern Reognition, paginas 424{433, 1974.
[Horowitz y Pavlidis, 1976℄ S.L. Horowitz y T. Pavlidis. Piure segmentation by a
tree transversal algorithm. Journal of the ACM, 23:368{388, 1976.
[Hotter y Thoma, 1988℄ M. Hotter y R. Thoma. Image segmentation based on objet
oriented mapping parameter estimation. Signal Proessing, 15:315{334, 1988.
[Hsu et al., 1984℄ Y.Z. Hsu, H-H. Nagel, y G. Rekers. New likelihood test methods
for hange detetion in image sequenes. Computer Vision, Graphis and Image
Proessing, 26:73{106, 1984.
[Huber, 1964℄ P.J. Huber. Robust estimation of a loation parameter. Annals of
Mathematial Statistis, 35:73{101, 1964.
[Ip y Shen, 1998℄ H.H.S. Ip y D. Shen. An aÆne-invariant ative ontour model (aisnake) for model-based segmentation. Image and Vision Computing, 16:135{146,
1998.
[Irani et al., 1992℄ M. Irani, B. Rousso, y S. Peleg. Deteting and traking multiple
moving objets using temporal integration. En G. Sandini, editor, Proeedings, Seond European Conferene on Computer Vision, (Santa Margherita Ligure), paginas
282{287. Springer-Verlag, Mayo 1992.
[Isard y Blake, 1996℄ M. Isard y A. Blake. Contour traking by stohasti propagation
of onditional density. En Jan-Olof Eklundh, editor, 7th European Conferene on
Computer Vision, paginas 343{356, Cambridge, Abril 1996. Springer-Verlag.
[Jaobs, 1993℄ O.L.R. Jaobs. Introdution to Control Theory. Oxford University
Press, seond edition, 1993.
[Jahne et al., 1999℄ B. Jahne, H. Haubeker, y P. Geibler, editores. Handbook of omputer vision and appliations. Aademi Press, 1999.
[Jain et al., 1995℄ R. Jain, R. Kasturi, y B.G. Shunk. Mahine Vision. Computer
Siene. MGraw-Hill International, 1995.
BIBLIOGRAFIA
167
[Jain et al., 1996℄ A.K. Jain, Y. Zhong, y S. Lakshmman. Objet mathing using
deformable templates. IEEE Transations on Pattern Analysis and Mahine Intelligene, 18(3):267{278, 1996.
[Jain y Jain, 1981℄ J.R. Jain y A.K. Jain. Displaement measurement and its appliation in interframe image oding. IEEE Transations on Communiation, 29:1799{
1808, 1981.
[Jain, 1985℄ R.C. Jain. Dynami sene analisys. En Progress in Pattern Reognition,
paginas 125{167, 1985.
[Jain, 1989℄ A.K. Jain. Fundamental of Digital Image Proessing. Information and
System Sienes. Prentie Hall, In, New Jersey, 1989.
[Jang et al., 1997℄ D-S. Jang, G-Y. Kim, y H-I. Choi. Model-based traking of moving
objet. Pattern Reognition, 30(6):999{1008, 1997.
[Jang y Choi, 2000℄ D-S. Jang y H-I. Choi. Ative models for traking moving objets.
Pattern Reognition, 33:1135{1146, 2000.
[Jolly et al., 1996℄ M.D. Jolly, S. Lakshmanan, y A.K. Jain. Vehile segmentation and
lassiation using deformable templates. IEEE Transations on Pattern Analysis
and Mahine Intelligene, 18(3):292{308, 1996.
[Kalman, 1960℄ R.E. Kalman. A new approah to linear ltering and predition problems. Transation of the ASME- Journal of Basi Engineering, paginas 35{45,
Marzo 1960.
[Karmann y von Brandt, 1990℄ K-P. Karmann y A. von Brandt. Moving objet reognition using an adaptative bakground memory. En V. Cappellini, editor, TimeVaring Image Proessing and Moving Objet Reognition, volumen 2. Elsevier, Amsterdam, The Nederlands, 1990.
[Kass et al., 1988℄ M. Kass, A. Witkin, y D. Terzopoulos. Snakes: Ative ontour
models. International Journal of Computer Vision, 1:321{331, 1988.
[Kervrann y Heitz, 94℄ C. Kervrann y F. Heitz. Robust traking of stohasti deformable models in long image sequenes. En International Conferene on Image
Proessing, volumen 3, paginas 88{92, 94.
[Kilger, 1992℄ M. Kilger. A shadow handler in a video-based real-time traÆ monitoring system. En IEEE Workshop on Appliations of Computer Vision, paginas
1060{1066, Palm Springs, CA, 1992.
[Kittler et al., 1987℄ J. Kittler, J. Eggleton, J. Illingworth, y K. Paler. An average
edge detetor. Pattern Reognition Letters, 6:27{32, 1987.
[Kittler y Illingworth, 1986℄ J. Kittler y J. Illingworth. Minimum error thresholding.
Pattern Reognition, 19:41{47, 1986.
168
BIBLIOGRAFIA
[Klausmann et al., 1999℄ P. Klausmann, K. Kroshel, y D. Willersinn. Performane
predition of vehile detetion algorithms. Pattern Reognition, 32:2063{2065, 1999.
[Koller et al., 1993℄ D. Koller, K. Daniilidis, y H.H. Nagel. Model-based objet traking in monoular image sequenes of road traÆ senes. International Journal of
Computer Vision, 10:257 {281, 1993.
[Koller et al., 1994a℄ D. Koller, J. Weber, T. Huang, J. Malik, G. Ogasawara, B. Rao,
y S. Russel. Towards robust automati traÆ senes analysis in real-time. En 12th
International Conferene on Pattern Reognition, paginas 126{131, 1994.
[Koller et al., 1994b℄ D. Koller, J. Weber, y J. Malik. Robust multiple ar traking
with olusion reasoning. En Jan-Olof Eklundh, editor, Proeedings, 5th European
Conferene on Computer Vision, Berlin, paginas 189{196. Springer-Verlag, 1994.
[Koller, 1993℄ D. Koller. Moving objet reognition and lassiation based on reursive shape parameter estimation. En 12th Israel Conferene on Artiial Intelligene,
Computer Vision and Neural Networks, paginas 359{368, Diiembre 1993.
[Kottke y Sun, 1994℄ D.P. Kottke y Y. Sun. Motion estimation via luster mathing.
IEEE Transations on Pattern Analysis and Mahine Intelligene, 16:1128{1132,
1994.
[Lavagetto, 1990℄ F. Lavagetto. Infrared image segmentation through iterative thresholding. En Real-Time Image Proessing II, paginas 29{38. The International
Soiety for Optial Engineering, 1990.
[Lee y Chen, 1997℄ C-H. Lee y L-H. Chen. A fast motion estimation algorithm based
on the blok sum pyramid. IEEE Transations on Image Proessing, 6(11):1587{
1591, 1997.
[Lef y Joshi, 1993℄ C-H. Lef y A. Joshi. Correspondene problem in image sequene
analysis. Pattern Reognition, 26:47{61, 1993.
[Leymarie y Levine, 1993℄ F. Leymarie y M.D. Levine. Traking deformable objets
in the plane using an ative ontour model. IEEE Transations on Pattern Analysis
and Mahine Intelligene, 15:617{634, 1993.
[Li y Chakrabarti, 1996℄ H-L Li y C. Chakrabarti. Motion estimation of twodimensional objets based on the straight line hough transform: a new approah.
Pattern Reognition, 29(8):1245{1258, 1996.
[Liu et al., 1998℄ H. Liu, T-H. Hong, M. Herman, y R. Chellappa. Motion-modelbased boundary extration and a real-time implementation. Computer Vision and
Image Understanding, 70(1):87{100, 1998.
[Liu y Huang, 1991℄ Y. Liu y T.S. Huang. Determining straight line orrespondenes
from intensity images. Pattern Reognition, 24(6):489{504, 1991.
BIBLIOGRAFIA
169
[Low, 1991℄ A. Low. Introdutory Computer vision and Image Proessing. MGrawHill, 1991.
[Mae et al., 1996℄ Y. Mae, Y. Shirai, J. Miura, y Y. Kuno. Objet traking in luttered
bakground based on optial ow and edges. En 13th International Conferene on
Pattern Reognition, paginas 196{200, 1996.
[Maravall, 1993℄ D. Maravall. Reonoimiento de Formas y Vision Artiial. Paradigma. RA-MA, 1993.
[Mardia y Hainsworth, 1988℄ K.V. Mardia y T.J. Hainsworth. A spatial thresholding
method for image segmentation. IEEE Transations on Pattern Analysis and Mahine Intelligene, 10:919{927, 1988.
[Matthies y Kanade, 1989℄ L. Matthies y T. Kanade. Kalman lter-based algorithms
for estimating depht from image sequenes. International Journal of Computer
Vision, 3:209{236, 1989.
[Maybank et al., 1996℄ S.J. Maybank, A.D. Worral, y G.D. Sullivan. A lter for visual
traking based on a stohasti model for driver behaviour. En Jan-Olof Eklundh,
editor, 4th European Conferene on Computer Vision, paginas 540{549, Cambridge,
U.K., April 1996. Springer-Verlag.
[Maybek, 1979℄ P.S. Maybek. Stohasti Models, Estimation and Control. Aademio Press, In, 1979.
[MLauhlan et al., 1992℄ P. MLauhlan, I. Reid, y D.W. Murray. Coarse image
motion for saade ontrol. En Proeedings of the 3rd British Mahine Vision
Conferene. BMVA Press, 1992.
[MLauhlan y Malik, 1997℄ P. MLauhlan y J. Malik. Vision for longitudinal vehile
ontrol. En Proeedings of the British Mahine Vision Conferene, paginas 260{269.
BMVA Press, 1997.
[Medioni y Nevatia, 1984℄ G. Medioni y R.N~ evatia. Mathing images using linear features. IEEE Transations on Pattern Analysis and Mahine Intelligene, 6(6):675{
685, 1984.
[Mehrotra, 1998℄ R. Mehrotra. Establishing motion-based feature point orrespondene. Pattern Reognition, 31(1):23{30, 1998.
[Metaxas y Terzopoulos, 1993℄ D. Metaxas y D. Terzopoulos. Shape and nonrigid
motion estimation through physis-based synthesis. IEEE Transations on Pattern
Analysis and Mahine Intelligene, 15:580{591, 1993.
[Meyer y Bouthemy, 1994℄ F. Meyer y P. Bouthemy. Region-based traking ussing
aÆne motion models in long image sequenes. Computer Vision, Graphis and
Image Proessing, 60(2):119{140, 1994.
170
BIBLIOGRAFIA
[Milgram, 1979℄ D.L. Milgram. Region extration using onvergent evidene. Computer Graphis and Image Proessing, 11:1{12, 1979.
[Mitihe y Bouthemy, 1996℄ A. Mitihe y P. Bouthemy. Computation and analisys of
image motion: a synopsis of urrent problems and methods. International Journal
of Computer Vision, 19(1):29{55, 1996.
[Moreeld, 1977℄ C.L. Moreeld. Appliation of 0-1 integer programming to multitarget traking problems. IEEE Transations on Automati Control, 22(6):302{312,
1977.
[Muerle y Allen, 1968℄ J.L. Muerle y D.C. Allen. Experimental evaluation of tehniques for automati segmentation of objets in a omplex sene. En G.C. Cheng,
editor, Pitorial Pattern Reognition, paginas 3{13. Thompson, Washington, 1968.
[Murray et al., 1987℄ D.W. Murray, S.A. Castellow, y B.F. Buxton. From an image sequene to a reognized polyhedral objet. En 3rd Alvey Vision Conferene,
paginas 201{210, 1987.
[Murray y Buxton, 1989℄ D.W. Murray y B.F. Buxton. Sene segmentation form visual motion using global optimization. IEEE Transations on Pattern Analysis and
Mahine Intelligene, 9(2):200{228, 1989.
[Nagel y Enkelmann, 1984℄ H.H. Nagel y W. Enkelmann. Towards the estimation of
displaement vetor elds by \oriented smoothness" onstraints. En Seventh International Conferene on Pattern Reognition (Montreal, Canada, July 30-August 2,
1984), IEEE Publ. 84CH2046-1, paginas 6{8. IEEE, 1984.
[Nagel y Enkelmann, 1986℄ H.H. Nagel y W. Enkelmann. An investigation of smoothness onstraints for the estimation of displaement vetor elds from image sequenes. IEEE Transations on Pattern Analysis and Mahine Intelligene, 8:565{593,
1986.
[Nagel, 1981℄ H-H. Nagel. Image sequene analysis: What an we learn from appliations? En T.S. Huang y S. Thomas, editores, Image Sequene Analysis, aptulo 2.
Springer-Verlag, 1981.
[Nagel, 1983a℄ H-H. Nagel. Overview on image sequene analysis. En T.S. Huang, editor, Image Sequene Proessing and Dynami Sene Analysis, volumen 2 de NATO
ASI Series, Computer and Systems Sienes. Springer-Verlag, 1983.
[Nagel, 1983b℄ H.H. Nagel. Displaement vetors derived from seond order intensity
variations in image sequenes. Computer Vision, Graphis and Image Proessing,
21:85{117, 1983.
[Nagel, 1987℄ H-H. Nagel. On the estimation of opti ow: Relations between dierent
approahes and some new results. Artiial Intelligene, 33:299{324, 1987.
BIBLIOGRAFIA
171
[Nagel, 1990℄ H.H. Nagel. Extending the \oriented smoothness onstraint" into the
temporal domain and the estimation of derivatives of optial ow. En O. Faugeras, editor, Proeedings, First European Conferene on Computer Vision, Antibes,
Frane, paginas 139{148. Springer-Verlag, Abril 1990.
[Nakaya y Harashima, 1994℄ Y.N~ akaya y H. Harashima. Motion ompensation based
on spatial transformations. IEEE Transations on Video Tehnology, 4:339{356,
1994.
[Nelson, 1991℄ R.C. Nelson. Qualitative detetion of motion by a moving observer. En
Conferene on Computer Vision and Pattern Reognition, paginas 173{178, 1991.
[Nesi, 1993℄ P.N~ esi. Variational approah to optial ow estimation managing disontinuities. Image and Vision Computing, 11(7):419{439, Septiembre 1993.
[Oh y Lee, 2000℄ H-S. Oh y H-K. Lee. Blok-mathing algorithm based on an adaptative redution of the searh area for motion estimation. Real-Time Imaging,
6:407{414, 2000.
[Ong y Spann, 1995℄ E. Ong y M. Spann. Robust omputation of optial ow. En
Proeedings of the British Mahine Vision Conferene, paginas 573{582. BMVA
Press, 1995.
[Overington, 1987℄ I. Overington. Gradient-based ow segmentation and loation of
the fous of expansion. En 3rd Alvey Vision Conferene, paginas 167{177, 1987.
[Pal y Pal, 1993℄ N.R. Pal y S.K. Pal. A review on image segmentation tehniques.
Pattern Reognition, 26(9):1277{1294, 1993.
[Park y Han, 1997℄ J.S. Park y J.H. Han. Estimating optial ow by traking ontours. Pattern Reognition Letters, 18:641{648, 1997.
[Park y Han, 1998℄ J.S. Park y J.H. Han. Contour motion estimation from image
sequenes using urvature information. Pattern Reognition, 31(1):31{39, 1998.
[Peterfreund, 1999℄ N. Peterfreund. Robust traking of position and veloity with
kalman snakes. IEEE Transations on Pattern Analysis and Mahine Intelligene,
21(6):564{569, Junio 1999.
[Pietikainen et al., 1982℄ M. Pietikainen, A. Rosenfeld, y I. Walter. Split-and-link
algorithms for image segmentation. Pattern Reognition, 15(4):287{298, 1982.
[Pla y Bober, 1997℄ F. Pla y M. Bober. Estimating translation/deformation motion
through phase orrelation. En Proeedings, International Conferene on Image
Analysis and Proessing, Florene, Italy, September 1997, paginas 653{660. IAPR,
1997.
[Pratt, 1991℄ W.K. Pratt. Digital Image Proessing. Wiley-Intersiene. John Wiley
and sons, in, seond edition, 1991.
172
BIBLIOGRAFIA
[Radeva et al., 1995℄ P. Radeva, J. Serrat, y E. Marti. A snake for model-based segmentation. En International Conferene on Computer Analysis and Image Proessing, Prage, Czeh Republi, 1995.
[Radeva y Marti, 1995℄ P. Radeva y E. Marti. An improved model of snakes for modelbased segmentation. En International Conferene on Computer Analysis and Image
Proessing, Prage, Czeh Republi, 1995.
[Rao, 1992℄ B. Rao. Data assoiation methods for traking systems. En A. Blake y
A. Yuille, editores, Ative Vision, aptulo 6, paginas 91{105. MIT Press, 1992.
[Reid, 1979℄ D.B. Reid. An algorithm for traking multiple targets. IEEE Transations on Automati Control, 24:843{854, 1979.
[Remagnino et al., 1997℄ P. Remagnino, A. Baumberg, T. Grove, D. Hogg, T. Tan,
A. Worral, y K. Baker. An integrated traÆ and pedestrian model-based vision
system. En Proeedings of the British Mahine Vision Conferene, paginas 380{
389. BMVA Press, 1997.
[Revol y Jourlin, 1997℄ C. Revol y M. Jourlin. A new minimum variane region growing algorithm for image segmentation. Pattern Reognition Letters, 18:249{258,
1997.
[Roberts, 1977℄ L.G. Roberts. Mahine pereption of three-dimensional solids. En
J.K. Aggarwal, R.O. Duda, y A. Rosenfeld, editores, Computer Methods in Image
Analysis. IEEE Computer Soiety, Los Alamitos, California, 1977.
[Robertson et al., 1973℄ T.V. Robertson, P.H. Swain, y K.S. Fu. Multispetral image partitioning. Tehnial Report TR-EE-73-26, Shool of Eletrial Engineering,
Purdue University, August 1973.
[Rosenfeld y Kak, 1982℄ A. Rosenfeld y A.C. Kak. Digital Piture Proessing. Computer Siene and Applied Mathematis. Aademi Press, seond edition, 1982.
[Russ, 1995℄ J.C. Russ. The Image Proessing Handbook. CRC Press, seond edition,
1995.
[Saber et al., 1997℄ E. Saber, A.M. Tekalp, y G. Bozdagi. Fusion of olor and edge
information for improved segmentation and edge linking. Image and Vision Computing, 15:769{780, 1997.
[Sahoo et al., 1988℄ P.K. Sahoo, S. Soltani, A.K.C. Wong, y Y.C. Chen. Survey
of thresholding tehiniques. Computer Vision, Graphis and Image Proessing,
41(2):233{260, 1988.
[Sarigianidis y Pyok, 1993℄ G.H. Sarigianidis y D. Pyok. Motion orrespondene
using a neural network. En Proeedings of the British Mahine Vision Conferene,
paginas 649{658. BMVA Press, 1993.
BIBLIOGRAFIA
173
[Shunk, 1989℄ B.G. Shunk. Image ow segmentation and estimation by onstraint
line lustering. IEEE Transations on Pattern Analysis and Mahine Intelligene,
11:1010 { 1027, 1989.
[Sott, 1987℄ G.L. Sott. Four-line method of loally estimating opti ow. Image and
Vision Computing, 5(2):67{72, 1987.
[Seferedis y Ghanbari, 1993℄ V. Seferedis y M. Ghanbari. General approah to blokmathing motion estimation. Optial Engineering, 32:1464{1474, 1993.
[Segen y Pingali, 1996℄ J. Segen y S. Pingali. A amera-based system for traking
people in real time. En Proeedings of the 13th International Conferene on Pattern
Reognition, paginas 63{67, Viena, 1996. IEEE Computer Soiety Press.
[Sethi y Jain, 1987℄ I.K. Sethi y R. Jain. Finding trajetories of feature points in a
monoular image sequene. IEEE Transations on Pattern Analysis and Mahine
Intelligene, 9(1):56{73, 1987.
[Shapiro et al., 1995℄ V. Shapiro, I. Bakalov, y V. Kavardjikov. Motion analysis
via interframe point orrespondene establisment. Image and Vision Computing,
13(2):111{118, 1995.
[Shapiro, 1995℄ L.S. Shapiro. AÆne Analysis of Image Sequenes. Cambridge University Press, 1995.
[Singh, 1990℄ A. Singh. An estimation-theoreti framework for image-ow omputation. En International Conferene on Computer Vision, Osaka, paginas 168{177,
Diiembre 1990.
[Singh, 1992℄ A. Singh. Opti Flow Computation: A Unied Perspetive. IEEE Computer Soiety Press, Los Alamitos, CA, 1992.
[Siyal et al., 2000℄ M.Y. Siyal, M. Fathi, y M. Atiquzzaman. A parallel pipeline based
multiproessor system for real-time measurement of road traÆ parameters. Real
Time Imaging, 6:241{249, 2000.
[Smith y Brady, 1995℄ S.M. Smith y J.M Brady. Asset-2{ real-time motion segmentation and shape traking. IEEE Transations on Pattern Analysis and Mahine
Intelligene, 17:814{820, 1995.
[Smith y Buehler, 1975℄ P.L. Smith y G. Buehler. A branhing algorithm for disriminating and traking multiple objets. IEEE Transations on Automati Control,
20:101{104, 1975.
[Smith, 1995℄ S.M. Smith. Asset-2{ real-time motion segmentation and shape traking. Tehnial Report TR95SNS2b, Defene Researh Ageny, UK, 1995.
174
BIBLIOGRAFIA
[Snyder y Rajala, 1983℄ W.E. Snyder y S.A. Rajala. Trak aquisition of sub-pixel
targets. En T.S. Huang, editor, Image Sequene Proessing and Dynami Sene
Analysis, volumen 2 de Computer and System Sienes, paginas 502{507. SpringerVerlag, 1983.
[Song et al., 1990℄ S. Song, M. Liao, y J. Qin. Multiresolution image dynami thresholding. Mahine Vision and Appliations, 3(1):13{16, 1990.
[Sonka et al., 1993℄ M. Sonka, V. Hlava, y R. Boyle. Image Proessing, Analisys and
Mahine Vision. Chapman & Hall Computing, 1993.
[Stark y Ihle, 1997℄ K. Stark y T. Ihle. Visual traking of solid objets based on an
ative ontour model. En Proeedings of the British Mahine Vision Conferene,
paginas 640{649. BMVA Press, 1997.
[Steward et al., 1994℄ B.D. Steward, I. Reading, M.S. Thomson, T.D. Binnie, K.W.
Dikinson, y C.L. Wan. Adaptative lane nding in road traÆ image analysis. En
Proeedings of the 7th International Conferene on Real TraÆ, paginas 133{136,
1994.
[Sudhir et al., 1997℄ G. Sudhir, S. Banerjee, y A. Zisserman. Finding point orrespondenes in motion sequenes preserving aÆne struture. Computer Vision and
Image Understanding, 68(2):237{246, 1997.
[Tabb y Ahuja, 1994℄ M. Tabb y N. Ahuja. A multisale region-based approah to
image mathing. IEEE Transations on Pattern Analysis and Mahine Intelligene,
paginas 415 { 419, 1994.
[Tan et al., 1991℄ T.N. Tan, G.D. Sullivan, y K.D. Baker. A struture from onstrained motion using point orrespondenes. En Proeedings of the British Mahine
Vision Conferene, paginas 301{309. BMVA Press, 1991.
[Tan et al., 1994℄ T.N. Tan, G.D. Sullivan, y K.D. Baker. Fast vehile loalisation
and reognition without line extration and mathing. En Proeedings of the British
Mahine Vision Conferene, paginas 85{94. BMVA Press, 1994.
[Tan et al., 1998℄ T.N. Tan, G.D. Sullivan, y K.D. Baker. Model-based loalisation
and reognition of road vehiles. International Journal of Computer Vision, 27(1):5{
25, 1998.
[Teal y Ellis, 1996℄ M.K. Teal y T.J. Ellis. Spatial-temporal reasoning on objet motion. En Proeedings of the British Mahine Vision Conferene, paginas 465{474.
BMVA Press, 1996.
[Tekalp, 1995℄ A.M. Tekalp. Digital video proessing. Prentie Hall, 1995.
[Terzopoulos y Szeliski, 1992℄ D. Terzopoulos y R. Szeliski. Ative Vision. MIT Press,
1992.
BIBLIOGRAFIA
175
[Thevenaz, 1990℄ P. Thevenaz. Motion analysis. En Pattern Reognition and Image
Proessing in Physis, paginas 129{166. Sottish Universities Summer Shool in
Physis, 1990.
[Thompson y Pong, 1987℄ W.B. Thompson y T.C. Pong. Deteting moving objets.
En 1st International Conferene on Computer Vision, paginas 201{208, 1987.
[Torr y Murray, 1993℄ P.H.S. Torr y D.W. Murray. Statistial detetion of independent movement from a moving amera. Image and Vision Computing, 11(4):180{
187, 1993.
[Tsai et al., 1993℄ C.T. Tsai, T.N. Sun, y P.C. Chung. Minimizing the energy of ative
ontour model using a hopeld network. IEE Proessongs Part E: Computers and
Digital Tehniques, 140(6):297{303, 1993.
[Verri y Poggio, 1987℄ A. Verri y T. Poggio. Against quantitative optial ow. En
First International Conferene on Computer Vision, (London, England, June 8- 11, 1987), paginas 171{180, Washington, DC., 1987. IEEE Computer Soiety Press.
[Wang y Adelson, 1994℄ J.Y.A. Wang y E.H. Adelson. Representing moving images
with layers. IEEE Transations on Image Proessing, 3:625{638, Septiembre 1994.
[Wang y Brady, 1990℄ H. Wang y J.M. Brady. A fast algorithm for omputing opti
ow and its implementation on a transputer array. En 1st British Mahine Vision
Conferene, paginas 175{180, 1990.
[Waterfall y Dikinson, 1984℄ R.C. Waterfall y K.W. Dikinson. Image proesing applied to traÆ. TraÆ Engineering Control, 25:60{67, 1984.
[Welh y Bishop, 1995℄ G. Welh y G. Bishop. An introdution to the kalman lter.
Tehnial Report TR 95-041, Department of Computer Siene, University of North
Carolina at Chapel Hill, Chapel Hill, NC 27599-3175, 1995.
[Welh y Bishop, 1997℄ G. Welh y G. Bishop. An introdution to the kalman lter. http://www.s.un.edu/ welh/Kalman/Kalman.html, 1997. Departement of
Computer Siene, University of North Carolina, Chapel Hill, NC 27599-3175.
[Welh y Wood, 1993℄ P.H. Welh y D.C. Wood. Image traking in real-time: a transputer emulation of some early mammalian vision proesses. Image and Vision
Computing, 11(4):221{228, Mayo 1993.
[Weng et al., 1993℄ J. Weng, T.S. Huang, y N. Ahuja. Motion and Struture from
Image Sequenes. Numero 29 en Springer Series in Information Sienes. SpringerVerlag, 1993.
[Wezka y Rosenfeld, 1979℄ J.S. Wezka y A. Rosenfeld. Histogram modiation for thresholding seletion. IEEE Transations on Sustems, Man and Cybernetis, 9(1):38{
52, 1979.
176
BIBLIOGRAFIA
[Wiklund y Granlund, 1987℄ J. Wiklund y G.H. Granlund. Image sequene analysis
for objet traking. En Proeedings of the 5th Sandinavian Conferene on Image
Analysis, paginas 641{648, 1987.
[Williams y Shah, 1992℄ D.J. Williams y M. Shah. A fast algorithm for ative ontours
and urvature estimation. Computer Vision, Graphis and Image Proessing, 55:14{
26, 1992.
[Wiskott, 1999℄ L. Wiskott. Segmentation from motion: Combining gabor- and
mallat-wavelets to overome aperture and orrespondene problem. Pattern Reognition, 32, 1999.
[Wixson, 1996℄ L. Wixson. Illumination assessment for vision-based traÆ monitoring. En 13th International Conferene on Pattern reognition, paginas 56{62, Viena, Agosto 1996. IEEE Computer Soiety.
[Worral et al., 1991℄ A.D. Worral, R.F. Marslin, G.D. Sullivan, y K.D. Baker. Modelbased traking. En Proeedings of the British Mahine Vision Conferene, paginas
310{318. BMVA Press, 1991.
[Worral et al., 1994℄ A.D. Worral, R.F. Marslin, G.D. Sullivan, y K.D. Baker. Pose
and struture reovery using ative models. En Proeedings of the British Mahine
Vision Conferene, paginas 137{146. BMVA Press, 1994.
[Xu y Uberbaher, 1997℄ Y. Xu y E.C. Uberbaher. 2d image segmentation using
minimum spanning trees. Image and Vision Computing, 15:47{57, 1997.
[Young y Chellappa, 1990℄ G.S.J. Young y R. Chellappa. 3-d motion estimation using
sequene of noisy stereo images: Models, estimation, and uniqueness results. IEEE
Transations on Pattern Analysis and Mahine Intelligene, 12:735{759, 1990.
[Zhang y Faugeras, 1992℄ Z. Zhang y O.D. Faugeras. Three-dimensional motion omputation and objet segmentation in a long sequene of stereo frames. International
Journal of Computer Vision, 7(3):211{241, 1992.
[Zhang, 1992℄ Z. Zhang. On loal mathing of free-form urves. En British Mahine
Vision Conferene, paginas 347{356, 1992.
[Zhang, 1997℄ Y.J. Zhang. Evaluation and omparison of dierent segmentation algorithms. Pattern Reognition Letters, 18:963{974, 1997.
[Zheng y Chellappa, 1995℄ Q. Zheng y R. Chellappa. Automati feature point extration and traking in image sequenes for arbitrary amera motion. International
Journal of Computer Vision, 15:31{76, 1995.
[Zhou et al., 1989℄ Y.T. Zhou, V. Venkateswar, y R. Chellappa. Edge detetion and
linear feature extration using 2-d random eld model. IEEE Transations on
Pattern Analysis and Mahine Intelligene, 11:84{95, 1989.
BIBLIOGRAFIA
177
[Zhu et al., 2000℄ Z. Zhu, G. Xu, B. Yang, y X. Lin. VISITRAM: a real-time vision
system for automati traÆ monitoring. Image and Vision Computing, 18:781{794,
2000.
Indie de Materias
A
aidente, 124
adaptaion del fondo, 59
alerta, 122{124
analisis de movimiento
apliaiones, 2{3
metodos, 44
problemas, 1{2
apertura, 60, 151, 152
problema, 48
asoiaion de datos, 90
ataso, 119
B
busqueda por desenso, 55, 65
bloques, 52
bordes, 22
C
araterstias
metodos, 50{54
arril, 119
deteion automatia, 60, 119
ierre, 60, 151, 153
inematia, 90
lustering, 24{25
odiaion, 3
orrelaion de fase, 51
orrespondenia, 88
orrespondenia de bloques, 52
orrespondenia de puntos, 50
reimiento de regiones, 22
D
desenso mas profundo, 67
deteion de arriles, 46
deteion de movimiento, 2, 45, 57{61
diferenia de la imagen desplazada, 55,
64, 65
diferenias de imagenes, 55
dilataion, 63, 151
division de regiones, 23
division y reimiento de regiones, 23
E
elemento estruturante, 60, 151, 152
erosion, 151, 152
estimaion, 155
estimaion de movimiento, 64{69
estimadores por lotes, 91
estimadores reursivos, 91
F
faetas, 92
ltro de Kalman, 99{102, 155{157
ujo optio, 2, 89
euaion, 48
restriiones, 48
G
Gabor, ltro de, 51
gradiente
metodos, 47{50
grafo de adyaenia, 72
H
histograma, 21
I
iluminaion
ambios de, 60
imagen de referenia, 60
imagen referenia
atualizaion, 58
INDICE DE MATERIAS
integraion temporal, 17, 88
integraion temporal morfologia, 87{
89, 128{129
K
k-medias, 24
Kalman, 93, 99{102, 109, 115, 155{157
L
lista maestra, 102{108
M
metodos basados en faetas, 92
memoria temporal, 12, 17, 102
meteorologa, 3
modelos bidimensionales, 92
modelos de ontornos ativos, 92
modelos de movimiento, 90
modelos deformables, 92
modelos tridimensionales, 91
movimiento
deteion, 57{61
analisis, 43
see analisis de movimiento, 3
estimaion, 2, 64, 69
metodos basados en araterstias, 50{54, 148
metodos basados en el gradiente,
47{50
metodos basados en regiones,
53{54
preision subpxel, 67
segmentaion, 2, 70{72
multiresoluion, 67
O
olusiones, 49
operaiones morfologias, 60, 151{153
outliers, 50, 69
P
perepion de movimiento, 1
prediion de estados, 156
profundidad, 89
R
red vial, 118
179
reestimaion de movimiento, 72
region, 53, 93
perdida, 107
permanente, 106{107, 122
reduion del numero de regiones,
61{64
robotia, 3
robusto, 67
estimador, 68
S
seion rtia, 126
segmentaion, 19{29
metodos, 21{25
basados en bordes, 22
basados en regiones, 22{25
basados en umbralizaion, 21
tipos de metodos, 21
segmentaion de movimiento, 70{72
segmentaion nal, 108
segmentaion virtual, 128
seguimiento, 2, 87, 89{97
semaforo, 126
snake, 90, 92
split-and-merge, 23
subpxel, 67
substraion de imagenes, 60, 63
superuadratias, 90
T
tabla de veindad, 72
thresholding, 21
trao
Centro de Control de Trao, 6
monitorizaion, 6, 118
tareas, 15, 118{124
traking, 87
see seguimiento, 2
trayetoria, 121
U
umbralizaion, 21
V
vehulo parado, 122
180
veloidad de vehulos individuales, 13
veloidad media del trao, 13
volumen de trao, 119
INDICE DE MATERIAS
Fly UP