...

Document 2292996

by user

on
Category: Documents
2

views

Report

Comments

Transcript

Document 2292996
Enfoque basado en Distanias
de algunos
M
etodos Estad
stios Multivariantes
Josep Fortiana
Otober 30, 2001
Contents
1 Apliaion de las distanias en Estadstia
1.1 Introduion . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Estimaion puntual . . . . . . . . . . . . . . . . . . . . .
1.2.1 En modelos lineales . . . . . . . . . . . . . . . .
1.2.2 Divergenia de Kullbak{Leibler . . . . . . . . .
1.2.3 El metodo de la mnima distania . . . . . . . .
1.3 Contraste de hipotesis . . . . . . . . . . . . . . . . . . .
1.3.1 Distania de Mahalanobis . . . . . . . . . . . . .
1.3.2 Distania de Matusita . . . . . . . . . . . . . . .
1.3.3 Distania de Rao . . . . . . . . . . . . . . . . . .
1.4 Representaion de onjuntos . . . . . . . . . . . . . . . .
1.4.1 Representaion Euldea . . . . . . . . . . . . . .
1.4.2 Representaion Ultrametria . . . . . . . . . . .
1.4.3 Representaion Cuadripolar . . . . . . . . . . . .
1.4.4 Representaion de Robinson . . . . . . . . . . . .
1.5 Un Teorema fundamental y primeras onseuenias . . .
1.5.1 Representaion euldea de arboles ultrametrios
1.5.2 Otras representaiones euldeas . . . . . . . . .
1.6 Prediion basada en distanias . . . . . . . . . . . . . .
1.6.1 Prediion on variables mixtas . . . . . . . . . .
1.6.2 Regresion no lineal . . . . . . . . . . . . . . . . .
1.6.3 Analisis disriminante . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.1 Deniion del modelo . . . . . . . . . . . . . .
2.1.1 Propiedades generales del modelo global
2.1.2 Regresion lineal lasia . . . . . . . . . .
2.1.3 Regresion on variables ualitativas . . .
2.1.4 Regresion on variables mixtas . . . . .
2.1.5 Regresion no lineal . . . . . . . . . . . .
2.2 Estudio de la distania Valor Absoluto . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2 Modelo de regresion basado en distanias
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
5
7
7
7
10
12
12
16
17
19
20
20
22
24
27
30
31
32
33
33
34
35
36
37
38
39
40
40
42
2
CONTENTS
2.2.1 El aso unidimensional equidistante . . . . . . .
2.3 Estrutura de las matries entro{simetrias . . . . . . .
2.3.1 Deniion . . . . . . . . . . . . . . . . . . . . . .
2.3.2 Valores y vetores propios . . . . . . . . . . . . .
2.3.3 Las matries B y Be . . . . . . . . . . . . . . . .
2.4 Coordenadas prinipales de la distania Valor Absoluto
3 Estrutura de una lase parametria de matries
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
43
47
47
48
50
53
56
3.1 Propiedades elementales . . . . . . . . . . . . . . . . . . . . .
3.2 Vetores propios . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1 Valores y vetores propios de Fn (a) . . . . . . . . . . .
3.2.2 Vetores propios de B , C y Be . . . . . . . . . . . . . .
3.3 Estrutura de los vetores propios de B . . . . . . . . . . . .
3.3.1 Introduion . . . . . . . . . . . . . . . . . . . . . . .
3.3.2 Permutaion de omponentes del primer vetor propio
3.3.3 Vetores propios on omponentes nulas . . . . . . . .
3.3.4 Generaion de los vetores propios a partir del primero
4 Algunas generalizaiones
57
59
59
62
65
65
65
67
69
4.1 Caso general disreto . . . . . . . . . . . . . . . . . . . . . . .
4.1.1 Introduion . . . . . . . . . . . . . . . . . . . . . . .
4.1.2 Vetores propios . . . . . . . . . . . . . . . . . . . . .
4.1.3 Calulo de las oordenadas prinipales . . . . . . . . .
4.1.4 Propiedades de las oordenadas prinipales . . . . . .
4.2 Extension al aso ontinuo . . . . . . . . . . . . . . . . . . . .
4.2.1 Introduion . . . . . . . . . . . . . . . . . . . . . . .
4.2.2 Coordenadas Prinipales de la distribuion uniforme .
4.2.3 Regresion basada en distanias para variables aleatorias
4.2.4 Apliaion al estudio de bondad de ajuste . . . . . . .
5 Analisis disriminante basado en distanias
5.1 Introduion . . . . . . . . . . . . . . . . . . . . . . . . . .
5.1.1 Notaiones . . . . . . . . . . . . . . . . . . . . . .
5.1.2 Consideraiones sobre los metodos lasios y el DB
5.2 El metodo DB de lasiaion . . . . . . . . . . . . . . . .
5.2.1 Metodo DB para muestras . . . . . . . . . . . . . .
5.2.2 Estimaion del error . . . . . . . . . . . . . . . . .
5.2.3 Metodo DB para variables aleatorias . . . . . . . .
5.2.4 Propiedades basias del metodo DB . . . . . . . .
5.2.5 Teorema de representaion . . . . . . . . . . . . .
5.3 Distanias entre individuos para el modelo DB . . . . . .
5.3.1 Aspetos generales . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
74
75
75
75
78
79
87
87
89
96
96
100
101
101
103
105
105
107
107
109
109
111
111
3
CONTENTS
5.3.2 Distania basada en eÆient sores . . . . . . . .
5.3.3 Condiiones para una distania entre observaiones
5.4 Ejemplos on distribuiones onoidas . . . . . . . . . . .
5.4.1 Distribuion disreta nita generia . . . . . . . .
5.4.2 Distribuion multinomial . . . . . . . . . . . . . .
5.4.3 Distribuion multinomial negativa . . . . . . . . .
5.4.4 Distribuion normal univariante . . . . . . . . . .
5.4.5 Distribuion normal multivariante on onoida
5.5 Distanias entre poblaiones . . . . . . . . . . . . . . . . .
5.5.1 Distania basada en la diferenia de Jensen . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6.1
6.2
6.3
6.4
6.5
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6 Aspetos omputaionales y ejemplos
Consideraiones generales . . . . . . . . . . . . . . . .
Implementaion del modelo de regresion DB . . . . . .
Implementaion del Analisis Disriminante DB . . . .
Estimaion bootstrap de la distania entre poblaiones
Ejemplos de apliaion de modelos DB . . . . . . . . .
6.5.1 Regresion DB . . . . . . . . . . . . . . . . . . .
6.5.2 Analisis Disriminante DB . . . . . . . . . . . .
Conlusiones
.
.
.
.
.
.
.
.
.
.
.
.
.
.
112
112
114
114
115
116
120
122
123
123
127
128
129
130
133
135
135
137
143
Chapter 1
Apliai
on de las distanias
en Estad
stia
4
DE LAS DISTANCIAS EN ESTADSTICA5
CHAPTER 1. APLICACION
1.1 Introduion
Desde su prinipio, la Estadstia moderna ha dependido de la Teora de
Probabilidad, del Analisis, la Teora de la Medida y del Algebra. La metodologa estadstia no podra avanzar sin los reursos que proporionan estas
areas de la Matematia.
Tambien desde los prinipios, la Geometra, y espeialmente las propiedades topologias derivadas del onepto de distania, han desempe~nado un
papel importante en Estadstia, aunque su inorporaion omo elemento de
trabajo es mas reiente.
Sus primeros usos estan latentes en el test Ji{uadrado de K. Pearson y
en el test t de Student, donde las disrepanias entre observado y esperado
se miden mediante un estadstio que en el fondo es una distania. Tales
ejemplos, y muhos otros, son asos partiulares de la distania introduida
por Mahalanobis [72℄
(x y)0 1 (x y)
(1.1)
donde x,y 2 Rp, y es una matriz de ovarianzas adeuada.
La distania (1.1) interviene en la propia deniion de la distribuion
normal multivariante, en Analisis Disriminante, en la T 2 de Hotelling, en la
deteion de outliers , et., e inluso, omo se ve en la seion 1.3.1, interviene
en ualquier ontraste de hipotesis.
Como esta memoria es una apliaion de iertas propiedades de las distanias, nos paree oportuno itar los trabajos de Hotelling [59℄ y Weyl
[101℄, pioneros en la apliaion de la Geometra Diferenial al ontraste de
hipotesis: Dado el modelo de regresion no lineal
yi = fi() + ei
(i = 1; : : : ; n)
(1.2)
donde las fi() son funiones onoidas que dependen de un parametro y los errores e1 ; : : : ; en son variables aleatorias independientes igualmente
distribuidas (iid), on distribuion N (0; ), onsideremos la hipotesis nula
H0 : = 0
Es fail ver que el estadstio de razon de verosimilitud equivale a
P
( i fi () yi )2
(1.3)
W = max P 2 P 2
i fi ( ) i yi
Sin embargo, puesto que no es identiable uando = 0, no es fatible
apliar la teora asintotia sobre la distribuion de , ni tampoo los riterios
equivalentes de Wald y de Rao, que estan asintotiamente distribuidos omo
Ji{uadrado. Vease Rao [90, pag. 417℄ y la seion 1.3.3 de esta memoria.
DE LAS DISTANCIAS EN ESTADSTICA6
CHAPTER 1. APLICACION
Empleando las notaiones:
f ( )
y
()
U
=
=
=
=
(f1 (); : : : ; fn ())
(yi ; : : : ; yn )
f ()=kf ()k
y=kyk
la region de rehazo toma la forma
max h (); U i W 2
y puede ser desrita utilizando terminos estritamente geometrios, omo el
de distania geodesia, relativos a la esfera unidad en el espaio Rn . Vease
Knowles and Siegmund [66℄.
Es este un ejemplo, nada trivial, de la Estadstia y el Analisis de Datos,
de entre los innumerables ejemplos en los que se aplia el onepto de distania. En este aptulo introdutorio presentamos una breve exposiion de
su apliaion en los siguientes ampos:
Estimaion puntual
Contraste de hipotesis
Representaion de onjuntos
Modelos de prediion
DE LAS DISTANCIAS EN ESTADSTICA7
CHAPTER 1. APLICACION
1.2 Estimaion puntual
1.2.1 En modelos lineales
La utilizaion mas lara y elegante del onepto de distania se onsigue en
el estudio del modelo lineal
y =X +e
(1.4)
donde la estimaion del vetor parametrio es aquel b tal que yb = X b
veria
R0 2 = ky yb k2 = mnimo
(1.5)
Ademas, si e N (0; In ), entones se veria que R0 2 =2 2 n r ,
siendo r = rang (X ), resultado basio del Analisis de la Varianza.
Sea = P = ( 1 ; : : : ; q )0 es un vetor de funiones parametrias
estimables, es deir, F (P ) F (X ), donde la notaion F (A) india el subespaio generado por las las de la matriz A. Entones la hipotesis
H0 :
se deide mediante el test F
b
(
0 )0 (P (X 0 X )
F=
R0 2
= 0
(1.6)
P 0) 1 (b 0) n r
q
(1.7)
b = P b la estimai
siendo on Gauss{Markov de . Notese que el numerador
b y .
de F es una distania tipo Mahalanobis entre 0
1.2.2 Divergenia de Kullbak{Leibler
La divergenia de Kullbak-Leibler entre dos funiones de densidad p, q on
respeto a una medida Z
p
K (p; q) = p log( ) d
(1.8)
q
juega un importante papel en el llamado problema de la espeiaion en
inferenia estadstia.
Supongamos, para onretar, que sea la medida de Lebesgue, y sea
= fp (x; ); 2 g
un modelo estadstio. La verdadera funion de densidad es p (x; 0 ), donde
0 es el verdadero valor del parametro. La divergenia entre p (x; ) y p (x; 0 )
DE LAS DISTANCIAS EN ESTADSTICA8
CHAPTER 1. APLICACION
es
K (p (x; ); p (x; 0 )) =
Z
Z
p (x; 0 ) log p (x; 0 ) dx
p (x; 0 ) log p (x; ) dx
(1.9)
El valor de que minimiza esta divergenia proporiona la densidad que
mas se aera a la verdadera y orresponde al maximo de la integral
Z
p (x; ) log p (x; 0 ) dx
(1.10)
es deir, al maximo del valor esperado de log p(x; ).
Dada una muestra x1 ; : : : ; xn de valores iid on densidad p (x; 0 ), este
valor se obtiene mediante el promedio
n
1X
log p(xi ; )
n i=1
(1.11)
El valor b que maximiza este promedio nos lleva al estimador maximo
verosmil (ML) de .
Menos onoida es la siguiente propiedad. Supongamos que la verdadera
densidad es q, pero q 2= . >Que signiara entones la estimaion ML de
? La divergenia entre q y p(x; ) es ahora
Z
q(x) log q(x)dx
Z
q(x) log p (x; )dx
(1.12)
y el verdadero valor 0 del parametro se puede denir omo aquel 0 tal que
p (x; 0 ) 2 es la densidad mas proxima a q de auerdo on la divergenia
(1.8). 0 es entones soluion de
Eq
log p (x; ) = 0
(1.13)
y se die que q es onsistente on 0 . Veamos ahora que ourre on el
estimador ML b obtenido onsiderando el modelo . Suponiendo las usuales
ondiiones de regularidad, sea
U (x; ) =
log p(x; )
J () = Eq (U U 0 )
U
H () = Eq
(1.14)
DE LAS DISTANCIAS EN ESTADSTICA9
CHAPTER 1. APLICACION
En un entorno de 0 tendremos
U
U (x; ) = U (x; 0 ) + ( 0 )
y si x1 ; : : : ; xn son iid omo q, entones
0
+K
1X
1 X U
1X
U (xi ; ) =
U (xi ; 0 ) + ( 0 )
(x ; )
n
n
n
i
0
y haiendo tender n ! 1, teniendo en uenta (1.13) y (1.14), se umple
la identidad asintotia
1X
U (xi ; ) = 0 ( 0 ) H (0 )
n
P
que prueba que b, el estimador ML que anula U (xi ; ) = 0, onverge a 0
en probabilidad.
Ademas, por el teorema del valor medio podemos esribir
X
U (xi ; )
X
U (xi
; b)
=
X U (xi ; ) ?
( b)
donde ? es un punto entre y b.
Puesto que
X
U (xi ; b) ! 0
b ! 0
X
U (xi ; )
1
! H ()
n
tenemos de nuevo la identidad asintotia
1X
U (xi ; ) = n (b 0 ) H (0 )
n
es deir,
1 X
pn U (xi ; 0) = pn (b 0) H (0 )
P
Por el teorema entral del lmite, p1n U (xi ; 0 ) es asintotiamente normal de media Eq (U (x; 0 ) = 0, que es la ondiion (1.13), y matriz de
ovarianzas J (0 ). Finalmente tenemos que
pn (b ) a N 0; H 1 ( ) J ( ) H 1 ( )
0
0
0
0
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
10
Es deir, el estimador ML b es asintotiamente normal y estimador onsistente de 0 , el valor del parametro mas proximo a q respeto la divergenia
de Kullbak{Leibler.
Ventajas y apliaiones de la estimaion ML del verdadero valor 0
pueden verse en Kent [65℄ para el estudio de la robustez del test de razon
de verosimilitud tomando densidades alternativas, en Royal [94℄, para la
obtenion de intervalos de onanza robustos, en Huster [60℄ para estimar
parametros en modelos bivariantes de supervivenia y en Cuadras [29℄ para
el problema de la estimaion de parametros relativos a densidades multivariantes uando solo se onoen las marginales.
1.2.3 El metodo de la mnima distania
Es un metodo de estimaion promovido por J. Wolfowitz en una serie de
artulos que ulminaron en [102℄. Supongamos de la forma de la funion de
distribuion de un vetor aleatorio es G 2 = fF ; 2 g. Sean x1 ; : : : ; xn
iid omo G, y sea Gn la funion de distribuion empria. Si Æ (Gn ; F )
es una medida de distania entre Gn y G = F , el metodo de la mnima
distania (MD) onsiste en tomar omo estimaion de el valor b tal que
Æ (Gn ; F b ) = inf Æ (Gn ; F )
2
MD es util omo metodo alternativo de estimaion uando otros metodos
no son apliables. Como distania se suele tomar la de Kolmogorov
ÆK (Gn; F ) =
o la de Cramer{von Mises
sup jGn(x)
1<x<1
F (x)j
+1
[Gn (x) F ℄2 w (x) dF (x)
1
MD proporiona estimadores que onvergen en probabilidad a y tienen
propiedades de robustez en el aso de desviaiones loales del modelo. Inluso, si G 2= , tomando ÆC on w (x) = 1=f (x), el estimador MD proporiona una estimaion b tal que F b es una proyeion L2 de Gn en . Vease
Parr [85℄.
El metodo de estimaion MD onstituye una herramienta espeialmente
util en la estimaion no parametria de funiones (de densidad, de distribuion, de regresion, et.). Supongamos, por ejemplo, que f (x) es la
funion de densidad. Un resultado lasio es que no existe estimador \razonable" de f (x), en el sentido de que el estimador fbn(x) verique la igualdad
ÆC (Gn ; F ) =
Z
E fbn(x) = f (x);
8x
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
11
(fr. Prakasa Rao [86℄). As, la teora lasia de la estimaion no funiona,
existiendo razones para onsiderar estimadores tipo nuleo
n
x xi
1 X
K
n (x) =
n hn i=1
hn
fb
donde hn
ejemplo
! 0 para n ! 1, y K es una densidad de probabilidad, por
(
K (x) =
1=2
0
si jxj 1
si jxj > 1
Bajo iertas ondiiones se prueba que fn(x) onverge uniformemente a
f (x).
Un riterio de proximidad en la estimaion de f (x) se basa en la distania
1
L
Z +1
b
Æ(fn ; f ) =
jfbn(x) f (x)j dx
1
pues empleando esta distania y el estimador tipo nuleo, se veria que
Æ(fb ; f ) .s.
!0
n
para toda f . Vease Devroye and Gyor [33℄.
Finalmente, el metodo MD es tambien util para estimar en el modelo
de regresion lineal
y = A0 (x) + e
donde y es un vetor aleatorio y A(x) es un funional arbitrario, (por ejemplo, A(x) = (1; x; : : : ; xk )0 en regresion polinomia), tomando la distania
de Cramer{von Mises. Vease Gonzalez Manteiga [47℄.
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
12
1.3 Contraste de hipotesis
El onepto de distania esta latente en la mayor parte de ontrastes de
hipotesis, jugando la distania de Mahalanobis un papel muy destaado.
1.3.1 Distania de Mahalanobis
La apliaion mas lara de esta distania la enontramos en el test T 2 de
Hotelling. Supongamos que x1 ; : : : ; xn son iid segun Np(; ), on desonoido, y estamos interesados en el ontraste
H0 : = 0
(1.15)
Tanto el test de razon de verosimilitud omo el prinipio de union{interseion (vease Mardia [78℄) nos llevan a onsiderar el estadstio
(1.16)
T 2 = n (x 0 )0 S 1 (x 0 )
donde x, S son la media y ovarianza muestrales. T 2 , bajo H0 , es proporional a una F . As el test T 2 esta basado en la distania de Mahalanobis
entre x y 0 .
Analogamente, supongamos que x1 ; : : : ; xn son iid segun Np (1 ; ), que
y1 ; : : : ; yn son iid segun Np (2 ; ), y onsideremos el ontraste
H0 :
1 = 2
(1.17)
Tambien los riterios lasios nos llevan al estadstio
nm
(x y)0 S 1 (x y)
T2 =
(1.18)
m+n
donde x, y, S son los estimadores usuales de 1 , 2 , ([80℄, [78℄), es deir,
a la T 2 de Hotelling, que es tambien funion de la estimaion de la distania
de Mahalanobis entre 1 y 2 .
Mas generalmente, onsideremos el modelo del Analisis Multivariante de
la Varianza (MANOVA), on n observaiones de p variables
Y =X B+E
donde Y es n p, X es n m (siendo m el numero de parametros), B es
m p y E es n p. Sea
0 = ( 1 ; : : : ;
p) = P
0B
una funion parametria estimable multivariante, y onsideremos el ontraste de hipotesis
H0 : = 0
(1.19)
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
13
b es el estimador Gauss{Markov
donde 0 es onoido. Entones, si b = P0 B
b = P 0 (X 0 X ) X 0 Y
y b es la estimaion entrada de (se supone que las las de E son iid
Np (0; ))
1
(Y X Bb )0 (Y X Bb )
b =
n r
donde r = rang (), entones el test (1.19) se puede deidir mediante el
estadstio
b
b
(
0 )0 b 1 (
0 )
(1.20)
que es una distania tipo Mahalanobis y uya distribuion bajo H0 es tambien proporional a una F (Cuadras [19℄ y [20℄).
En un ontexto pareido, la distania entre dos modelos MANOVA
Yi = X Bi + Ei i = 1; 2
se puede denir omo
n
L2 = tr 1 (B1
(1.21)
o
B2 )0 X 0 X (B1 B2 )
(1.22)
que puede justiarse omo una distania de Mahalanobis entre dos distribuiones normales Np (Ip X Bi ; In); (i = 1; 2).
Como L2 = 0 si y solo si X B1 = X B2 , la distania (1.22) puede
servirnos para ontrastar la hipotesis
H0 : X B1 = X B2
de que los dos modelos de regresion (1.21) son iguales. Para mas detalles y
generalizaiones, vease Ros y Cuadras [92℄.
Finalmente, supongamos que la densidad de probabilidad de un vetor
aleatorio X es p (x; ), parametrizado por 2 , y que se umplen las
ondiiones de regularidad ordinarias. Consideremos la hipotesis ompuesta
H0 : 2 0 (1.23)
Dada una muestra x1 ; : : : ; xn , el proedimiento lasio iniiado por Neyman y Pearson [81℄ para deidir aera de H0 utiliza el test de razon de
verosimilitud
sup 2 0 L
(1.24)
=
sup 2 L
siendo
n
Y
L = p (xi; )
i=1
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
14
la funion de verosimilitud. Para n grande, el riterio se basa en el estadstio
U = 2 log (1.25)
el ual, bajo H0 , sigue asintotiamente una distribuion ji{uadrado 2 q r ,
siendo q = dim(), y r = dim(0 ).
Un riterio alternativo se debe a Rao [89℄. (Vease, por ejemplo, Rao
[90℄). Se basa en los llamados eÆient sores
Zi () =
log p(xi ; )
y en el omportamiento de
V =
p1n
n
X
i=1
Zi ()
Se veria que E (V ) = 0 y, ademas, si b es el estimador maximo
verosmil de 2 , entones
Vb = 0
Observese que
F = E (Zi () Zi0())
es la matriz de informaion de Fisher y tambien la matriz de ovarianzas de
Zi (). Puede entones probarse que la distribuion asintotia de V 0 F V ,
para ada valor de = (1 ; : : : ; q ), es 2 q .
El estadstio que propone Rao es
(1.26)
S = V? 0 F? 1 V?
donde ? representa la estimaion maximo verosmil de dentro de 0 .
Podemos poner
V ?
n
p
p
1X
Z (? ) = n Z ?
= n
n i=1
i
y omo bajo H0 , F? puede onsiderarse una estimaion de F0 , donde 0
representa el verdadero valor del parametro, tenemos que la proximidad de
V? a V0 = 0 favoree la hipotesis nula. Pero tal proximidad la podemos
medir mediante la distania de Mahalanobis entre Z ? y la media esperada
0, es deir, mediante
0
Z ? 0 F? 1 Z ? 0 = n S
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
15
Ahora bien, segun se muestra en Rao [90℄, se umple la siguiente igualdad
asintotia:
U = 2 log =a V? 0 F? 1 V?
que viene a probarnos que la razon de verosimilitud, el estadstio mas utilizado en ontrastes de hipotesis, es asintotiamente equivalente a una distania de Mahalanobis, pues en denitiva, F? es la estimaion de una matriz
de ovarianzas.
Como ilustraion, sea
p (x; ) = 1 exp( 1 x); > 0
y onsideramos la hipotesis nula
H0 :
= 0 ;
donde 0 2 = R+ . La razon de verosimilitud es
x n exp n 1
=
0
x 0
Mientras que el estadstio de Rao es
S = V0 0 F0 1 V0
pn
pn
2
(x 0 ) 0 2 (x 0 )
=
0 2
0
(x 0 )2
= n
0 2
donde x es la media muestral en muestras de tama~no n. Claramente la
distribuion asintotia de S es 2 1 y mas simple que
x + 1
2 log = 2n log
0
x 0
La equivalenia asintotia se dedue failmente de que, para n grande,
podemos suponer 1 < (x 0 )=0 1, as que
(x 0 ) (x 0 )2
x
x
log
1 =
+ = log 1 +
0
0
0
20 2
y de aqu resulta 2 log =a S .
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
16
1.3.2 Distania de Matusita
Sean F1 , F2 funiones de distribuion, y sean f1 , f2 las funiones de densidad
respeto una ierta medida , que supondremos es la medida de Lebesgue.
La distania de Matusita se dene omo
2
Z q
q
2
f1 (x)
f2 (x) dx = 2 (1 );
(1.27)
Æ (F 1 ; F 2 ) =
donde
=
Z q
f1 (x) f2 (x) dx
es la llamada anidad entre F1 y F2 .
La distania (1.27), introduida por Matusita [74℄, aunque es tambien
onoida omo distania de Hellinger, ha sido apliada en problemas de estimaion, deision y analisis disriminante. Por ejemplo, teniendo en uenta
que
F1 = F2 () Æ2 (F1 ; F2 ) = 0
el ontraste de hipotesis, en el aso univariante,
H0 : F1 = F2
es equivalente a
H0 : Æ2 (F1 ; F2 ) = 0
Se aepta H0 si Æ2 (F1 ; F2 ) Æ , donde Æ es una antidad positiva que
dependera del nivel de signiaion y de los tama~nos muestrales m, n. La
deision se toma, sin embargo, trabajando on la distania Æ2 (S1 ; S2 ) entre
las funiones de distribuion emprias.
Matusita [76℄ disute extensamente la utilizaion de la distania (1.27)
en el aso normal univariante N (; ). Consideremos algunos ejemplos:
1) La hipotesis H0 : = 0 se deide a traves de Æ2 (F; Sn ), donde F en
N (0 ; ), y Sn es N (xb; S ), siendo xb y S la media y ovarianza muestrales.
2) La hipotesis H0 : = 0 se deide alulando la distania, o lo que
es lo mismo, la anidad entre N (; ) y N (; 0 )
=
1=2
0
1 1 1=4
1=2
0 1 + 1 3) La hipotesis de que X = (x1 ; : : : ; xp ) es N (; ), donde
= diag (1 1 ; : : : ; p p) ;
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
17
es deir, que los vetores aleatorios x1 ; : : : ; xp son estoastiamente independientes, se deide alulando el supremo
1 S 1 1=4
= sup 2M0 1=2 1 + S 1 1=2
siendo M0 la lase de matries on ajas en la diagonal y ero en el resto, es
deir, tal que 2 M0 .
Sin embargo, tanto la distania de Matusita omo otras de formulaion
pareida, en el aso de normalidad multivariante, vienen a ser funiones reientes de la distania de Mahalanobis. Como esta ultima esta partiularmente reomendada para variables ontnuas, una ventaja de la distania de
Matusita es que puede ser apliada a variables disretas (Dillon y Goldstein
[36℄), y a variables mixtas (Krzanowski [68℄). De todos modos, sus apliaiones se entran mas bien en el area del Analisis Disriminante (vease
Krzanowski [69℄), omo se va a omentar en la seion 1.6.3.
1.3.3 Distania de Rao
Aunque introduida por Rao [88℄ hae bastante tiempo, ha sido estudiada
mas reientemente por Atkinson y Mithell [6℄, Burbea y Rao [10℄, Oller y
Cuadras [82℄,[83℄, Burbea y Oller [11℄, y otros.
Sea S = fp (x; )g un modelo estadstio, donde p(x; ) esta parametrizado
por que pertenee a una variedad difereniable , dotada de una metria
en la que la matriz de informaion de Fisher
(1.28)
F = E log p (x; ) 0 log p (x; )
juega el papel de tensor metrio fundamental sobre . La distania de Rao
es la distania entre dos parametros A , B de . Se onoe la distania
de Rao para bastantes distribuiones (Cuadras [23℄), aunque el aso normal
multivariante ha sido solo en parte resuelto (Calvo y Oller [13℄).
Dadas dos distribuiones, F y G, perteneientes a una misma familia
parametria, la distania de Rao puede ser utilizada para ontrastar la
hipotesis nula H0 : F = G, transformandola en H0 : Æ(F; G) = 0, de modo
pareido al desrito en la seion anterior on la distania de Matusita. Un
resultado general die que
n n
V = 1 2 Æb2 (F; G)
n1 + n2
sigue asintotiamente una 2 p , siendo p el numero de variables y Æb2 una
estimaion de Æ2 , en el aso F = G.
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
18
Como ejemplo interesante de apliaion, onsideremos el modelo lineal
normal Y N (X ; 2 In ). Entones = (; ) 2 Rm R+ . Consideremos
la hipotesis nula
H0 : H = 0
b b ) la estimai
donde F (H ) F (X ). Sea b = (;
on ML de (; ), y onsideremos la subvariedad
H = f = (; ) : H = 0g
La distania de Rao entre b y la subvariedad H es
RH (b ) = inf fR(b; ) : 2 H g
Una region rtia para deidir sobre H0 : H = 0 es de la forma
W = fx 2 Rn : RH (b ) > Æ g
y puede probarse que es equivalente al lasio test F .
Un estudio mas general de este test mediante la distania de Rao sobre
la familia de densidades elptias
n
o
(n=2)
p(x; ; ) = n=2 j0 j 1=2 n F 2 (y X )0 0 1 (y X )
donde F es una funion no negativa sobre R+ satisfaiendo la ondiion de
normalizaion, 0 y X son matries jas, se debe a Burbea y Oller [11℄.
Vease tambien Oller [84℄.
Aunque este planteamiento y el de Matusita son muy pareidos, onviene
observar que para dos funiones de distribuion F , G se umple que
M (F; G) R(F; G)
pues la distania de Rao esta denida en una subvariedad de la variedad
(difereniable de dimension innita)
E = ff : f = pp; p es densidad de probabilidad g
es deir, la esfera unidad (o el espaio proyetivo) del espaio L2 , on la
estrutura difereniable induida por la estrutura natural de espaio de
Hilbert on produto
Z
hf; gi = f g dx
As, la distania de Rao, que aproveha el onoimiento de una parametrizaion
y el ambio de informaion al variar los parametros, tiene mayor poder de
separaion que la distania de Matusita, que puede interpretarse omo la
distania en lnea reta entre las dos densidades en L2 , y es, por tanto, mas
apropiada en un ontexto no parametrio. No obstante, justo es a~nadir que
las distanias de Matusita, Rao, y otras medidas de divergenia, oiniden
loalmente (Burbea y Rao [10℄).
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
19
1.4 Representaion de onjuntos
La representaion de un onjunto nito de objetos, indivduos o estmulos
onstituye una de las mas interesantes apliaiones de la Estadstia basada
en la topologa asoiada a una distania. Las apliaiones abaran muhos
ampos: Arqueologa, Eologa, Genetia, Psiologa, Soiopoltia, et.
Sea I un onjunto nito on n elementos que, por eonoma de notaion,
indiaremos
I = f1; 2; : : : ; ng
Presentamos en esta seion las formas de representaion mas usuales
del onjunto I , a saber
1. Representaion Euldea
2. Representaion Ultrametria (en forma de dendrograma)
3. Representaion Cuadripolar (en forma de arbol aditivo)
4. Representaion de Robinson (en forma de arbol piramidal)
Haremos espeial enfasis en el punto (1), puesto que proporiona una
forma general de prediion, omo estudiaremos a lo largo de esta memoria.
Deniion 1.4.1 Una matriz de disimilaridades = (Æi j ) es una matriz
real simetria n n uyos elementos Æ i j satisfaen
Æi j
= Æj i Æi i = 0
8 i; j 2 I
Se onoen muhos metodos para onstruir disimilaridades Æ i j sobre I .
Sin embargo, nos entraremos mas en las propiedades de Æi j y en el tipo de
representaion de I que permiten.
Deniion 1.4.2 La matriz es llamadap Euldea si existe una onguraion de puntos en un espaio euldeo R uyas interdistanias oinidan
on las ontenidas en , es deir, si existen x1 ; : : : ; xn 2 Rp tales que
Æi j 2
= (xi
xj )0 (xi xj )
8 i; j 2 I
Deniion 1.4.3 La matriz de disimilaridades es llamada ultrametria
si, para todas las ternas i; j; k 2 I se veria que
Æi j
maxfÆ i k ; Æ j k g
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
20
Deniion 1.4.4 La matriz de disimilaridades es llamada uadripolar
si para todas las uaternas i; j; k; l 2 I se veria que
Æ + i j maxfÆ + i k ; Æ + j k g
siendo
Æ+i j
Æ+i k
Æ+j k
= Æi j + Æk l
= Æi k + Æj l
= Æ j k + Æi l
Deniion 1.4.5 La matriz de disimilaridades es llamada de Robinson
si, para todas las ternas i; j; k 2 I on i j k se veria que
maxfÆ i j ; Æ j k g Æ i k
1.4.1 Representaion Euldea
Pasemos ahora a justiar ada una de estas deniiones en el ampo de las
apliaiones.
La matriz euldea permite una proyeion de I en Rp
I
i
! Rp
! xi
de modo que ada elemento i esta representado por un punto xi .
Cuando tal representaion se hae mediante la tenia del analisis de
Coordenadas Prinipales, la proyeion es optima en dimension reduida.
Las apliaiones de esta tenia son numerossimas, y ya son onsideradas
lasias en el ontexto del Analisis Multivariante. Vease por ejemplo Mardia
et al. [78℄, Seber [96℄.
1.4.2 Representaion Ultrametria
El onepto de matriz ultrametria esta ligado a la neesidad de obtener
lasiaiones jerarquias objetivas, espeialmente a partir de los trabajos
de Benzeri [8℄, Hartigan [55℄, Jardine et al. [61℄ [62℄, y Johnson [63℄.
La importania de ultrametria reside en:
a) dene sobre I una jerarqua indexada (C; ), es deir, C P (I ),
de modo que
1. I 2 C
2. fig 2 C
8i 2 I
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
21
3. 8 1 ; 2 2 C , la interseion 1 \ 2 es ;, o bien uno de los dos onjuntos
1 ; 2 esta ontenido en el otro.
4. Todo 2 C es igual a la reunion de los elementos de C que ontiene,
o bien no ontiene ningun otro elemento de C .
5. Existe una apliaion no negativa : C ! R tal que (fig) = 0, y
() < (0 ) si 0 . Esta apliaion reibe el nombre de ndie de
la jerarqua .
As, C es una lase de onjuntos no solapantes, on un orden ompatible
on el ndie .
b) Para todo r 2 R+ , la relaion binaria
i r j () Æ i j r
es de equivalenia si, y solo si Æ i j es ultrametria.
Reproamente, una jerarqua indexada (C; ) sobre I dene una matriz
ultrametria , pues basta denir
Æi j
= (i j )
donde i j es la mnima lase de C que ontiene fig y fj g.
Tales propiedades oneren a las ultrametrias un papel fundamental en
el estudio teorio de las lasiaiones, tal omo fuera iniiado por C. Linneo
en su famoso Sistema Natural y ontinuado, bajo la perspetiva matematia,
por Jardine, Sibson, Sokal, Rohlf, Sneath y otros, readores de la llamada
Taxonoma Numeria de las espeies vegetales y animales.
La representaion geometria de I se realiza mediante un grafo llamado
dendrograma, y es a traves del dendrograma que el taxonomista onstruye
la jerarqua indexada.
Por ejemplo, la matriz
0
1
0 1 1 4 4 5
B
0 1 4 4 5C
B
C
B
C
0
4
4
6
B
C
u = B
C
B
C
0
2
5
B
C
0 5A
0
sobre el onjunto I = f a; b; ; d; e; f g es ultrametria. I puede representarse mediante el dendrograma de la gura 1.1, que visualiza failmente la
jerarqua de onjuntos
C = ffag0 ; : : : ; ff g0 ; fa; b; g1 ; fd; e g2 ; fa; b; ; d; e g4 ; I5 g
donde se ha indiado el ndie de la jerarqua omo subndie.
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
22
Figure 1.1: Dendrograma representando la matriz ultrametria u
5
4
2
1
a
b
d
e
f
1.4.3 Representaion Cuadripolar
Si la motivaion de las matries ultrametrias proviene de la neesidad de
lasiar atendiendo a la similaridad atual de las espeies, la motivaion
para las matries uadripolares tiene su origen en los llamados arboles
evolutivos, que larian la logenia de las espeies (en lugar de espeies
podramos onsiderar ualquier otro ejemplo).
Consideremos un grafo onexo sin ilos uyos ejes tienen longitudes no
negativas y uyos extremos son los elementos de I . Las longitudes de los
aminos que unen los extremos generan una matriz de distanias de tipo
uadripolar. Este tipo de grafo, junto on la metria onsiderada, reibe el
nombre de arbol aditivo . Tambien se die que Æ i j es una distania aditiva o
que umple el axioma de los uatro puntos (Deniion 1.4.4).
Son propiedades fundamentales de los arboles aditivos y las matries
uadripolares:
a) Si es uadripolar, entones I se puede representar mediante un
unio arbol aditivo y reiproamente (Buneman, [9℄).
b) Si = (Æ i j ) es uadripolar, existe entones una matriz ultrametria
U = (ui j ), y una apliaion : I ! R tal que
Æ i j = ui j + (i) + (j )
(Sattah y Tversky [95℄).
Un arbol aditivo permite una fail visualizaion de I , que mantiene diferenias eseniales on un dendrograma, pues un arbol aditivo no dene una
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
23
Figure 1.2: Arbol aditivo representando la matriz uadripolar r
a
n
e
d
f
b
jerarqua indexada ni sus extremos equidistan de un punto raiz (gura 1.2).
Cuando un arbol aditivo representa un arbol evolutivo, los verties o nodos
representan elementos no perteneientes a I , de modo que pueden ser interpretados omo predeesores. La siguiente matriz sobre I = fa; b; ; d; e; f g
0
=
B
B
B
B
B
B
B
0 3 4 6
0 3 7
0 6
0
7
8
7
7
0
8
9
8
8
3
0
1
C
C
C
C
C
C
C
A
es uadripolar, y el arbol aditivo que representa I viene en la gura 1.2. Si
se tratara de una arbol evolutivo, entones las espeies a y b tendran un
anestro omun representado por el nodo n.
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
24
1.4.4 Representaion de Robinson
La motivaion de las matries de Robinson proviene de la neesidad de
ordenar ronologiamente los elementos de un onjunto I . Los terminos de
las las o olumnas de no dereen uando nos apartamos de la diagonal
prinipal a lo largo de ualquier la o olumna. Tales matries surgen tras
una adeuada ordenaion de , y reejan esenialmente una estrutura
unidimensional de los datos.
Por ejemplo, en la seriaion (orden ronologio) de objetos arqueologios,
la disimilaridad debe ser menor entre objetos eranos en el tiempo y mayor
entre objetos alejados, es deir, la estrutura unidimensional esta dominada
por el tiempo. Este problema equivale a ordenar I para obtener una matriz
fue el planteamiento original de Robinson [93℄.
de tipo uadripolar. Este
Pero las matries de Robinson juegan tambien un papel fundamental en
el estudio de las piramides introduidas por Diday [34℄, y Fihet [41℄, que
son una generalizaion de las jerarquas indexadas,
Una piramide en I es una lase de onjuntos P P (I ) que veria:
1. fig 2 P;
8i 2 I
2. I 2 P
3. La interseion de ualquier par p; p0 2 P puede ser ;, o bien p \ p0 2 P
4. Existe un orden que es ompatible on P
La ultima propiedad signia que si, por ejemplo, adoptamos el orden natural I = f1; 2; : : : ; n g en I , y p = fi1 ; : : : ; ik g 2 P , entones i1 < < ik .
Una piramide indexada (P; ) es una piramide on un ndie tal que
(fig) = 0, para todos los i 2 P , i (p) (p0 ) si p p0 .
Se die que es indexada en sentido amplio si para dos elementos p, p0 de
P , la inlusion estrita p p0 , junto on la igualdad (p) = (p0 ), implian
la existenia de p1 y p2 distintos de p tales que p = p1 \ p1 .
Una matriz de Robinson = (Æ i j ) reibe el nombre de Robinson fuerte
si para todas las uaternas ordenadas i j k l 2 I se veria que
Æi j
Æj l
= Æ i k =) Æ h j = Æ h k
= Æ k l =) Æ j m = Æ k m
si h i
si m l
Las propiedades que relaionan las matries de Robinson, las uadripolares
y las piramides son las siguientes:
1. Si es de Robinson (salvo permutaiones), entones I se puede representar mediante una piramide indexada en sentido amplio y reproamente (Diday [35℄).
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
25
2. Si es de Robinson y uadripolar, entones es Robinson fuerte
(Crithley[18℄).
El resultado (1) generaliza la biyeion entre ultrametrias y dendrogramas.
El resultado (2) arateriza las matries de Robinson que pueden ser representadas mediante un arbol aditivo. Cuando una matriz de Robinsos es
uadripolar, si i equidista de j y k, entones todos los predeesores de i
equidistan de j y k.
Figure 1.3: Ordenaion ronologia denida por una matriz Robinson fuerte
j
h
i
l
m
k
La gura 1.3 visualiza esta propiedad, donde la ordenaion
h<i<j=k<l<m
signia que j y k apareen simultaneamente en el tiempo.
La siguiente matriz sobre I = fa; b; ; dg
0
B
R = BB
0 1 2 3
0 1 2
0 1
0
1
C
C
C
A
es de Robinson, y dene la piramide
P = ffag; fbg; fg; fdg; fa; b g; fb; g; f; d g; fa; b; g; fb; ; d g; I g
y su representaion viene dada en la gura 1.4. Observese que
ultrametria.
R no es
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
26
Figure 1.4: Representaion piramidal de uatro objetos orrespondiente a
la matriz de Robinson R . A la dereha aparee una posible ordenaion
ronologia
a
B
BB B
B
BB B
b
B
B
BB
B BB B
B
BB
a
B
d
b
B
BB
B
d
Finalmente, la relaion entre las distintas lases de distanias que permiten representar un onjunto nito I , es la siguiente:
Euldea
*
Ultrametria
+
=) Aditiva =) Metria
Robinson
entendiendo por distania metria aquella que umple la desigualdad triangular.
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
27
1.5 Un Teorema fundamental y primeras onseuenias
Sea = (Æ i j ) una matrix n n de disimilaridades sobre un onjunto nito
U , on n elementos. Consideremos la matriz
1 2
Æ
A = (ai j )
ai j =
2 ij
y la matriz
B =H AH
(1.29)
donde
1
H = In
1 10
n n n
es la matriz entradora de datos , on 1n representando el vetor n 1 uyos
elementos son todos iguales a 1.
El siguiente teorema es fundamental para todo lo que sigue
TEOREMA 1.5.1 Sea una matriz n n de disimilaridades sobre U , y
B denida omo en (1.29). es euldea si, y solo si B es semidenida
positiva. Entones U puede ser representado por x1 ; : : : ; xn 2 Rp , siendo
p = rang (B ), de modo que
Æ i j 2 = kxi xj k2
8 i; j 2 U
(indiando por k k la norma euldea usual).
La demostraion puede enontrarse en Mardia et al. [78℄, Cuadras
[20℄, Seber [96℄. Sera muy importante tomar omo soluion la habitual
del Analisis de Coordenadas Prinipales (Torgerson [99℄, Gower [49℄). Consideremos la desomposiion espetral de B
B = V V 0 = X X0
donde X es la matriz n p onsistente en las p olumnas no nulas de V 1=2 .
Las las de X onstituyen la onguraion euldea deseada.
Se verian las siguientes propiedades:
a) Las olumnas de son los vetores propios de B , as que podemos
esribir la onguraion:
1
2
U
..
.
n
1 2 p
x1 1 x1 2 x1 p
x2 1 x2 2 x2 p
..
.. . .
.
. ..
.
.
xn 1 xn 2 xn p
x0 1
x0 2
..
.
x0 n
(1 2 p > 0)
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
28
El elemento i{esimo del onjunto U viene representado por el punto
0
x i = (xi 1 ; : : : ; xi p ) 2 Rp.
b) Los datos de la matriz X son entrados, es deir, se anulan las medias
de las olumnas:
X 0 1n = 0
n
1X
xj =
x =0
n i=1 i j
La varianzas de ada una de las olumnas de X son proporionales a los
valores propios de B :
n
1
1X
x2i j = j
s2 j =
n i=1
n
) Las variables (olumnas) de X son inorrelaionadas :
sj j 0 =
n
1X
x x 0 =0
n i=1 i j i j
d) Propiedad de optimalidad: Entre todas las proyeiones de U sobre
Rk, donde k p, la proyeion sobre las k primeras oordenadas prini-
pales es optima en el sentido de que si x1 (k); : : : ; xn (k) representan tales
oordenadas, y y1 (k); : : : ; yn (k) otras oordenadas, entones
X
X
kyi(k) yj (k)k2 kxi (k) xj (k)k2 = 2n (1 + + k )
i; j
i; j
La proporion de la variabilidad geometria de U que es expliada por
estas k primeras oordenadas es
0
B
k
X
Pk = B
i=1
i
1
,
p
X
i=1
i
C
C
A
100
Tales propiedades nos dien que la representaion euldea de U en dimension reduida goza de exelentes propiedades: es entrada, la ortogonalidad de los ejes puede interpretarse omo inorrelaion, y la resoluion
en dimension k es maxima. Haremos uso extensivo de estas propiedades,
aunque la eleion de las k oordenadas pueda ambiar en algunos problemas de prediion.
En el aso no euldeo, el omportamiento de la matriz de distanias se
reeja en el siguiente resultado:
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
29
TEOREMA 1.5.2 Sea una matriz n n de disimilaridades sobre el
onjunto nito U , y B omo en 1.5.1 Supongamos que B tiene p > 0 valores propios positivos y q > 0 valores
propios negativos. Entones existen
p
p
q
z1 ; : : : ; zn 2 R i R , on i = 1, es deir,
zj = (xj ; i yj ); on xj 2 Rp y yj 2 Rq
veriando que
Æ 2j k = kxj
xk k2
kyj yk k2
(j = 1; : : : ; n)
8 j; k = 1; : : : ; n
Vease una demostraion en Cuadras [20℄.
Los puntos z1 ; : : : ; zn uyas distanias reproduen pueden representarse en forma de una matriz de datos, on una parte real X y una parte
imaginaria Y :
1
..
U i.
..
.
n
siendo
1 2 p
x1 1 x1 2 x1 p
..
.. . .
.
. ..
.
.
xi 1 xi 2 xi p
..
.. . .
.
. ..
.
.
xn 1 xn 2 xn p
1 2 q
y1 1 y12 y1 q
..
.. . .
.
. ..
.
.
yi 1 yi 2 yi p
..
.. . .
.
. ..
.
.
yn 1 yn 2 yn p
z1
..
.
zi
..
.
zn
1 2 p > 0 >1 2 q
Observese que 1n es vetor propio de B de valor propio 0.
En este trabajo vamos a haer una apliaion sistematia de los teoremas
(1.5.1) y (1.5.2), pero no en el sentido de utilizarlos omo tenia de representaion de datos a lo largo de ejes prinipales, sino omo metodo analtio
de estableer propiedades de onjuntos y estruturas a traves del estudio de
las oordenadas prinipales.
La representaion de onjuntos, sea a traves de oordenadas prinipales,
sea a traves de dendrogramas, es y ha sido muy freuente en las apliaiones. Esta dualidad de representaion impulso a diversos espeialistas a
relaionarlas entre s. Gower [51℄ onjeturo que toda distania ultrametria
ui j sobre U es euldea, y propuso una medida del grado de ajuste de unos
datos a una representaion euldea, que es la base de la llamada representaion prorusteana . Tal onjetura fue demostrada por Holman [58℄, y
desde entones se han obtenido diversos resultados en esta lnea.
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
30
1.5.1 Representaion euldea de arboles ultrametrios
En este apartado se sintetizan algunas propiedades de la representaion
euldea de disimilaridades ultrametrias. Sea = (Æ i j ) una matriz ultrametria sobre un onjunto nito U de n elementos.
Proposiion 1.5.1 Supongamos que Æi j > 0 para i =6 j. Entones
euldea (n 1){dimensional.
es
Vease Holman [58℄, Gower y Baneld [52℄, Cuadras y Carmona [21℄.
Proposiion 1.5.2 Sea h1 = minfÆi j
: Æi j > 0g. Entones el mnimo
valor propio de la matriz B denida en el teorema (1.5.1) es 1 = 12 h21 .
Vease Cuadras [20℄.
Proposiion 1.5.3 Existe una partiion del onjunto U
U = U0 + U1 + + U r
tal que U0 esta formado por elementos aislados, y ada Uj , para j = 1; : : : ; r,
es un luster maximal de elementos equidistantes on distania omun hj .
Si 0 es el mayor valor propio de B , entones
1
0 > 2r = h2r 21 = h21
2
donde r 1 son valores propios de B . Ademas, la matriz X
desrita en el teorema (1.5.1) tiene tambien una partiion segun estos valores
propios:
X = (X0 jX1 j jXr )
veriandose que ada matriz Xj proporiona una representaion euldea
de Uj , para j = 0; 1; : : : ; r.
Vease Cuadras y Oller [22℄
Proposiion 1.5.4 U puede representarse perfetamente en dimension 1.
La representaion unidimensional signia que existe una transformaion
monotona D = f (), es deir, di; j = f (Æ i j ) veriando que
d = At
donde
d = (d1 2 ; d1 3 ; : : : ; d1 n ; d2 3 ; : : : ; dn 1 n )0
t = (t1 ; : : : ; tn 1 )0
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
31
on ti 0, y siendo A la matriz uyas primeras las son:
1
1
:::
1
:::
0
1
:::
1
:::
0
0
:::
1
:::
:::
:::
:::
0
:::
:::
:::
:::
:::
:::
Vease Crithley [17℄.
1.5.2 Otras representaiones euldeas
Proposiion 1.5.5
Sea una matriz uadripolar sobre U .
(
)
Entones = (Æ i j ) es euldea, siendo = (1=2)k , para k
1; 2; : : :, en dimension n 1.
=
Proposiion 1.5.6
Sea una matriz de Robinson sobre U .
Entones () = (Æ i j ) es euldea, siendo = (1=2)k , para k k0 , en
dimension n 1.
El teorema de Holman (proposiion 1.5.1) viene a deirnos que la representaion euldea y la que utiliza un dendrograma son aparentemente opuestas, pues la primera exige dimension reduida, mientras que la segunda
neesita nada menos que dimension n 1. La proposiion (1.5.3) sirve para
lariar la relaion entre ambos tipos de representaiones. La proposiion
(1.5.4) arma que una transformaion monotona de permite una ordenaion euldea unidimensional algo espeial, que puede ser utilizada omo
medio de representar el eje horizontal del dendrograma.
Sin embargo, las distanias uadripolares y de Robinson no son euldeas
en general. Los resultados (1.5.5) y (1.5.6) ligan ambas on la propiedad
euldea, pero poo mas se sabe al respeto.
La nalidad de este trabajo es apliar la tenia del analisis de omponentes prinipales al estudio de modelos de regresion y analisis disriminante,
uando tales modelos pueden ser estudiados a traves de distanias. El estudio se llevara a abo de forma similar al analisis de una matriz ultrametria
en el sentido de la proposiion (1.5.3).
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
32
1.6 Prediion basada en distanias
Sea Y una variable dependiente, un onjunto de variables independientes,
posiblemente de tipo mixto, es deir, onteniendo variables ontinuas, binarias, y ualitativas.
Supongamos que la observaion de Y sobre un onjunto U de n indivduos permite obtener una matriz de datos D a partir de la ual onstruimos una matriz n n de distanias . Sea X la matriz de oordenadas
prinipales obtenida a partir de (teorema 1.5.1). Vamos a onsiderar tres
tipos de problemas:
1. Predeir una variable ontnua Y omo una funion de regresion de ,
siendo un onjunto mixto de variables.
2. Predeir Y omo una funion de regresion no lineal de , siendo un
onjunto de variables ontnuas.
3. Predeir Y , disreta on g estados, omo un problema de lasiaion
siendo un onjunto mixto de variables.
El esquema de la prediion basada en distanias es:
U
! D
n+1
! x
n+1
Y
! X
! y
9
>
>
>
>
>
>
>
=
>
>
>
>
>
>
>
;
y(n + 1) = f (y; x; X )
siendo:
n+1
un nuevo individuo
x
las observaiones sobre n+1
y
las observaiones de Y sobre Y
X
las oordenadas prinipales sobre U
y(n+1) la prediion de Y para n+1
La formulaion general de este problema ha sido presentada por Cuadras
en [24℄.
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
33
1.6.1 Prediion on variables mixtas
Sea y el vetor n 1 el vetor de observaiones de Y sobre U . Utilizamos el
modelo de regresion
(1.30)
y = 1n + Xk k + e
donde Xk es una matriz n k resultante de elegir k n 1 oordenadas
prinipales (olumnas de X ) segun un riterio onveniente. k es un vetor
k 1 de parametros. Este modelo ha sido estudiado por Cuadras y Arenas
[25℄, probando que:
b0 = y
bk = k 1 Xk 0 y
yb (n + 1) = xk 0 k 1 Xk 0 y
k es la matriz diagonal k k on los k valores propios de B (ver teorema
(1.5.1)) que orresponden a los vetores seleionados en Xk ,
1
xk = k 1 Xk 0 (b d);
2
donde b = (b1 1 ; : : : ; bn n )0 es el vetor olumna n 1 uyos elementos son los
de la diagonal de B , y d = (Æ 21 1 ; : : : ; Æ 2n n )0 es el vetor olumna n 1 uyos
elementos son los uadrados de las distanias del nuevo individuo n+1 a
los U .
1.6.2 Regresion no lineal
Supongamos que
Y = f (1 ; : : : ; p) + e
es deir, Y es una funion de regresion no lineal de un onjunto =
(1 ; : : : ; p ) de p variables, que suponemos ontnuas.
Sean (i 1 ; : : : ; i p) ; (j 1 ; : : : ; j p ) observaiones sobre un par (i; j ) de
elementos de U . Cuadras [25℄ demuestra que adoptando la distania Æ i j
denida por
p
X
Æi2j =
ji h j hj
h=1
y apliando el modelo (1.30), se onsigue una buena prediion de Y sin
neesidad de onoer f .
En los aptulos 2 y 3 de esta memoria presentamos soluiones a algunos
problemas algebraios planteados por el estudio de esta distania.
DE LAS DISTANCIAS EN ESTADSTICA
CHAPTER 1. APLICACION
34
1.6.3 Analisis disriminante
Si Y tiene g estados, que podemos indiar 1 ; : : : ; g , la prediion sobre un
nuevo individuo, al que debemos asignar un valor de Y , es deir, uno de los
g estados, es equivalente al problema del Analisis Disriminante:
Dada la partiion de la poblaion U en las g subpoblaiones denidas
por los estados de Y
U = U1 [ U2 [ : : : [ Ug
donde Uk es el onjunto de los nk individuos para los que la prediion ierta
es k , lasiar el nuevo individuo n+1 en una de las g subpoblaiones.
Cuadras [24℄ estudia una regla de lasiaion que parte de las g funiones disriminantes
fk ( n+1 ) =
nk
1 X
Æ 2 (k )
nk i=1 i
nk
nk X
1 X
Æ 2 (k )
nk 2 i=1 j =i i j
donde k = (Æ i j (k)) es la matriz de distanias de la subpoblaion Uk , y
Æ i (k ); (i = 1; : : : ; nk ) las distanias de n+1 a los nk individuos de esta
subpoblaion.
Este metodo de disriminaion goza de buenas propiedades:
Equivale al disriminador lineal lasio en el aso de que sea un
onjunto de variables solo ontnuas, y tomando omo Æi j la distania
de Mahalanobis en U .
La probabilidad de lasiaion erronea es failmente alulable.
En aso de onoerse las probabilidades de asignaion a priori , estas
se pueden inorporar al modelo.
Puede ser apliado orretamente a disriminaion on variables mixtas.
El aptulo 5 de esta memoria es una ontribuion al estudio de este metodo.
Chapter 2
Modelo de regresi
on basado
en distanias
35
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
36
2.1 Deniion del modelo
Sea Y una variable respuesta ontnua y 1 ; 2 ; : : : ; p variables regresoras
ontnuas, disretas o mixtas. Supongamos iniialmente que las variables
son ontnuas, y sea
U = f1; 2; : : : ; ng
un onjunto de n individuos o unidades experimentales, sobre los uales
observamos las variables. El modelo de regresion multiple lasio es (Seber
[96℄):
yi = + i 1 1 + : : : + i pp + ei
(i = 1; : : : ; n)
(2.1)
que esribiremos en notaion matriial:
y=
1++e
(2.2)
donde y es el vetor n 1 de observaiones de la variable Y , es la matriz
n p que ontiene en la la i el vetor i (de dimension 1 p), on las
observaiones de las variables orrespondientes al individuo i. El esalar
y el vetor de dimension p 1, son los parametros del modelo, y el vetor
e, de dimension n 1, ontiene los errores aleatorios.
Sin embargo, el modelo 2.2 puede ser uestionable en los siguientes asos:
1. Las variables regresoras son mixtas
2. La relaion entre Y y 1 ; : : : ; p es no lineal
Poo se onoe aera del planteamiento mas adeuado en el aso (1). A
menudo se resuelve uantiando las variables ualitativas, pero el modelo
depende de la uantiaion elegida.
El aso (2) exige onoer la funion no lineal en el modelo de regresion,
es deir:
Y = f (1 ; : : : ; p) + e
A vees, tal onoimiento proviene de la naturaleza fsia del problema, pero
otras vees la funion f se desonoe. Si p = 1, lo mas omodo onsiste en
utilizar un modelo polinomio, pero si p > 1 este enfoque es mas ompliado.
Un nuevo enfoque al problema de denir un modelo de regresion y predeir los valores de Y sobre nuevos individuos, ha sido propuesto por Cuadras
[24℄ y estudiado por Cuadras y Arenas [25℄.
Las observaiones sobre U = f1; 2; : : : ; ng de las variables regresoras
permiten, mediante una eleion adeuada de una funion de distania, enontrar una matriz de distanias = (Æ i j ) de orden n n. Supongamos
que la distania es euldea. Entones, apliando el teorema (1.5.1), existe
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
37
una matriz X de dimension n p tal que B = X X 0 , siendo p = rang (B ).
Elegimos la llamada soluion de oordenadas prinipales, por lo que podemos ontar on las propiedades desritas en la seion 5 del aptulo 1.
Introduimos entones el p{modelo, es deir, un modelo total de dimension maxima p omo sigue:
Y
= 1 + X + e
(2.3)
Observese que ahora X no ontiene observaiones sobre variables regresoras ,
sino las oordenadas prinipales obtenidas de .
2.1.1 Propiedades generales del modelo global
Las estimaiones LS (mnimos uadrados) de y vienen dadas por
b = 1 X 0 y
(2.4)
b = y
siendo = diag (1 ; : : : ; p ) la matriz diagonal de valores propios de B .
El oeiente de determinaion, es deir, el uadrado del oeiente de
orrelaion multiple entre Y y X viene dado por
y0 X 0 1 X 0 y
P
R2 =
(2.5)
(yi y)2
Supongamos ahora que n+1 es un nuevo individuo del que onoemos
las observaiones sobre las variables independientes . Tales observaiones
permiten alular las distanias entre n+1 y ada uno de los individuos de
I:
i2I
Æ n+1; i = Æ ( n+1 ; i )
A partir de ellas podemos haer una prediion empleando el siguiente resultado (Gower [50℄), que relaiona el vetor d = (Æ 2n+1; 1 ; : : : ; Æ 2n+1; n )0 de los
uadrados de estas distanias on el vetor xn+1 = (xn+1; 1 ; : : : ; xn+1; p ) de
las oordenadas prinipales atribuibles al nuevo individuo.
Proposiion 2.1.1
1
x0n+1 = 1 X 0 (b d)
(2.6)
2
siendo b el vetor de dimension n 1 que ontiene los elementos diagonales
de la matriz B .
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
38
Demostraion:
Æ 2n+1;i
= (xn+1 xi ) (xn+1 xi )0
= xn+1 x0n+1 + xi x0i 2xn+1 x0i
(2.7)
Sumando para i de 1 a n, y teniendo en uenta que las olumnas
de X suman 0
n
X
i=1
Æ 2n+1;i
= nxn+1 x0n+1 + trB
Sustituyendo en (2.7)
1
n+1 = n
2xi x0
n
X
i=1
!
Æ2
n+1;i
trB + bi; i
Æ 2n+1;i
Superponiendo estas n euaiones en forma matriial
1
2X x0n+1 =
n
n
X
i=1
Æ2
n+1;i
!
trB
1n + (b
d)
Finalmente, el resultado se obtiene multipliando a la izquierda
por X 0 , dado que X 0 1n = 0. 2
El modelo (2.3) depende de la distania Æ i j elegida, ontiene el modelo de
regresion lasia omo aso partiular, pero es espeialmente interesante en
los asos mixto y no lineal, on tal de elegir una distania adeuada.
2.1.2 Regresion lineal lasia
Si las variables = (1 ; : : : ; p ) son ontinuas, el modelo de regresion lineal
lasio es
y = 1 + + e
(2.8)
donde es la matriz de dimension n p formada por los n vetores 1 ; : : : ; n
(de dimension 1 p) de observaiones de las variables orrespondientes a
los n individuos,
Elijamos ahora la distania euldea al uadrado
Æ 2 = (i j )0 (i j ) = 0 i + 0 j 2 0 j
ij
i
La matriz (2) = (Æ 2i j ) veria
(2) = SF + SC
2 0
j
i
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
39
donde SF tiene las las iguales y SC tiene las olumnas iguales. Como
HSF = SC H = 0, la matriz B (Teorema 5.1) es
B = (H ) (0 H ) = X X 0
Aspues, al apliar el modelo de regresion basado en distanias a este aso,
obtenemos
y = 1 + X + e
(2.9)
que es equivalente al anterior. En efeto, 2.9 es el modelo 2.8 expresado en la
forma entrada y ortogonal, es deir, donde las variables se han entrado en
la media y se ha llevado a abo una transformaion lineal que las onvierte
en ortogonales.
Sea ahora el vetor de observaiones sobre un nuevo individuo. Entones la distania euldea al uadrado del individuo n+1 al individuo i
del onjunto de referenia I es:
Æ 2 = k i k2 = kx xi k2 = x0 x + bi i 2x0 xi
i
Siendo x el vetor de observaiones de n+1 respeto a 2.9. La euaion
anterior nos permite esribir
(b d)0 = 2 x0 X 0 x0 x 10
on lo ual, la prediion para n+1 es
ybn+1 = y + x0 X 0 X 2 X 0 y = y + x0 1 X 0 y
(2.10)
que es la misma formula que obtendramos utilizando regresion lasia, bajo
el modelo ortogonal entrado.
2.1.3 Regresion on variables ualitativas
Supongamos que = (1 ; : : : ; p ) son variables ualitativas, y que r posee
qr estados exluyentes. Una medida bastante utilizada de similaridad entre
dos individuos i, j es mi j , el numero de estados presentes simultaneamente
en i y en j . Como mi j p, una medida de distania viene dada por
Æ 2i
= 2 (p mi j )
Por otra parte, odiando los estados de r omo qr variables binarias
0=1, es evidente que Æ 2i es una distania eulidea. Luego el modelo DB
proporiona losPmismos resultados que el modelo lasio si tratamos las p
variables omo pr=1 qr variables binarias 0=1.
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
40
2.1.4 Regresion on variables mixtas
Supongamos que el onjunto de variables regresoras onsta de p1 variables
ontinuas, p2 variables diotomias, y p3 variables ualitativas. Se puede
onstruir un modelo de regresion basado en la distania Æ i j 2 = 2 (1 si j ),
siendo
p1 X
si j = k=1
j
xi k xj k j + a + mi j
1
R
k
(2.11)
p1 + (p2 d) + p3
donde mi j es el numero de estados presentes simultaneamente para las p1
variables ualitativas, a y d representan el numero de oinidenias 1=1 y
0=0, respetivamente, para las p2 variables diotomias, y Rk es el rango
de la k{esima variable ontinua. La expresion 2.11 ha sido propuesta por
Gower [51℄, y su utilizaion ha dado muy buenos resultados [25℄.
2.1.5 Regresion no lineal
El modelo de regresion no lineal
yi = f (xi 1 ; : : : ; xi p ) + ei
i = 1; : : : ; n
(2.12)
ha sido poo estudiado porque se pierden muhas de las propiedades geometrias y estadstias que permiten el elegante tratamiento del modelo
lineal (ver se 2.1, ap 1). Sin embargo, reientemente se ha prestado
mayor atenion al tema, (veanse, por ejemplo, los libros de Ratkowsky [91℄
y Seber and Wild [97℄).
El modelo 2.3 basado en distanias permite tambien abordar on exito
algunos problemas que en prinipio requeriran el modelo (2.12). El metodo
onsiste en utilizar omo distania al uadrado entre dos observaiones de
las variables regresoras la distania valor absoluto denida omo
Æ 2 = jxi 1 xj 1 j + + jxi p xj p j
(2.13)
ij
Segun veremos en el teorema (2.2.1), = (Æ i j ) es una matriz de distanias euldeas (entendiendo este onepto omo existenia de una onguraion de puntos en un espaio euldeo uya matriz de interdistanias es
), aunque la funion Æi j 2 de las variables x no es una forma uadratia.
Este modelo de regresion tiene tres importantes ventajas:
1. No es neesario onoer una funion f .
2. Es posible alular un oeiente de determinaion R2 que mida el
grado de ajuste al modelo.
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
41
3. No presenta los deliados problemas numerios de onvergenia, propios de los ajustes a modelos no lineales.
Ejemplo 2.1.1 A y Azen [1℄ (pp. 187{188) onsideran el siguiente modelo de regresion:
H = (1 exp( t))
(2.14)
que relaiona la onentraion de hormona H on el tiempo t. La estimaion
LS de los parametros y del modelo 2.14, on los datos de la tabla 1, es:
b = 0:1758
b = 0:1531
Para estos mismos datos, utilizando el modelo DB, se obtiene un oeiente
de determinaion R2 = 0:9971. La siguiente tabla detalla las prediiones
Hb de los valores de H orrespondientes a los valores observados empleando
los dos modelos.
t
H
0.0
1.0
1.5
2.0
2.5
3.0
3.5
4.0
4.5
5.0
5.5
6.0
6.5
7.0
7.5
8.0
0.000
0.025
0.035
0.045
0.055
0.065
0.075
0.082
0.088
0.094
0.100
0.105
0.110
0.115
0.120
0.125
Hb , segun el modelo 2.14 Hb , segun el modelo DB
0.000
0.025
0.036
0.046
0.056
0.065
0.073
0.081
0.088
0.094
0.100
0.106
0.111
0.116
0.120
0.124
0.004
0.022
0.033
0.044
0.055
0.065
0.074
0.083
0.090
0.095
0.100
0.103
0.107
0.115
0.121
0.126
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
42
2.2 Estudio de la distania Valor Absoluto
Supongamos que p variables ontinuas X1 ; : : : ; Xp permiten obtener las observaiones xi = (xi 1 ; : : : ; x1 p ) sobre ada individuo i del onjunto U =
f0; : : : ; ng.
Como hemos visto anteriormente, la regresion no lineal a traves del modelo DB se basa de un modo bastante eiente en la distania Valor Absoluto.
Æ 2 = jxi 1 xj 1 j + + jxi p xj p j
(2.15)
ij
En las seiones siguientes proponemos un estudio de esta distania que proporione una justiaion teoria de su buen omportamiento en la prediion
segun el modelo DB.
En primer lugar, se demuestra la siguiente propiedad basia
TEOREMA 2.2.1 La matriz de distanias (2) = (Æ2i j ) es euldea.
Demostraion: La matriz
(2) de distanias al uadrado es la
suma de p matries
(2) = (1) (2) + + (p) (2)
donde ada sumando ontiene informaion de una de las variables
(k) (2) = (Æ2 (k)) = (jxi k xj kj)
ij
Veamos que ada una de las matries (k) (2) es euldea: Podemos suponer, sin perdida de generalidad, que para una variable
k ja, tenemos las desigualdades:
x0 k x1 k : : : xn k
(el aso general se obtiene reordenando los individuos).
En estas ondiiones, se observa por alulo direto que la matriz
de distanias eulideas entre los puntos
0: (
1: (
2: (
i
:
(
p
p
0
;
x1
x0
;
x1
x0
;
p
:::
x1
: (
p
x1
x2
0
0
0
;
;
x1
;
:::
x0
;
:::
n
p
0
0
:::
;
:::
:::
;
;
:::
;
;
:::
;
0
0
0
:::
;
p
xi
:::
x0
;
xi
:::
1
;
:::
0
;
:::
;
p
xi
xi
)
)
)
)
:::
1
;
:::
;
p
xn
xn
1
)
(2.16)
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
43
oinide on la matriz (k) (2) . (Se ha omitido el subndie
omun k en las x, por laridad de notaion). Por tanto, la matriz
B (k) = H (
es denida positiva.
Finalmente,
1
(k) (2) ) H
2
1 (2)
)H
2
es una matriz denida positiva, por ser suma de matries de
esta lase.2
B =H (
2.2.1 El aso unidimensional equidistante
Las diultades que presenta el estudio de la distania 2.15 aonsejan abordar primero el aso de un onjunto unidimensional de puntos equidistantes,
para los que tomaremos oordenadas on valores enteros.
Consideremos el onjunto U = f0; 1; : : : ; ng, y denamos sobre U la
distania
Æ 2i j = ji j j
(2.17)
Como la obtenion direta de las oordenadas prinipales a partir de la
matriz de distanias (2) , por diagonalizaion de
1 (2)
)H
2
donde H es la matriz de entrado de dimension (n + 1; n + 1), es algo
ompliada, las deduiremos indiretamente por transformaion de una matriz de oordenadas euldeas entradas X , uya matriz de interdistanias
(euldeas) sea igual a 2 . Podremos enontrar tal onguraion ya que la
matriz de distanias asoiada a U por la distania valor absoluto es euldea.
El proedimiento onsiste en alular las omponentes prinipales (vetores propios de la matriz de ovarianzas) de X1 ; : : : ; Xn , y transformar X
on la matriz ortogonal de vetores propios obtenida de este alulo. Es
deir, si C es la matriz de ovarianzas de X , entones las oordenadas prinipales vienen dadas por
Y =X V
(2.18)
siendo C = V V 0 la desomposiion espetral de C , puesto que
Y Y 0 = X X0 = B
Y 0 Y = V 0 X0 X V = V 0 C V = B =H (
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
44
(vease Mardia [78, Teorema 14.3.1℄).
Partimos de las oordenadas euldeas proporionadas por las variables
onvenionales X1 ; : : : ; Xn siguientes
Individuos
0
1
2
3
n 1
n
X1
n
1
1
1
..
.
1
1
X2
Variables
X3
(n 1)
(n 1)
2
2
..
.
2
2
: : : Xn
(n 2) : : :
(n 2) : : :
(n 3) : : :
3
:::
..
.
3
:::
3
:::
..
.
1
1
1
1
1
n
(2.19)
Proposiion 2.2.1 Estas variables denen una representaion euldea del
onjunto U on la distania 2.17 (salvo un fator irrelevante de n + 1)
Demostraion: Se ha obtenido la matriz (2.19) multipliando a
la izquierda
0
A=
B
B
B
B
B
B
B
B
B
B
B
B
B
0
1
1
1
1
..
.
1
1
0
0
1
1
1
..
.
1
1
0 ::: 0 0
0 ::: 0 0
0 ::: 0 0
0
0 0
1
0 0
..
...
.
1
1 0
1 1 ::: 1 1
0
0
0
1
1
1
C
C
C
C
C
C
C
C
C
C
C
C
C
A
por la matriz de entrado de dimension (n + 1; n + 1)
H = In+1
1
1 10
n + 1 n+1 n+1
(on un fator (n + 1) a n de obtener oordenadas enteras, mas
manejables)
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
45
Se puede omprobar diretamente que: las las de A onstituyen
una onguraion euldea que orresponde a los puntos de U on
la distania valor absoluto.
Finalmente, el produto a la izquierda por H onserva las
distanias euldeas entre las. 2
Por onstruion, las medias de las variables (olumnas) de X son nulas:
X i = 0;
i = 1; : : : ; n.
1 X 0 Xj . Para i < j , las
La ovarianza entre Xi y Xj es i j = n+1
i
oordenadas i y j son:
Xi
i
j i
n j
Xj
8
>
>
>
>
>
>
>
<
(n + 1 i)
..
.
(n + 1 j )
..
.
>
>
>
>
>
>
>
:
..
.
(n + 1 i)
..
.
(n + 1 j )
8
>
>
>
>
>
>
>
<
i
..
.
(n + 1 j )
..
.
>
>
>
>
>
>
>
:
..
.
i
..
.
(n + 1 j )
8
>
>
>
>
>
>
>
<
i
..
.
j
..
.
>
>
>
>
>
>
>
:
..
.
i
..
.
j
Luego:
Xi0 Xj = i (n + 1 i) (n + 1 j ) (j
= i (n + 1) (n + 1 j )
i) i (n + 1 j ) + (n + 1 j ) i j
Con lo ual:
i j = i (n + 1 j )
j i = i j
ij
(2.20)
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
46
o, equivalentemente
i j = (n + 1) minfi; j g i j
(1 i; j n)
Por ejemplo, para n = 4 es
0
B
C =B
B
4
3
2
1
3
6
4
2
2
4
6
3
1
2
3
4
1
C
C
C
A
Observemos que la parte superior de C y la parte inferior son iguales
salvo simetras y permutaiones. En general, para un onjunto de n + 1
individuos, la matriz C (de dimension n) umple la siguiente propiedad:
Ci; j = Cn+1
j; n+1 i
(2.21)
En la seion siguiente vamos a estudiar on mas detalle las matries que
presentan esta estrutura, y en partiular, sus valores y vetores propios.
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
47
2.3 Estrutura de las matries entro{simetrias
2.3.1 Deniion
Dada una matriz C de dimension (n; n), designaremos por C ℄ la anti{transpuesta de C , es deir, el resultado de efetuar la operaion de transposiion
respeto la antidiagonal
C ℄ i; j = Cn+1
j; n+1 i
Esta operaion puede desribirse mediante la aion sobre C de la matriz de
permutaion W (n), denida omo la matriz de dimension (n; n), que tiene
todos los elementos de la antidiagonal iguales a 1 y todos los demas nulos.
Wi j = Æi; n+1
j
W (n) representa la permutaion de longitud maxima (permutaion total)
sobre un onjunto de n elementos:
(1; : : : ; n) 7! (n; : : : ; 1)
W es idempotente, simetria (y, evidentemente, W ℄ = W ). En lo suesivo
omitimos el orden n en la notaion de la matriz W , siempre que resulte laro
del ontexto.
El resultado de la operaion de W sobre una matriz C es
W C W = W0 ℄ = W℄
0
que equivale a apliar la permutaion total a las y olumnas de C , o bien
a transponer suesivamente respeto las dos diagonales de C .
Deniion 2.3.1 Una matriz uadrada C es entro{simetria si W C W =
C , o equivalentemente, si onmuta on W . Los elementos de una matriz
entro{simetria C de dimension (n; n) verian que Ci; j = Cn+1 i; n+1 j
Este tipo de matries apareen tambien en el estudio de Euaiones Integrales en Fsia Matematia. Algunas propiedades elementales pueden
enontrarse en Cord y Sylvester [14℄ y en Good [48℄.
Un aso partiular notable de matries entro{simetrias es el de las
matries de Toeplitz, que se denen omo aquellas matries en las que todos
los elementos de las diagonales equidistantes de la diagonal prinipal son
iguales.
Las matries entro{simetrias tienen la siguiente estrutura en ajas
Si n es par (sea n = 2 q),
C=
M
N W
W N W M W
!
(2.22)
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
48
Si n es impar (sea n = 2 q + 1),
0
C=B
M W u N W
v0 W
p
v0
W N
u W M W
1
C
A
(2.23)
donde M y N son matries (q; q), u y v son vetores (q; 1), p es un esalar,
y las W que apareen en las ajas representan la matriz W (q).
En general, una matriz entro{simetria no es simetria. De las expresiones en ajas 2.22 y 2.23 se dedue que la ondiion de simetra para una
matriz entro{simetria C es
Si n = 2 q, C es simetria () M y N son simetrias
Si n = 2 q + 1, C es simetria () M y N son simetrias, y u = v
La matriz de ovarianzas de la seion anterior, para un onjunto de n + 1
puntos equidistantes, es una matriz simetria y entro{simetria de dimension (n; n). Sus ajas omponentes son
Si n = 2 q,
Mi j = (2 q + 1) minfi; j g i j
Ni j = i j
(2.24)
(2 q + 2) minfi; j g i j
ij
(q + 1)2 (q + 1) i
(q + 1)2
(2.25)
Si n = 2 q + 1
Mi j
Ni j
ui
p
=
=
=
=
2.3.2 Valores y vetores propios
De la deniion anterior se sigue que los subespaios propios de W son
invariantes por la aion de de una matriz entro{simetria C , propiedad
que emplearemos en la desripion de los vetores propios de C
Deniion 2.3.2 Daremos el nombre de espaio impar al subespaio propio
de W orrespondiente al valor propio +1
F = fx 2 Rn jW x = xg
y de espaio par al subespaio propio de W orrespondiente al valor propio
1
G = fx 2 Rn jW x = xg
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
49
El espaio Rn desompone en suma ortogonal de F y G
(
q
si n = 2 q
q + 1 si n = 2 q + 1
dim G = q
(en ambos asos)
dim F =
(2.26)
(2.27)
Los vetores de F tienen la estrutura en ajas
x
W x
0
B
x
y
W x
!
si n = 2 q
1
C
A
si n = 2 q + 1
donde x es un vetor olumna de dimension (q; 1), y y es un esalar.
Los elementos de G tienen la estrutura en ajas
x
W x
0
B
Proposiion 2.3.1
x
0
W x
!
si n = 2 q
1
C
A
si n = 2 q + 1
1) Si x es un vetor propio de una matriz entrosimetria C on valor
propio , entones x = f + g, siendo f 2 F , g 2 G vetores propios de C
on valor propio . En partiular, si es un valor propio simple, entones
x2F o x2G
2) Si C es positiva (en el sentido de tener todos sus elementos positivos),
entones el valor propio maximo es positivo y simple, y el vetor propio
orrespondiente pertenee a F ,
Demostraion: Si C x = x, onsideramos la desomposiion
x = f + g, siendo f 2 F y g 2 G. Entones C x = C f + C g =
f + g, por tanto, C f = f , y C g = g.
La segunda parte resulta del teorema de Perron: el valor propio
maximo es positivo y simple, y podemos tomar todas las
omponentes de su vetor propio positivas, lo que es
inompatible on la pertenenia a G. 2
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
50
Teniendo en uenta la primera parte de esta propiedad, en muhos asos de
interes, y en onreto, en el aso de la matriz de ovarianzas de los puntos
equidistantes, que tiene n valores propios distintos, segun veremos en el
Captulo 3, el alulo de vetores propios de una matriz entro{simetria se
redue a un problema analogo en dimension mitad.
En efeto, si n = 2 q, la euaion de los vetores propios ontenidos en F
C
x
W x
!
M
N W
=
W N W M W
!
(
M
+
N
)
x
=
W (M + N ) x
!
x
= W x
!
x
W x
!
equivale al problema de vetores propios de la matriz M + N de dimension
(q; q). Analogamente, la euaion de los vetores propios ontenidos en G
equivale al problema de vetores propios de la matriz M N de dimension
(q; q).
Si n = 2 q + 1, la euaion para los vetores propios ontenidos en G es
tambien equivalente al problema de vetores propios de la matriz M N de
dimension (q; q), mientras que para los vetores propios ontenidos en F , se
obtiene
0
0
1 0
1
1
x
x
M W u N W
B 0
C B
y C
y C
p
v0
C B
A
A
A = v W
W N
u W M W
W x
W x
0
1
(M + N ) x + W uy
2 v0 W x
+ py C
= B
A
W (M + N ) x + u y
0
1
x
y C
= B
A
W x
que equivale al problema de vetores propios para la matriz de dimension
(q + 1; q + 1)
!
M +N W u
2 v0 W
p
2.3.3 Las matries B y Be
La propiedad de entro{simetra de la matriz de ovarianzas C de la seion
anterior permite apliar estas propiedades al estudio de sus valores y vetores
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
51
propios
La matriz M + N , que aparee en el alulo de los vetores propios de
C ontenidos en F es, segun (2.24) y (2.25), un multiplo de la matriz
0
B (q) =
B
B
B
B
B
B
1
1
1
..
.
1
1 :::
2 :::
3 :::
...
3 :::
1
2
2
..
.
2
1
2
3
..
.
q
1
C
C
C
C
C
C
A
de omponentes
B (q)i j = minfi; j g
1 i; j q
(
(2 q + 1) B (q) si n = 2 q
(2 q + 2) B (q) si n = 2 q + 1
En el aso n = 2 q, la matriz M N que aparee en el alulo de los
vetores propios de C ontenidos en G es una matriz de dimension (q; q),
que denotaremos Be (q), on elementos
M +N =
Be (q)i j = (2 q + 1) minfi; j g 2 i j
y, on una notaion mas ompata
Be (q) = (2 q + 1) B (q) 2 b(q) b(q)0
donde b(q) es el vetor de dimension (q; 1)
b(q) = (1; 2; : : : ; q)0
En el aso n = 2 q + 1, la matriz M
N es igual al doble de la matriz
C (q) = (q + 1) B (q) b(q) b(q)0
(es deir, una matriz omo la misma C , pero de dimension (q; q)).
Finalmente, el problema de valores y vetores propios de dimension q +1
que aparee en el alulo de los vetores propios de C ontenidos en F en el
aso n = 2 q + 1, tambien puede expresarse en funion de la matriz B (q + 1).
Dado que W u = W v = (q + 1) b(q), este problema queda
2 (q + 1) B (q) (q + 1) b(q)
2 (q + 1) b(q)0 (q + 1)2
!
x
y
!
=
x
y
!
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
52
que, tomando xq+1 = y=2, y teniendo en uenta la estrutura de la matriz
B , es igual a la euaion
2 (q + 1) B (q + 1) x = D(q + 1) x
donde x = (x1 ; : : : ; xq+1 ), y D(q + 1) es la matriz diagonal de dimension
(q + 1; q + 1) uyos n primeros elementos son iguales a 1, y el elemento q + 1
es igual a 2.
Observese, ademas, que se veria la igualdad
B (q) + Be (q) = 2 C (q)
En resumen, se maniesta que las tres familias de matries C (q), B (q) y
Be (q) estan inseparablemente relaionadas, no solamente por el heho de
apareer las B y Be omo ajas de dimension mitad al estudiar la matriz C ,
sino tambien uando se omparan en igual dimension.
A ontinuaion debemos abordar el estudio de la estrutura de vetores
propios de estas matries. Por laridad de exposiion, hemos agrupado todos
los alulos y demostraiones en el aptulo 3, y en la seion siguiente
empleamos los resultados para eslareer la estrutura de las oordenadas
prinipales de la distania Valor Absoluto.
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
53
2.4 Coordenadas prinipales de la distania Valor
Absoluto
En esta seion se aplian los resultados obtenidos en el aptulo 3 sobre las
matries B , Be y C a la desripion de las oordenadas prinipales para la
distania valor absoluto.
La onlusion a que se llega, prinipal resultado de este aptulo, es la
interpretaion de las oordenadas prinipales de la distania Valor Absoluto
omo funiones polinomias de grado reiente on el ndie del orrespondiente eje prinipal.
Este heho proporiona una expliaion razonable al buen omportamiento
de la regresion basada en la distania Valor Absoluto, pues permite interpretar este modelo omo una proyeion del vetor de observaiones sobre
ejes prinipales que denen dimensiones lineales, uadratias, ubias, et.
Ejemplo: Para n+1 = 9 obtenemos las siguientes 4 primeras oordenadas
prinipales, asimilables a dimensiones de tipo lineal, uadratia, ubia, y
uartia.
Coordenada
1
8.290
2
2.137
3
1.000
4
0.605
Autovalor:
Individuo
1
{1.337
0.648
{0.408
0.2809
2
{1.176
0.345
0.000
{0.1833
3
{0.873
{0.120
0.408
{0.3446
4
{0.464
{0.528
0.408
0.0637
5
0.000
{0.689
0.000
0.3667
6
0.464
{0.528
{0.408
0.0637
7
0.873
{0.120
{0.408
{0.3446
8
1.176
0.345
0.000
{0.1833
9
1.337
0.648
0.408
0.2809
Dimension Lineal (3) Cuadratia (+) Cubia (2) Cuartia ()
El grao siguiente orresponde a estas oordenadas prinipales, y pone de
maniesto la interpretaion de ada oordenada. (Se ha esalado independientemente ada oordenada, para mejor visualizaion)
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
54
+
2
2
+
2
+
2 3
3
3
1 2
3
+
3
2
3
3
+
2
5
+
2
+
+
4
3
+
2
3
3 2
6
7
8 9
Como advertamos en la seion 2.2.1, en lugar de hallar las oordenadas
prinipales sobre el onjunto de n + 1 puntos equidistantes
sobre una reta,
q
dotado de la distania Valor absoluto, Æ (xi ; xj ) = jxi xj j por apliaion
direta del teorema 1.5.1, pratiamos un analisis de omponentes prinipales sobre la matriz de datos 2.19
(
Xi j =
j
(n + 1) + j
si i < j
si i j
i = 0; : : : ; n
j = 1; : : : ; n
y, una vez obtenida la desomposiion espetral de la matriz de ovarianzas
C = V V 0 , alulamos la matriz Y de oordenadas prinipales por
Y =X V
TEOREMA 2.4.1 Los elementos de la olumna j de Y , para j = 1; : : : ; n,
vienen dados por
Yi j = aj
bj Tj (zi )
i = 1; : : : ; n + 1
(2.28)
donde Tj es el j {esimo polinomio de Thebythev de primera espeie, aj y bj
son onstantes, y los zi 2 [ 1; 1℄ son los n + 1 eros del polinomio Tn+1 (z ),
es deir,
2i 1
i = 1; : : : ; n + 1
zi = os
2n + 2
BASADO EN DISTANCIAS
CHAPTER 2. MODELO DE REGRESION
55
Demostraion: Empleando la expresion (3.20) para la matriz V
de vetores propios
Yi j =
=
n
X
k=1
Xi k Vk j =
n
X
kj n+1
2 n + 2 k=1
n
X
p
kj 2 n + 2 sin
n+1
k=i
p 2
k sin
Ahora, empleando la identidad
2
1 4 os
sin(k ) =
2
k=1
n
X
n + 12 os 2
sin 2
3
5
en el segundo sumando, obtenemos
n
X
k=i
sin
kj =
n+1
"
1 os i
2
1
2
j n+1 os n + 21
sin 2 nj+2 j n+1 #
Agrupando omo aj y bj los terminos que no dependen de i, y teniendo en uenta la deniion de los polinomios de Thebythev
de primera espeie,
Tj (z ) = os(j )
obtenemos el enuniado. 2
siendo z = os()
Chapter 3
Estrutura de una lase
param
etria de matries
56
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
57
3.1 Propiedades elementales
En este aptulo vamos a estudiar las matries C , B y Be introduidas en el
aptulo 2, que supondremos de dimension (n; n) salvo indiaion ontraria.
Veremos que apareen omo asos partiulares de una lase parametria de
matries Fn (a).
Los elementos de estas matries son
Bi j = minfi; j g
i; j = 1; : : : ; n
e
Bi j = (2 n + 1) minfi; j g 2 i j
i; j = 1; : : : ; n
Ci j = (n + 1) minfi; j g i j
i; j = 1; : : : ; n
(3.1)
Se verian las siguientes relaiones entre las matries B , Be y C :
C = (n + 1) B b b0
Be = (2 n + 1) B 2 b b0
(3.2)
1
C = [B + Be ℄
2
0
siendo b = (1; 2; : : : ; n) . De heho, dado que b oinide on la ultima
olumna de B , vemos que la estrutura de B es fundamental para el estudio de las otras dos matries.
Otra propiedad relevante de B es su desomposiion a la Cholesky:
B = M M0 = N2
(3.3)
siendo
0
M=
B
B
B
B
B
B
1
1
1
..
.
1
0 0 :::
1 0 :::
1 1 :::
...
1 1 1
0
0
0
0
1
1
0
C
C
C
C
C
C
A
B
B
B
B
B
B
N=
0 ::: 0
0 ::: 0
0 ::: 1
..
.
1 1 1
0 1
1 1
1 1
..
.
1 1
1
C
C
C
C
C
C
A
En partiular, B es denida positiva y det(B ) = 1. Igualmente C es
denida positiva, al ser una matriz de ovarianzas, y segun veremos en el
apartado siguiente, tambien Be tiene esta propiedad.
Los valores propios de B son onoidos (Vease Frank [43℄)
1
2i 1
1
i = 1; : : : ; n
(3.4)
i = 1 os
2
2n + 1
mientras que los vetores propios no pareen ser bien onoidos. Segun
Graybill ([53℄, pp. 186{187), B pertenee a una familia de matries uya
estrutura araterstia \es difil de evaluar en general".
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
58
Las relaiones 3.2 y las propiedades vistas en el aptulo anterior indian
que los vetores propios de B , Be y C deben estar muy relaionados, omo
onrmamos en lo que sigue.
Introduimos la siguiente familia parametria de matries (dependientes
del parametro a) 1
0
Fn (a) =
B
B
B
B
B
B
B
B
2
1
0
..
.
0
0
1
2
1
0
1
2
0 :::
0 :::
1 :::
0
0
0
0
0
0
0
0
0
0
0 :::
0 :::
2
1
1
a
1
C
C
C
C
C
C
C
C
A
(3.5)
Es inmediato omprobar que
det Fn = n (a 1) + 1
Tambien por alulo direto se muestra que Fn (1) = B 1 , de modo que
0
B
B
Fn (a) = B 1 + (a 1) B
B
0
..
.
0
1
1
C
C
C
C
A
(0; : : : ; 0; 1)
expresion que permite el alulo de la inversa de Fn (a)
1
G (a )
Fn 1 (a) =
n (a 1) + 1 n
donde
Gn(a) = (n (a 1) + 1) B (a 1) b b0
(3.6)
La importania de Gn(a) se debe a que permite generar los tres tipos de
matries anteriores. Comparando on las relaiones 3.2 se observa que
B = Gn (1)
C = Gn (2)
Be = Gn (3)
Ejemplo:
0
1
Gn (1) = 11
1
1
Para n = 4 obtenemos
0
1 1 11
4
2 2 2 A Gn (2) = 3
2 3 3
2
2 3 4
1
3
6
4
2
2
4
6
3
Observese que Fn (2) es una matriz de Toeplitz.
(3.7)
1
2
3
4
1
0
A
Gn (3) = 7
5
3
1
5
10
6
2
3
6
9
3
1
2
3
4
1
A
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
59
3.2 Vetores propios
3.2.1 Valores y vetores propios de Fn (a)
Los valores y vetores propios de Fn (a) se expresan por medio de los polinomios de Thebythev de segunda espeie:
U0 ( ) = 1
U1 ( ) = 2 Uk+2 ( ) = 2 Uk+1 ( ) Uk ( )
(k 0)
TEOREMA 3.2.1 Sea un valor propio de Fn(a) on vetor propio v =
(v1 ; : : : ; vn ). Entones:
= 1 =2 es una raiz del polinomio
qn ( ) = Un ( ) + (a 2) Un 1 ( )
(3.8)
Las omponentes de v son
2 sin(i )
2 n + 1 u2n ( )
vi = p
i = 1; : : : ; n
(3.9)
donde se dene por = os .
Demostraion: Sea v = (v1 ; v2 ; : : : ; vn ) vetor propio de Fn (a)
on valor propio . Entones
2 v1
v1
+ 2 v2
..
..
.
.
vn 2 + 2 vn 1
vn 1 + 2 vn
v2 = v1
v3 = v2
..
..
.
.
vn = vn 1
= vn
9
>
>
>
>
>
>
=
>
>
>
>
>
>
;
Pongamos = 1 =2, es deir, = 2 (1 ). Entones
v2
v3
..
.
vn
(2 a) vn
= 2 v1
= 2 v2
..
.
= 2 vn 1
= 2 vn
v1
..
.
vn 2
vn 1
9
>
>
>
>
>
>
=
>
>
>
>
>
>
;
(3.10)
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
60
Teniendo en uenta la formula de reurrenia de los polinomios
de Thebythev de segunda espeie, vemos que haiendo v1 = 1
se umple que vi = Ui 1 ( ). En general, las omponentes del
vetor propio de valor propio seran:
vi = Ui 1 ( ) v1
i = 1; : : : ; n 1
(3.11)
Por otra parte, el polinomio araterstio de Fn (a) en funion
de es
qn( ) = det(Fn (a) 2 (1 ) In )
Para a = 2, obtenemos de nuevo los polinomios de Thebythev
q1 ( ) = 2 ;
q2 ( ) = 2 2 + 1; : : : qn ( ) = Un ( )
Sumando la olumna (0; 0; : : : ; a 2)0 a la ultima olumna de
Fn (2) obtenemos Fn (a), y desarrollando el determinante obtenemos el polinomio araterstio de Fn (a)
qn ( ) = Un ( ) + (a 2) Un 1 ( )
(3.12)
Seguidamente alulamos v1 imponiendo la ondiion de modulo
1 para el vetor v
nX1
n
X
Ui2 ( )
1 = vi2 = v12
i=0
i=1
Segun la identidad de Christoel{Darboux se tiene que
nX1
1
Ui2 ( ) = Un0 ( ) Un 1 ( ) Un ( ) Un 1 ( )
2
i=0
Evaluamos esta expresion empleando la representaion trigonometria
de los polinomios un
sin (n + 1) Un ( ) =
siendo = os sin Teniendo en uenta que
(n + 1) Un 1 ( ) n Un 1 ( )
Un0 ( ) =
1 2
(vease, por ejemplo [7℄, pag. 116), y que
d Un ( )
= sin() Un ( )
d
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
61
se onluye que
Un0 ( ) Un 1 ( ) =
=
1
[os() Un ( ) Un
sin2 ()
1 ( )
(n + 1) os((n + 1) ) Un
1
[os() Un ( ) Un
sin2 ()
1 ( )
n os(n ) Un ( )℄
1 ( )℄
Un ( ) Un0 1 ( ) =
=
Utilizando la identidad sin(x) os(y) = 1=2 [sin(x+y)+sin(x y)℄
se llega a
nX1
1
Ui2 ( ) =
2 () (2 n + 1 U2n ( ))
4
sin
i=0
Luego
2 sin()
v1 = p
2 n + 1 U2 n ( )
Segun 3.11, las omponentes del vetor propio v = (v1 ; : : : ; vn )
son (salvo el signo)
vi =
2 sin(i )
2 n + 1 u2 n ( )
p
i = 1; : : : ; n
(3.13)
El valor propio orrespondiente a v es
= 2 (1 os())
(3.14)
un (os()) = (2 a) Un 1 (os())
(3.15)
Siendo tal que
2
Nota 3.2.1 Como
Fn 1 (a) = [det Fn (a)℄ 1 Gn(a)
el valor propio de Gn(a) orrespondiente al valor propio de Fn (a) es
=
(a 1) n + 1
(3.16)
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
62
3.2.2 Vetores propios de B , C y Be
Los valores y vetores propios de las matries B , C y Be se obtienen omo
onseuenia de los alulos anteriores
Matriz B (a = 1)
Sustituyendo a = 1 en 3.15 resulta sin((n + 1) ) sin(n ) = 0, que segun
la identidad sin(x) sin(y) = 2 sin((x y)=2) os((x + y)=2), equivale a
(2 n + 1) sin
os
=0
2
2
Las soluiones de esta euaion son
2j 1
j = 1; : : : ; n
j =
2n + 1
y umplen que U2 n (i ) = 0.
Luego las omponentes del vetor propio vj = (v1 j ; : : : ; vn j )0 son
i (2 j 1) 2
sin
i = 1; : : : ; n
(3.17)
vi j = p
2n + 1
2n + 1
y su valor propio es
2j 1
j = 2 1 os
2n + 1
De 3.16 resulta el orrespondiente valor propio de B
2 j 1 1
1
(3.18)
j = 1 os
2
2n + 1
en oinidenia on el resultado 3.4.
Observese que los j en (3.18) quedan ordenados en suesion dereiente.
Si, en ambio, tomamos el orden opuesto, vemos que
Proposiion 3.2.1 Ordenando los valores y vetores propios de B de forma
que la suesion de valores propios sea reiente, las omponentes del vetor
vj = (v1 j ; : : : ; vn j )0 vienen dadas por
2
2ij vi j = ( 1)i+j +1 p
sin
i = 1; : : : ; n
(3.19)
2n + 1
2n + 1
y el orrespondiente valor propio es
1 2 j
j = se
4
2n + 1
En partiular, la matriz V = (v1 ; : : : ; vn ) es (ortogonal) simetria.
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
63
Demostraion: Tomemos j 0 = n + 1
j . Entones
2 i j0 2n + 1
2 i j0
= os(i ) sin
2n + 1
2 i j0 = ( 1)i+1 sin
2n + 1
i (2 j 1) = sin i sin
2n + 1
Finalmente, multipliando ada vetor vj por el fator
onstante ( 1)j , operaion que onserva la estrutura de
vetores propios, se obtiene el enuniado. Un alulo analogo
proporiona la formula para los j . 2
Matriz C (a = 2)
Ahora qn( ) = Un ( ), luego las raes araterstias son los eros del polinomio Un ( ), es deir,
j
j = 1; : : : ; n
n+1
Puesto que para todos estos valores propios se veria que U2 n (j ) = 1,
las omponentes del vetor propio vj = (v1 j ; : : : ; vn j ) son
j =
2
ij
vi j = p
sin
n+1
2n + 2
i = 1; : : : ; n
(3.20)
y su valor propio es
j
j = 2 1 os
n+1
El valor propio orrespondiente de C se dedue de 3.16
1
n+1 j
j =
1 os
2
n+1
Vemos que la matriz de vetores propios de C es tambien simetria.
Ademas, estamos en ondiiones de asignar ada vetor propio al subespaio
par o impar segun la notaion empleada en el aptulo 2.
Proposiion 3.2.2 nEl vetor propio vj de C dado por (3.20) pertenee al
subespaio par de R si j es par, y al espaio impar si j es impar
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
64
Demostraion: Empleando la formula (3.20), es inmediato ver
que
vn+1 i; j = ( 1)j +1 vi j
que equivale al enuniado, teniendo en uenta la desripion
dada en el aptulo 2 de los subespaios par e impar. 2
Matriz Be (a = 3)
En este aso, 3.15 equivale a sin((n + 1) ) + sin() = 0. De la identidad
sin(x) + sin(y) = 2 sin((x + y)=2) os((x y)=2) resulta la euaion
(2 n + 1) os
=0
sin
2
2
uya soluion es
2j
j = 1; : : : ; n
2n + 1
que tambien anula U2 n ( ). Luego las omponentes de vj = (v1 j ; : : : ; vn j )
son
2
2ij
i = 1; : : : ; n
(3.21)
vi j = p
sin
2n + 1
2n +1
Su valor propio es
j =
j = 2 1 os
2j
2n + 1
Finalmente, el orrespondiente valor propio de Be es
1
2n + 1 2j
j =
1 os
2
2n + 1
Una vez mas, la matriz de vetores propios obtenida es una matriz (ortogonal) simetria. Ademas, omparando la expresion (3.21) on la (3.19),
vemos que las dos matries de vetores propios dieren uniamente en signos
alternados.
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
65
3.3 Estrutura de los vetores propios de B
3.3.1 Introduion
En esta seion vamos a ver que, para un onjunto amplio de valores de n,
los vetores propios de B se pueden generar de un modo bastante simple a
partir del primero.
Ejemplo 3.3.1 Supongamos n = 5.
Para visualizar las relaiones existentes entre las olumnas de la matriz V de vetores propios de B empleemos
(1; 2; 3; 4; 5)0 para simbolizar las omponentes del primer vetor propio
(0:1699; 0:3260; 0:4557; 0:5485; 0:5969)0
Con esta notaion, la matriz V tiene el siguiente aspeto:
0
V=
B
B
B
B
B
v1
1
2
3
4
5
v2 v3 v4 v5
5 3 4 2
1 5 3 4
4 2 1 5
2 1 5 3
3 4 2 1
1
C
C
C
C
C
A
Se observa que los demas vetores propios se obtienen permutando las omponentes de v1 , salvo el signo. Ademas, tomando la matriz signo{permutable
0
Q=
B
B
B
B
B
0
1
0
0
0
0
0
0
1
0
0
0
0
0
1
0
0
1
0
0
1
0
0
0
0
1
C
C
C
C
C
A
se omprueba failmente que
Q5 = I ( = Q0 )
vj = Qj 1 v1
j = 1; : : : ; 4
Es deir, los vetores propios de B son generados a partir del primero
por la aion de potenias de la matriz Q.
3.3.2 Permutaion de omponentes del primer vetor propio
En este apartado se muestra omo se pueden obtener las omponentes de
ualquier vetor propio de B a partir de las del primero.
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
66
Proposiion 3.3.1 Sea v1 = (v1 1; : : : ; vn 1)0 el primer vetor propio.
Sea
vi j 6= 0 una omponente no nula de otro vetor propio vj = (v1 j ; : : : ; vn j )0 .
Entones, existe un entero k, (1 k n), para el ual se veria que
jvi j j = jvk 1 j
(3.22)
Demostraion: Sea h el unio entero ongruente on i j modulo
2 n + 1 ontenido en el intervalo [0; 2 n℄. El aso h = 0 queda
exluido por la hipotesis, ya que equivale a vi j = 0. En los
restantes asos tratamos separadamente las dos posibilidades
Si h 2 [1; n℄, tomamos k = h. Como i j = (2 n + 1) + k,
para algun 0, teniendo en uenta 3.19, resulta vi j =
( 1)i+j +k+1 vk 1 .
Si h 2 [n + 1; 2 n℄, tomamos k = 2 n + 1 h, on lo que
i j = (2 n + 1) k, y analogamente al aso anterior,
obtenemos vi j = ( 1)i+j +k vk 1 .
2
Proposiion 3.3.2 El primer vetor propio v1 = (v1 1; : : : ; vn 1)0 veria las
desigualdades
0 < v1 1 < : : : < vn 1
(3.23)
y, si vj = (v1 j ; : : : ; vn j )0 es otro vetor propio on todas sus omponentes no
nulas, entones la suesion de los valores absolutos
fjv1 j j; : : : ; jvn j jg
es una permutaion de
fjv1 1 j; : : : ; jvn 1jg
Demostraion: Como todos los elementos de la matriz B son
positivos, podemos tomar todas las omponentes de v1 positivas (teorema de Perron). Sea w1 = (w1 1 ; : : : ; wn 1 )0 = B v1 .
Entones
wi 1 w(i 1) 1 =
n
X
k=i
vk 1 > 0
y, dado que w1 = 1 v1 , se siguen las desigualdades 3.23.
(3.24)
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
67
Para probar la segunda armaion, teniendo en uenta la proposiion
3.3.1, es suiente ver que si vj no tiene omponentes nulas, entones los valores absolutos de todas las omponentes son distintos.
Supongamos que, por el ontrario, existe un par i1 < i2 de
ndies tales que jvi1 j j = jvi2 j j. Esto equivale a que j sin(i1 ')j =
j ).
j sin(i2 ')j (donde ' = 2 n2 +1
Es deir, para algun k > 0 se veria una de las igualdades
i1 ' = k + i2 '
i1 ' = k i2 '
Si la primera es ierta, (i2 i1 )' = k , y la omponente vi0 j de
este vetor (siendo i0 = i2 i1 ) es nula, en ontradiion on la
hipotesis.
Si la segunda es ierta, llegamos a la misma onlusion,
tomando i0 = i2 + i1 si esta suma es 0, o bien
i0 = 2 n + 1 (i2 + i1 ) si la suma es > 0. 2
3.3.3 Vetores propios on omponentes nulas
Seguidamente vamos a araterizar los asos en que se presentan eros omo
omponentes de los vetores propios. En las proposiiones 3.3.3 y 3.3.4 se
emplea la expresion 3.19 para los vetores propios.
Proposiion 3.3.3 Supongamos que vi j = 0. Entones
1. Neesariamente i 3 y j 3
2. La dimension n es de la forma
n = p_ +
(p 1)
2
(3.25)
para algun numero primo p.
3. p divide a i o a j .
Demostraion: Deduimos 1 del heho que vi j = 0 () 2 i j =
2 k (2 n +1) para algun entero k, (0 < k < n=2). El mnimo valor
del produto i j que umple la ondiion es i j = 2 n + 1, luego
uno de los dos fatores es mayor que 2.
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
68
Puesto que en la igualdad 2 i j = 2 k (2 n + 1) el entero k esta
omprendido estritamente entre 0 y n=2, y tanto i omo j son
n, neesariamente 2 n + 1 es no primo.
Sea p > 2 un fator primo de n. Como (2 n + 1)=p tambien es
impar, podemos esribir 2 n + 1 = p (2 r + 1), para un entero r,
0 < r < n=p. Esta igualdad equivale a la relaion 2. Por
ultimo, las igualdades anteriores haen evidente 3. 2
Tabla 4.1 Algunos valores de n on omponentes nulas
n = p_ + (p 1)=2
p
3 4 7 10 13 16
5 7 12 17 22 27
7 10 17 24 31 38
11 16 27 38 49 60
13 19 32 45 58 71
Proposiion 3.3.4 Supongamos que n umple la ondiion 3.25, de modo
que es posible la existenia de elementos vi j nulos. Entones
1. vi j 6= 0, siempre que se umpla una de las ondiiones siguientes
i 2;
j 2;
i = n;
j=n
2. vi j = 0 si i j es multiplo de 2 n + 1
3. Si vi j = 0, entones se verian las igualdades
vi+k; j
=
vi k; j
= vk j
vn i k; j = vn i+k+1; j = v2 k+1; j
para todos los k 0 para los que las expresiones en los subndies
esten omprendidas en el intervalo [1; n℄.
4. Si vi j = 0 siendo i = n=2 + 1 o i = (n 1)=2 (segun la paridad de n),
entones j = 1 es valor propio de B .
Demostraion: La primera parte de (1) ya se ha visto en la
proposiion 3.3.3. Puesto que B = N 2 (3.3), si B vj = j vj ,
entones N 1 vj = 1=2 vj . Teniendo en uenta que
0
N
1
B
B
B
=B
B
B
0
0
0
..
.
0
1
1
0
0
0
..
.
1
1
0
0 :::
0 :::
0 :::
0
1
1
1 :::
0 :::
0 :::
0
0
0
1
1
0
..
.
0
0
0
1
0
0
..
.
0
0
0
1
C
C
C
C
C
C
A
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
69
resulta que las omponentes de vj verian
vn i+1; j vn i; j = 1=2 vi j
v1 j = 1=2 vn j
(3.26)
y, al ser no nulo v1 j , tambien vn j .
(2) es evidente a partir de 3.19
Para (3), de la anulaion de vi j se deduen las igualdades:
sin
sin
2 (i+k) j
2 n+1
2 (i k ) j
2 n+1
=
=
os
os
2ij
2 n+1
2ij
2 n+1
sin
sin
2kj
2 n+1
2kj
2 n+1
9
=
;
que equivalen a vi+k; j = vi k; j = vk j
Analogamente se obtiene que vn i k; j = vn i+k+1; j , de las identidades
2 (n i k) j
= 2 i j + (2 n + 1) j (2 k + 1) j
2 (n i + k + 1) j = 2 i j + (2 n + 1) j + (2 k + 1) j
Para (4), supongamos que vi j = 0, y que k = n=2 + 1. La
euaion k 1 de (3.26) es
vk j vk 1; j = 1=2 vk 1; j
por tanto, = 1=2 = 1. De forma analoga, si k = (n 1)=2,
la euaion k + 1 implia que = 1. 2
3.3.4 Generaion de los vetores propios a partir del primero
En este apartado volvemos a emplear la formula (3.17)
i (2 j 1)
i = 1; : : : ; n
2n + 1
para los vetores propios de B , pero para laridad
p de notaion en los razonamientos que siguen, omitiremos el fator 2= 2 n + 1.
Estamos interesados en hallar la expresion de la transformaion lineal
vj ! vj 0 tal que
(3.27)
v1 j = v2 j 0
donde vj y vj 0 son dos vetores propios de B . Entones
vi j = sin
2 (2 j 0 1)
(2 j 1)
= sin 2 n + 1 sin
2n +1
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
70
on lo que tenemos dos posibilidades a) v1 j = v2 j 0 . En este aso resulta
la igualdad
2 (2 j 0 1)
n j +2
(2 j 1)
=
)
j0 =
2n + 1
2n + 1
2
valida si n y j son ambos pares o impares (n + j par).
b) v1 j = v2 j 0 . En este aso resulta la igualdad
2 (2 j 0 1)
n j +2
(2 j 1)
+ =
)
j0 =
2n + 1
2n + 1
2
valida si n es par y j impar, o bien si n es impar y j es par (n + j impar)
Hemos obtenido la transformaion j ! j 0 , es deir la orrespondenia
entre los ndies de los vetores relaionados por (3.27).
Seguidamente estudiamos las transformaiones i ! i0 tales que
vi j = vi0 j 0
en los dos asos expuestos.
a) Sea j 0 = (n j +2)=2 () v1 j = v2 j 0 . n y j tienen la misma paridad,
n + j es par, y 2 j 0 1 = n j + 1
a.1) Si 2 i n, tomemos i0 = 2 i
2 i (n j + 1)
i (2 j 1)
= sin
sin
2n + 1
2n + 1
De la identidad
i (2 j
deduimos
sin
1) i (2 n + 1) = 2 i (n j + 1)
i (2 j 1) = sin i 2n + 1
2 i (n j + 1) =
2n + 1
2 i (n j + 1) = os i sin
2n + 1
2 i (n j + 1)
k
+1
= ( 1) sin
2n + 1
Luego obtenemos
vi0 j 0 = ( 1)i+1 vi j
1 i (n 1)=2
(3.28)
a.2) Si n < 2 i 2 n, tomemos i0 = 2 (n k) + 1. De la identidad
i (2 j
1) = (2 (n i) + 1) (n j + 1) (n i j + 1)(2 n + 1)
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
71
deduimos
i (2 j 1) =
sin
2n + 1
(2 (n i) + 1) (n j + 1)
= sin
os (n i j + 1) 2n + 1
Como n 1 es par, obtenemos
(n 1)=2 i n
(3.29)
vi0 j 0 = ( 1)i+1 vi j
b) Sea j 0 = (n + j + 1)=2 () v1 j = v2 j 0 . n y j tienen paridad opuesta,
n + j es impar, y 2 j 0 1 = n + j
b.1) Si 2 i n, de la identidad
i (2 j
se dedue
sin
1) = 2 i (n + j ) j (2 n + 1)
i (2 j 1) 2 i (n + j )
= sin
os i 2n + 1
2n + 1
Y nalmente
vi0 j 0 = ( 1)i vi j
b.2) Si n 2 i 2 n
De la identidad
i (2 j
1 i (n 1)=2
(3.30)
1) = (2 (n i) + 1)(n + j ) + (n i + j )(2 n + 1)
deduimos
(2 (n i) + 1)(n + j )
i (2 j 1)
= sin
os (n + j
sin
2n + 1
2n + 1
Como n + j es impar, onluimos que
i) (n 1)=2 i n
(3.31)
Cuadro 3.3.1 Resumen del ambio (i; j) ! (i0; j0 ) (ondiionado al punto
de partida (3.27))
vi0 j 0 = ( 1)i vi j
n + j impar
n + j par
j 0 = n+2j +1
j 0 = n 2j +2
8
<
:
8
<
:
1 i (n 1)=2 i0 = 2 i
(n 1)=2 < i n i0 = 2 (n i) + 1
1 i (n 1)=2
(n 1)=2 < i n
i0 = 2 i
i0 = 2 (n i) + 1
9
=
;
9
=
;
vi j
0
vi j
0
0
0
= ( 1)i vi j
= ( 1)i+1 vi j
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
72
Nota 3.3.1 Como i0 = 2 i si 2 i < n, y i = n se transforma en i0 = 1, resulta
que uando n es una potenia de 2 las formulas anteriores solo generan
permutaiones diferentes para i n=2. En efeto, despues de n=2 pasos,
i = 1 se onvierte en i0 = n, y en la siguiente etapa, se transforma en
i = 1, volviendo a apareer el primer vetor propio en lugar de una nueva
permutaion.
Este inonveniente se evita failmente modiando la igualdad (3.27)
empleada omo punto de partida en el sentido de imponer que la transformaion vj ! vj 0 verique
(3.32)
v1 j = v 3 i0
es deir, exigimos que la primera omponente pase a la terera al ambiar el
ndie del vetor propio.
Siguiendo un proedimiento que no detallamos aqu, analogo al aso ya
desrito, obtendramos el ambio i 7! i0 ompatible on (3.32). Observese
que en el aso de n potenia de 3 nos enontraramos on el mismo problema,
esto es, i = 1 pasara a i0 = 1 en menos de n 1 pasos.
Podemos asenuniar la
Proposiion 3.3.5 Los ambios de omponentes (i; j) 7! (i0; j0 ) detallados
en el uadro 3.3.1. son validos para todo n y generan permutaiones distintas
de las omponentes del primer vetor propio, exepto en los asos
n es una potenia de 2. En este aso bastara imponer la ondiion
(3.32) y efetuar los ambios neesarios
n = p_ + (p 1)=2 donde p es un numero primo
Estamos ahora en ondiiones de enuniar el prinipal resultado de esta
seion, que ya adelantabamos en el aptulo 2. Este resultado (teorema
_ + 1.
(3.3.1)) haba sido onjeturado por Cuadras en 1990 ([26℄) para n 6= (3)
Empleamos en el enuniado la siguiente terminologia: Diremos que una
matriz Q de orden n n es signo{permutable (o matriz de permutaion on
signo) si ada la y ada olumna de Q ontiene exatamente un elemento
igual a 1 o a 1, mientras que los restantes elementos son nulos.
Es inmediato probar que una matriz signo{permutable Q veria que:
Q0 = Q 1
Qn 1 = Q0
Qn = I
(3.33)
(vease ejemplo en la seion 3.3.1)
TEOREMA 3.3.1 Supongamos que n 6= p_ + (p 1)=2, donde p es un
numero primo. Sea v1 el primer vetor propio de B . Existe entones una
matriz signo{permutable Q tal que
vj = Qj 1 v1
j = 2; : : : ; n
CHAPTER 3. ESTRUCTURA DE UNA CLASE PARAMETRICA
DE
MATRICES
73
son los restantes n 1 vetores propios de B .
Demostraion: Teniendo en uenta las formulas (3.28) a (3.31),
si tomamos la matriz Q = (qi i0 ) denida por
(
qi i0 =
( 1)i
0
si i0 = 2 i n 1 o i0 = 2 (n i) + 1 n
en aso ontrario
Entones Q es signo{permutable, y pemite expresar las formulas
(3.28) a (3.31) omo
vj 0 = Q v j
donde el signo depende de la paridad de j y n. Ahora, suponiendo
que n 6= 2m (para todo m), basta observar que vj y vj 0 son ambos
vetores propios de B , que el paso vj 7! vj 0 se onsigue siempre
on la misma Q, y nalmente, que Qn = I .
En aso que n = 2m para algun m, busaramos otra matriz Q
de manera analoga, reejando el ambio de omponentes
(i; j ) 7! (i0 ; j 0 ) tomando (3.32) omo punto de partida. 2
Chapter 4
Algunas generalizaiones
74
CHAPTER 4. ALGUNAS GENERALIZACIONES
75
4.1 Caso general disreto
4.1.1 Introduion
En esta seion se plantea la generalizaion del estudio realizado en el
Captulo 2 para un onjunto de puntos equidistantes al aso de un onjunto
de puntos unidimensional arbitrario.
Veremos que, aunque no se llega a un resultado tan preiso omo el teorema (2.4.1), que desribe ada oordenada prinipal k{esima del onjunto
de puntos on la distania valor absoluto omo un polinomio de grado k, se
obtiene el teorema (4.9), que permite una interpretaion ualitativa de las
oordenadas prinipales analoga al aso equidistante.
4.1.2 Vetores propios
Consideremos un onjunto de n + 1 puntos U = (x0 ; : : : ; xn ) en R. Podemos suponer, sin perdida de generalidad, que x0 < x1 < < xn . Nos
proponemos obtener las oordenadas prinipales del onjunto U on la distania valor absoluto.
Æ 2 = Æ 2 (xi ; xj ) = jxi xj j
(i; j = 0; : : : ; n)
ij
Como en el aso de puntos equidistantes, omo alternativa al alulo
direto por diagonalizaion de
1
B = H ( (2) ) H
2
donde H es la matriz de entrado de dimension (n + 1; n + 1), y (2) =
(Æ 2i j ) es la matriz de uadrados de distanias, partimos de una onguraion
euldea onveniente X , uya matriz de interdistanias (euldeas) sea igual
a 2 , y estudiamos las omponentes prinipales (vetores propios de la
matriz de ovarianzas) de esta onguraion. Finalmente las oordenadas
prinipales resultan transformando X on la matriz ortogonal de vetores
propios obtenida de este alulo.
Elegimos omo onguraion euldea iniial, omo en la demostraion
del teorema (2.2.1), la denida por la matriz de dimension (n + 1; n)
0
B
B
B
B
B
B
B
B
B
B
0
g1
g1
g1
g1
..
.
g1
0
0
g2
g2
g2
..
.
g2
0 0 ::: 0
0 0 ::: 0
0 0 ::: 0
g3 0
0
g3 g4
0
. . . ..
.
g3 : : :
gn
1
C
C
C
C
C
C
C
C
C
C
A
76
CHAPTER 4. ALGUNAS GENERALIZACIONES
p
donde gi = xi
xi 1 ;
0
B
B
B
B
B
B
B
B
B
B
(i = 1; : : : ; n), que podemos esribir omo
0
1
1
1
1
..
.
1
0
0
1
1
1
..
.
1
0 ::: 0
0 ::: 0
0 ::: 0
0
0
1
0
. . . ..
.
1 :::
1
0
0
0
1
1
1
C
C
C
C
C
C
C
C
C
C
A
G
donde G = diag (g1 ; : : : ; gn ).
Multipliando a la izquierda por la matriz de entrado H (on un fator
adiional (n + 1)) obtenemos la matriz X
(
Xi j =
( (n + 1) + j ) gj
j gj
si i < j
si i j
i = 0; : : : ; n
j = 1; : : : ; n
(4.1)
Calulamos la matriz (n; n) de ovarianzas de X
= n +1 1 X 0 X = n +1 1 G C G
(4.2)
donde, omo en el aptulo 2,
C = (n + 1) B b b0
Bi j = minfi; j g
b = (1; : : : ; n)0
Planteamos el problema de valores propios
x = x
que equivale al problema
1 x = x
siendo = 1=
Teniendo en uenta que
1 = G 1 F (2) G 1
(donde F (2) es la matriz de Toeplitz estudiada en el Captulo 3), y deniendo
v = G 1 x, llegamos al problema de valores propios generalizado
F (2) v = G2 v
(4.3)
CHAPTER 4. ALGUNAS GENERALIZACIONES
77
que podemos resolver mediante la misma tenia empleada en la demostraion
del teorema (3.2.1): jado un valor propio , se aplia reurrenia al sistema
de euaiones
9
2 v1
v2 = g12 v1
>
>
>
>
>
v1
+ 2 v2
v3 = g22 v2
>
=
..
..
..
..
(4.4)
.
.
.
.
>
>
>
2
vn 2 + 2 vn 1
vn = gn 1 vn 1 >
>
>
;
vn 1 + 2 vn
= gn2 vn
para obtener el vetor v = (v1 ; : : : ; vn )0 . Deniendo = 1 =2 resulta,
omo en (3.2.1), que
vi = pi 1 ( ) v1
(4.5)
donde los fpi ( )g son la familia de polinomios denidos por la formula de
reurrenia
h
i
pi+2 = 2 gi2+2 + 2 (1 gi2+2 ) pi+1 pi
(4.6)
Por otro lado, alulamos el polinomio araterstio de (4.3)
n = det [F (2) G2 ℄
Desarrollando el determinante por la ultima la, queda
n = [2 g2 + 2 (1 g2 )℄ n 1 n 2
n
n
que es la misma relaion de reurrenia de los fpi ( )g. En onseuenia, los
valores propios vienen dados por
= 2 (1 )
donde los son eros del polinomio pn .
Los primeros polinomios son
p0 = 1
p1 = 2 g12 + 2 (1 g12 )
p2 = (4 g12 g22 ) 2 + 4 (g12 + g22 g12 g22 ) + 3
Como se ha visto en (3.2.1), uando los oeientes gi son todos iguales a
1, esta familia de polinomios es la de los polinomios Un de Thebythev,
ortogonales en el intervalo [ 1; 1℄.
En el aso general, estos polinomios no oiniden on ninguna familia de
polinomios ortogonales lasios, y de heho no es aparente que sean ortogonales respeto a alguna funion peso en algun intervalo.
En ambio, vemos a ontinuaion, que empleando otras tenias, podemos llegar a obtener informaion ualitativa satisfatoria sobre las oordenadas prinipales.
78
CHAPTER 4. ALGUNAS GENERALIZACIONES
4.1.3 Calulo de las oordenadas prinipales
En primer lugar obtenemos unas identidades utiles a partir del sistema de
euaiones (4.4): Sumando las n euaiones, y empleando la notaion
s=
n
X
k=1
vk
obtenemos
(s vn ) + 2 s (s v1 ) = es deir
v1 + vn = n
X
k=1
n
X
k=1
gk2 vk
gk2 vk
Mas en general, sumando desde la euaion i{esima hasta la n{esima, y
empleando la notaion
n
X
si = vk
k=i
obtenemos
(si vn + vi 1 ) + 2 si (si vi )
de donde resulta
vi vi 1 + vn = n
X
k=i
gk2 vk
i = 2; : : : ; n
(4.7)
Otra identidad se obtiene multipliando ada euaion del sistema (4.4) por
su numero de orden y sumando los resultados
2 v1
3 v2
..
.
+
+
2 v1
4 v2
6 v3
..
.
v2
2 v3
3 v4
..
.
(n 2) vn 3 + 2 (n 2) vn 2
(n 1) vn 2 + 2 (n 1) vn 1
n vn 1
+
2 n vn
2) g2
(n 2) vn 1 = (n
n
(n 1) vn = (n 1) gn2
= n gn2 vn
resultando
(n + 1) vn = 9
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
=
= g12 v1
= 2 g22 v2
= 3 g32 v3
..
.
n
X
k=1
k gk2 vk
2 vn 2
1 vn 1
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
;
(4.8)
CHAPTER 4. ALGUNAS GENERALIZACIONES
79
Ahora, dado un vetor v, soluion de (4.3), reuperamos el orrespondiente vetor propio de x=Gv
y alulamos la orrespondiente oordenada prinipal
y = (y0 ; y1 ; : : : ; yn )0
efetuando el produto
y =X x
Sustituyendo X de (4.1) obtenemos
8 n
X
>
>
>
k gk2 vk
>
>
>
< k=1
(n + 1)
yi = >
n
X
k=i+1
gk2 vk
n
>
X
>
>
>
>
k gk2 vk
:
para 0 i n 1
para i = n
k=1
Teniendo en uenta las identidades (4.7) y (4.8)
8
>
<
(n + 1) v1 =
yi = > (n + 1) (vi+1
: (n + 1) v =
n
para i = 0
vi )= para 1 i n 1
para i = n
Podemos resumir estas igualdades, tomando onvenionalmente v0 =
vn+1 = 0, resultando
yi = (n + 1) (vi
vi+1 )
0in
(4.9)
4.1.4 Propiedades de las oordenadas prinipales
Despues de los alulos realizados estamos ya en ondiiones de desribir
ualitativamente las oordenadas prinipales. Partimos del siguiente
Lema 4.1.1
yi yi 1 = (n + 1) gi2 vi
1in
En partiular, la suesion de primeras diferenias de la oordenada prinipal
j {esima tiene los mismos signos que el vetor propio j {esimo, (ordenando
los vetores propios v segun orden dereiente en ).
CHAPTER 4. ALGUNAS GENERALIZACIONES
80
Demostraion:
yi yi 1 =
= (n + 1) (vi
= (n + 1) ( vi
= (n + 1) gi2 vi
vi+1 vi 1 + vi )=
1 + 2 vi vi+1 )=
2
Para determinar los signos de los vetores propios v apliamos el siguiente
teorema (vease Gantmaher [45, vol. II, pag. 101℄)
TEOREMA 4.1.1 (Gantmaher)
1. Una matriz osilatoria A de dimension (n; n) tiene n valores propios
positivos distintos
1 > 2 > > n > 0
2. El vetor propio de A orrespondiente al mayor valor propio 1 tiene
todas sus omponentes no nulas de igual signo.
El vetor propio de A orrespondiente al segundo valor propio 2 tiene
exatamente una variaion de signo en sus omponentes.
En general, el vetor propio de A orrespondiente al valor propio k tiene
exatamente k 1 variaiones de signo en sus omponentes, (k = 1; : : : ; n).
2
Este teorema es apliable a las matries osilatorias, denidas por
Deniion 4.1.1
1. Una matriz de dimension (m; n) es totalmente no negativa si todos sus
menores de todos los ordenes son no negativos, y es totalmente positiva si
todos sus menores de todos los ordenes son positivos.
2. Una matriz uadrada A es osilatoria si es totalmente no negativa, y
existe un entero q > 0 tal que Aq es totalmente positiva
Quizas onvenga alarar que el nombre de matriz osilatoria se debe a
la apariion de matries de este tipo en los estudios de Gantmaher sobre
peque~nas osilaiones de sistemas meanios.
Nos proponemos mostrar que la matriz de ovarianzas alulada en
(4.2) es un matriz osilatoria, y a traves del lema (4.1.1), desribir el omportamiento de las oordenadas prinipales del onjunto U .
Aunque la deniion propiamente diha es mas bien intratable en nuestro
aso, enontramos un riterio, tambien debido a Gantmaher (vease [45, vol.
II, pag. 100℄, y la referenia itada en diha obra), que simplia las osas
81
CHAPTER 4. ALGUNAS GENERALIZACIONES
Proposiion 4.1.1 (Gantmaher) Una matriz uadrada A totalmente no
negativa es osilatoria si y solo si
a) A es no singular (i.e. det A > 0)
b) Todos los elementos de la diagonal prinipal de A, y de las dos diagonales
paralelas a la diagonal prinipal y ontiguas a esta son no nulos (i.e.
ai j > 0 si ji j j 1)
2
Las ondiiones a) y b) se umplen laramente en el aso de , por lo
que sera suiente probar el siguiente enuniado
Proposiion 4.1.2 es totalmente no negativa
Para demostrar este enuniado no sera neesario (!) onsiderar individualmente los 22 n menores de , sino que en su lugar, estudiaremos los
menores de su inversa
1 = G 1 F (2) G 1
que pueden ser desritos failmente, por ser esta tridiagonal.
Emplearemos la onoida relaion siguiente entre los menores de una matriz (n; n) A y los de su inversa B = A 1 (vease, por ejemplo, Gantmaher
[45, vol. I, pag. 21℄):
B
i1 i2 : : : ip
k1 k2 : : : kp
p
X
=1
=
( 1)
!
=
i +
(4.10)
p
X
=1
A
k
0
A ki 01
1
1 2 :::
1 2 :::
k 02 : : : k 0n
i 02 : : : i 0n
!
n
n
p
p
!
Donde p es un entero (1 p n), (i1 ; : : : ; ip ) y (k1 ; : : : ; kp ) son dos
p{ndies reientes (1 i1 < : : : < ip n y 1 k1 < : : : < kp n),
(i 01 ; : : : ; i 0n p) es el (n p){ndie reiente omplementario de (i1 ; : : : ; ip ), y
(k 01 ; : : : ; k 0n p) es el (n p){ndie reiente omplementario de (k1 ; : : : ; kp ).
82
CHAPTER 4. ALGUNAS GENERALIZACIONES
La notaion
!
B ki1 ki2 :: :: :: kip
1 2
p
representa el menor de la matriz B formado por las las (i1 ; : : : ; ip ) y las
olumnas (k1 ; : : : ; kp ).
En la demostraion de la proposiion (4.1.2) haremos uso del siguiente
detalle de la formula (4.10): la paridad de
p
X
=1
es la misma que la de
nXp
=1
i +
i 0 +
p
X
=1
nXp
=1
k
k 0
pues su suma es n (n + 1), que es par.
Tambien neesitamos la desripion de los menores de una matriz tridiagonal, que tomamos tambien de Gantmaher [45, vol. II, pag. 95℄
Lema 4.1.2 (Gantmaher)
Sea A una matriz tridiagonal, y sean I = (i1 ; : : : ; ip ) y K = (k1 ; : : : ; kp )
dos p{ndies reientes.
Supongamos que existe un (1 p) tal que i 6= k y que para todos
los 6= se veria que i = k .
Entones
A
I
K
!
=A
i1 : : : i 1
k1 : : : k 1
!
A
i
k
!
A
i +1 : : : ip
k +1 : : : kp
!
2
A partir de este enuniado se dedue que todo menor de una matriz
tridiagonal es produto de menores prinipales y elementos no diagonales de
la matriz. Formulamos este resultado en forma ligeramente mas preisa, de
forma que en el aso de la matriz nos permita seguir la pista del signo de
ada menor.
Lema 4.1.3 Sea A una matriz tridiagonal. Supongamos que todos los menores
prinipales y todos los elementos de las dos diagonales inferior y superior a
la diagonal prinipal son no nulos.
Sean I = (i1 ; : : : ; ip ) y K = (k1 ; : : : ; kp ) dos p{ndies reientes.
83
CHAPTER 4. ALGUNAS GENERALIZACIONES
!
I
El menor A
K es no nulo solamente si el intervalo [1; p℄ Z
es reunion disjunta de tres subonjuntos h0 ; h+ ; h (on alguno de ellos
posiblemente vao) tales que
i = k
si 2 h0
i = k + 1 si 2 h+
i = k 1 si 2 h
!
y en tal aso, A I es igual al produto de los menores prinipales
K
orrespondientes a los ndies de h0 por los elementos no diagonales situados
en las posiiones (k + 1; k ), para 2 h+ , por los elementos no diagonales
situados en las posiiones (k 1; k ), para 2 h .
2
Finalemente estamos en ondiiones de demostrar la proposiion (4.1.2)
Demostraion: (de la proposiion (4.1.2))
1
En primer lugar observamos que es tridiagonal, on todos
los elementos de la diagonal positivos y los elementos de las dos
diagonales paralelas negativos
En segundo lugar veamos que todos los menores prinipales de
1 son positivos:
El menor prinipal orrespondiente al p{ndie reiente K =
(k1 ; k2 ; : : : ; kp ),
1
(K ) = 1
k1 k2 : : : kp
k1 k2 : : : kp
!
es el produto de los menores (G (K ))2 F (K ), segun resulta de
apliar la formula de Binet{Cauhy, teniendo en uenta que G es
una matriz diagonal. Por ello es suiente onsiderar los menores
prinipales F (K ) de la matriz de Toeplitz F (que tiene los elementos de la diagonal prinipal iguales a 2 y los de las diagonales
ontiguas iguales a 1, siendo nulos todos los demas elementos).
El menor F (K ) tiene una estrutura muy simple: es el determinante de una matriz E de dimension (p; p) uyos elementos no
nulos se agrupan en ajas sobre la diagonal
E = diag (Fd1 ; : : : ; Fdq )
84
CHAPTER 4. ALGUNAS GENERALIZACIONES
P
donde ada Fdi es una matriz F de dimension di ( qi=1 di = p)
(Se entiende que la matriz F1 de dimension (1; 1) es el esalar
(2)).
Las dimensiones di vienen determinados por la ontiguidad del
p{ndie K : si ki+1 6= ki + 1, entones los elementos ei; i+1 y
ei+1; i son nulos, y tenemos una aja de dimension (1; 1). En
aso ontrario estos elementos son iguales a 1. Por ejemplo, si
K = (1; 2; 4; 6; 7; 8) se obtiene
0
E=
2
1
B
B
B
B
B
B
B
1
2
1
2
2
1
1
2
1
1
2
C
C
C
C
C
C
C
A
Puesto que el determinante de Fd , segun se ha alulado en el
aptulo 3, es igual a d + 1, onluimos que todos los menores
prinipales son positivos.
Finalmente, a partir del lema (4.1.3), y empleando la notaion
denida en su enuniado, un menor de 1 es negativo si, y solo
si el numero de elementos de la reunion h+ [ h es impar.
Trasladando a los menores de , segun la formula (4.10), vemos que para todos los menores no nulos el signo resultante es
positivo. En efeto, dado un menor
1
i1 i2 : : : ip
k1 k2 : : : kp
!
el signo de la potenia de ( 1) en (4.10) es positivo o negativo
segun la paridad de
p
X
=1
=
i +
X
2 h0
=2
p
X
=1
i +
p
X
=1
k =
X
2 h0
k +
X
2 h+
i +
!
i + ℄ (h+ ) ℄ (h )
X
2 h+
k +
X
2h
i +
X
2h
k
CHAPTER 4. ALGUNAS GENERALIZACIONES
donde el smbolo ℄ ( ) representa \numero de elementos de".
Esta suma tiene la paridad de ℄ (h+ ) ℄ (h ), que oinide on
la de ℄ (h+ ) + ℄ (h ), de modo que el fator potenia de ( 1) es
negativo si, y solo si el menor es negativo, y el signo resultante
es positivo en todos los asos. 2
85
Resulta que la matriz es osilatoria, y ombinando el teorema de Gantmaher on el lema (4.1.1) tenemos la desripion de las oordenadas prinipales a la que nos proponamos llegar:
La primera oordenada es una funion monotona (reiente o dereiente,
segun el signo que asignemos onvenionalmente a su primera omponente),
por lo que puede interpretarse ualitativamente omo una dimension lineal .
La segunda oordenada sigue una direion de reimiento hasta alanzar
el ambio de signo en su vetor de primeras diferenias, punto en que se
invierte la direion de reimiento, por lo que puede interpretarse omo
una dimension uadratia .
Suesivamente, la terera oordenada presenta dos inversiones en su direion de reimiento, lo que permite su interpretaion omo una dimension
ubia , y en general, la oordenada k{esima se puede interpretar omo una
dimension de grado k.
Ejemplo: Para el onjunto de puntos (1; 3; 7; 15; 31; 63; 127; 255) obtenemos las siguientes 4 primeras oordenadas prinipales, asimilables a dimensiones de tipo lineal, uadratia, ubia, y uartia.
86
CHAPTER 4. ALGUNAS GENERALIZACIONES
1
223.
Coordenada
2
3
55.6
24.5
4
11.4
Autovalor:
Individuo
1
{3.88
1.68
{1.17
{0.95
2
{3.85
1.62
{1.07
{0.78
3
{3.71
1.38
{0.71
{0.18
4
{3.30
0.71
0.26
1.16
5
{2.24
{0.84
2.01
2.20
6
0.20
{3.45
2.90
{1.87
7
5.01
{4.70
{2.91
0.46
8
11.76
3.61
0.69
{0.05
Dimension Lineal Cuadratia Cubia Cuartia
CHAPTER 4. ALGUNAS GENERALIZACIONES
87
4.2 Extension al aso ontinuo
4.2.1 Introduion
Hemos visto que la distania valor absoluto puede ser estudiada on relativa
diultad para el aso de puntos equidistantes en el Captulo 2 y para el
aso mas general en la seion preedente.
Como el analisis de Coordenadas prinipales es una tenia que se aplia
sobre un onjunto nito de puntos, a los que se asoia una onguraion
euldea nita, en dimension tambien nita, paree que la generalizaion al
aso numerable o ontnuo es un problema de difil soluion.
Afortunadamente, algunos resultados de la teora de estadstios de bondad de ajuste, basados en proesos estoastios, pueden adaptarse al problema de denir unas oordenadas prinipales para el aso ontinuo.
Anderson y Darling [2℄ onsideran el estadstio de Cramer{von Mises
Z +1
2
Wn =
[Fn (x) F (x)℄2 (F ) dF (x)
(4.11)
1
donde Fn es la funion distribuion empria de una muestra x1 ; : : : ; xn de
una variable aleatoria X on funion de distribuion F , y es una funion
peso.
El ambio de variable u = F (x) traslada el problema al aso de la distribuion uniforme en [0; 1℄, on lo que puede esribirse
Z 1
Wn2 = n [Gn (u) u℄2 (u) du
(4.12)
0
Anderson y Darling [2℄ y [3℄ obtienen la distribuion asintotia de Wn2
partiendo del proeso estoastio
Yn(u) = pn [Gn(u)
u℄
0u1
(4.13)
desomponiendolo en serie de Fourier
1
X
(4.14)
Yn = Zj fj
j =1
donde los terminos de la suesion fZj gj 2N son variables aleatorias inorrelaionadas, on E(Zj ) = 0 y V(Zj ) = j < 1, y la notaion X = Y
signia \X , Y tienen igual distribuion".
ffj gj2N es una suesion de funiones ortogonales respeto al produto
interno en el espaio de funiones de uadrado integrable L2 ([0; 1℄)
Z 1
hfi; fj i = fi(t) fj (t) dt = Æi j
0
CHAPTER 4. ALGUNAS GENERALIZACIONES
88
Los variables aleatorias de (4.14) se obtienen por
Zj = hYn ; fj i
y si esribimos
1
X
Yn =
j =1
(4.15)
q
j Zj? fj
(4.16)
donde ahora V(Zj? ) = 1, por la identidad de Parseval
Z 1
1
X
kYnk2 = Yn(t)2 dt = j Zj?2 = Wn2
(4.17)
0
j =1
As, Wn2 se puede esribir omo la suma, ponderada por los j , de las
variables inorrelaionadas Zj? , de media 0 y varianza 1.
Un aso onreto de la expansion (4.14) ha sido estudiada por Durbin y
Knott [38℄ utilizando la base ortonormal
p
0t1
fj (t) = 2 sin (j t)
obteniendo la siguiente desomposiion
1
X
Yn = fj Zj
j =1 j (4.18)
(4.19)
donde las variables Zj son normales independientes N (0; 1), que se obtienen
apliando (4.15). El estadstio de Cramer{von Mises puede esribirse omo
1 Z2
X
j
Wn2 =
(4.20)
2
j =1 j 2
Los autores estudian esta desomposiion interpretando Z1 ; Z2 ; : : : omo
omponentes prinipales.
Un proeso estoastio de la forma
pn [F (x) F (x)℄
n
1 < x < +1
(4.21)
donde Fn (x) es la funion distribuion empria de una muestra x1 ; : : : ; xn ,
y F (x) es una funion de distribuion (ontinua) reibe el nombre de proeso
emprio .
La teora de proesos emprios tiene multiples apliaiones en Estadstia (pruebas de bondad de ajuste, estadstios de rangos, estadstios on
norma L1 , estadstios no parametrios, por itar algunos ejemplos). Una
extensa exposiion del tema puede onsultarse en Shorak y Wellner [98℄.
Utilizaremos a ontinuaion algunas tenias desritas en esta obra.
89
CHAPTER 4. ALGUNAS GENERALIZACIONES
4.2.2 Coordenadas Prinipales de la distribuion uniforme
Vamos representar los valores de una variable aleatoria U on distribuion
uniforme en [0; 1℄ mediante una suesion de valores de variables aleatorias,
que segun veremos, pueden reibir apropiadamente el nombre de Coordenadas Prinipales respeto la distania valor absoluto, de modo analogo al
estudio realizado en el aptulo 2 on un onjunto nito de puntos equidistantes.
Introduimos el proeso estoastio
U = fUt ; 0 t 1g
donde para ada t, la variable aleatoria Ut , indiador del intervalo [t; 1℄ [0; 1℄, sigue la distribuion de Bernoulli on parametro t
Ut (x) =
(
0 si x < t on probabilidad t
1 si x t on probabilidad 1 t
Como justiaion heurstia de esta deniion, se puede imaginar
omo una matriz ontinua analoga a la matriz
0
A=
B
B
B
B
B
B
B
B
B
B
B
B
B
0
1
1
1
1
..
.
1
1
0
0
1
1
1
..
.
1
1
0 ::: 0 0
0 ::: 0 0
0 ::: 0 0
0
0 0
1
0 0
..
...
.
1
1 0
1 1 ::: 1 1
0
0
0
1
1
U
1
C
C
C
C
C
C
C
C
C
C
C
C
C
A
que era nuestro punto de partida para el estudio de la distania valor absoluto en el aso de un onjunto de n + 1 puntos equidistantes.
Proposiion 4.2.1 Se puede reonstruir la variable U a partir de U:
U=
Z
0
1
Ut dt
Demostraion: Para un x 2 [0; 1℄ dado, la funion
(4.22)
Ut (x) de t 2
[0; 1℄ es la funion indiadora del intervalo [0; x℄, de modo que
Z 1
Ut (x) dt = x
0
2
90
CHAPTER 4. ALGUNAS GENERALIZACIONES
Puede interpretarse (4.22) omo una desomposiion ontinua de la variable U en suma de indiadores, de modo que a ada valor x de la variable
aleatoria U le orresponde la la (trayetoria) xt de U.
Proposiion 4.2.2 La distania euldea entre dos trayetorias xt, yt de
U, denida omo
Z 1
(xt yt )2 dt
0
es igual a la distania valor absoluto jx yj entre los orrespondientes puntos
en [0; 1℄.
Demostraion: Supongamos, por ejemplo, x < y. Entones
Z 1
Z y
2
2
0
2
(xt
yt ) dt =
x
1 dt = y
x
La analoga on el aso disreto permite pensar U omo la onguraion
euldea onvenional uya matriz de distanias oinide on la de los puntos
dados on la funion distania valor absoluto, que nos serva omo punto de
partida para el alulo de las oordenadas prinipales.
Seguiremos a ontinuaion un programa paralelo, aprovehando las tenias desritas en Shorak y Wellner [98, pag. 205℄ para alular una desomposiion numerable del proeso U.
1
X
(4.23)
U = Zj fj
j =1
donde las Zj son variables aleatorias on varianza 1, y las fj son un sistema ompleto de funiones ortonormales en L2 ([0; 1℄). (Por omodidad de
alulo, no entramos el proeso, sino que apliaremos esta operaion al
nal, sobre las Zj resultantes).
Proposiion 4.2.3 La funion de ovarianza para U es
K (s; t) = Cov (Us; Ut ) = min (s; t) s t
Demostraion:
2
0 s; t 1
K (s; t) = E (Us Ut ) E(Us ) E(Ut )
= (1 maxfs; tg) (1 s) (1 t)
= s + t maxfs; tg s t
(4.24)
CHAPTER 4. ALGUNAS GENERALIZACIONES
91
Este nuleo es bien onoido, pues aparee omo funion de ovarianza
del puente Browniano , y tambien en Meania, omo funion de Green del
problema de Sturm{Liouville de la uerda vibrante on extremos jos.
Es un nuleo ontinuo, simetrio y denido positivo, por lo que, segun
el teorema de Merer (vease, por ejemplo, Courant and Hilbert [15, vol. I
hap 3℄), la desomposiion
1
X
K (s; t) = j fj (s) fj (t)
j =1
onverge absoluta y uniformemente en s y t, siendo los j y fj los valores
propios y funiones propias del nuleo K , es deir, tales que
Z 1
fj (s) K (s; t) dt = j fj (t)
0
Las fj (normalizadas a 1) forman un sistema ortonormal ompleto en
L2([0; 1℄).
Enontramos esta desomposiion alulada en Shorak and Wellner [98,
pag. 214℄
1
j
=
(j )2
p
(4.25)
f (t) = 2 sin(j t)
0t1
j
(j 2 N)
Ahora, reordando que en el aso nito se obtiene ada eje prinipal
omo produto de la matriz euldea iniial por el orrespondiente vetor
propio de la matriz de ovarianzas, la operaion en el aso presente es
Z 1
Zj = Ut fj (t) dt
0
Esta operaion oinide on el alulo de las omponentes prinipales del
proeso U, en la nomenlatura de Shorak y Wellner, y puesto que la traza
Z 1
Z 1
1
K (t; t) dt = (t t2 ) dt = < 1
6
0
0
y valen las hipotesis del teorema de Merer para el nuleo K (s; t) es apliable
el teorema de Ka y Siegert (vease Shorak y Wellner [98, pag. 210℄) que
permite armar la desomposiion (4.23).
92
CHAPTER 4. ALGUNAS GENERALIZACIONES
Proposiion 4.2.4
1. Las variables aleatorias Zj de la formula (4.23) vienen dadas en funion
de U por
p
2
(1 os(j U ))
(4.26)
Zj =
j
2. Las variables Zj tienen momentos de todos los ordenes, y en partiular
E (Zj ) =
p
2
V (Zj ) =
j
1
j2 2
Demostraion:
1. Dado x 2 [0; 1℄
Zj (x) =
=
=
=
Z
Z0
1
x
Z0 x
p0
Ut (x) fj (t) dt
fj (t) dt
p
2
j
2 sin(j t) dt
(1 os(j x))
2. Se alula la esperanza de Zj a partir de la relaion funional
on la variable U
p
Z 1 p
2
2
E (Zj ) =
(1 os(j x)) dx =
0 j
j
Los momentos entrales de orden superior se alulan
failmente de igual forma. 2
Designaremos Cj la variable aleatoria entrada orrespondiente a Zj
Cj =
y Cj? la variable tipiada.
Cj? =
p
2
os(j U )
(4.27)
2 os(j U )
(4.28)
j
p
93
CHAPTER 4. ALGUNAS GENERALIZACIONES
El siguiente teorema, objetivo de este apartado, es la que justia, por
analoga on la deniion usual en Estadstia Multivariante (vease el teorema (1.5.1) del Captulo 1), denominar a las Cj Ejes prinipales para la
variable U respeto la distania Valor Absoluto, y Coordenadas prinipales
de un x 2 [0; 1℄ en esta representaion a la suesion de valores
fCj (x)gj2N = (
p
2 os( x);
p
2 os(2 x);
p
2 os(3 x); : : : )
(4.29)
Comparese, ademas, esta expresion on la obtenida en el teorema (2.4.1)
del aptulo 2, donde para el aso disreto equidistante, se llega a identio
resultado, dado que
p
Cj (x) = 2 Tj (z )
siendo Tj el j {esimo polinomio de Thebyhev de primera espeie, y z =
os( x).
TEOREMA 4.2.1
1. Las variables Cj son inorrelaionadas.
2. Las variables tipiadas Cj? son igualmente distribuidas, siendo su funion de distribuion omun (para todo j 2 N)
8
>
>
>
>
>
>
>
<
0
G(x) = > 1
>
>
>
>
>
>
:
1
aros
1
px
2
p
si x <
si
si
p
2
2x<
p
2
(4.30)
p
2x
Son absolutamente ontinuas y su funion densidad de probabilidad es
8
>
>
>
>
<
g(x) = >
>
>
>
:
1r 1
2 x2
0
si
p
2<x<
p
2
(4.31)
en aso ontrario
3. La suesion de varianzas fV (Cj )gj 2N es dereiente y sumable, siendo
su suma igual a \la variabilidad total de la matriz de ovarianzas", es deir,
a la traza del nuleo K (s; t)
4. Dados x, y 2 [0; 1℄, la distania euldea al uadrado entre las suesiones
fCj (x)gj2N y fCj (y)gj2N es igual a la distania valor absoluto jx yj
1
X
(Cj (x) Cj (y))2 = jx yj
(4.32)
j =1
94
CHAPTER 4. ALGUNAS GENERALIZACIONES
Demostraion:
1. Esta armaion puede deduirse del teorema de Ka y Siegert
menionado mas arriba, o bien obtenerse failmente por alulo
direto.
p p
2. Dado x 2 [ 2; + 2℄, alulamos la probabilidad P (Cj? x)
p
2 os (j t) es inyetiva en el intervalo
La funion Cj? (t) =
[0; 1=j ℄, y el onjunto de los puntos t 2 [0; 1=j ℄ para los que
Cj? (t) x es el intervalo
I1 = [0; z ℄
siendo
z=
1
j
x
aros( p )
2
j
1
En general, en ada uno de los j intervalos
i i + 1
;
j j
0ij
1
el onjunto de los puntos que verian la ondiion espeiada
es un intervalo Ii de igual longitud que I1 .
Por ejemplo, si j 2 tenemos I2 = [2=j z; 2=j ℄, si j 3,
tenemos I3 = [2=j; 2=j + z ℄, et.
La probabilidad de la reunion de estos intervalos por la ley uniforme es la longitud total, igual a j z .
3. Hemos visto ya que la traza de K es igual a 1=6. Ahora
veriamos que
1
1
X
X
V (Cj ) = 12 j12 = 61
j =1
j =1
4. El enuniado equivale a veriar la identidad
1 (os(j x) os(j y))2
2 X
jx yj = 2
j2
j =1
que se obtiene alulando el desarrollo de la funion jx
serie doble de Fourier en el uadrado [0; 1℄ [0; 1℄
jx yj = 41 A0 0 +
yj en
95
CHAPTER 4. ALGUNAS GENERALIZACIONES
+
+
1
1
1X
1X
Am 0 os m x +
A os n y +
2 m=1
2 n=1 0 n
1 X
1
X
m=1 n=1
Am n os m x os n y
(4.33)
donde los oeientes Am n , para m; n 0 se alulan por
Am n = 4
y son
8
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
<
Am n = >
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
:
1
Z
1
Z
0
0
4
3
4
(m )2
4
(n )2
4
jx yj os m x os n y dx dy
si m = 0
y n=0
[1 + ( 1)m ℄
si m > 0
y n=0
[1 + ( 1)n ℄
si m = 0
y n>0
si m > 0
y n>0
(n )2
Æm n
Sustituyendo en (4.33), teniendo en uenta que en los sumandos
(m; 0) y (0; n) los terminos no nulos son los pares, empleando la
1
X
identidad os 2 a = 2 os2 a 1 y la identidad
1=n2 = 2 =6
m=1
obtenemos
0
1 os2 n x
1 1 4 X
jx yj = 3 + 2 2
n=1 n2
0
1 os2 n y
1 4 X
+ 2 2 n=1
n2
1
1A
+
3
1
1A
3
CHAPTER 4. ALGUNAS GENERALIZACIONES
96
1 os n x os n y
4 X
n2
2 n=1
1 (os n x os n y)2
2 X
=
n2
2 n=1
2
4.2.3 Regresion basada en distanias para variables aleatorias
Podemos plantear ahora el modelo de regresion basada en distanias para
una variable aleatoria Y , que podemos suponer tipiada, sobre U (es deir,
sobre la variable resultante de tipiar U )
Se trata de alular, para un n dado, los oeientes j en
Y=
n
X
j =1
j Cj? + e
que hagan maximo el porentaje de variabilidad de Y expliado por las
variables regresoras Cj? .
Se obtienen estos oeientes por
j = E (Y
Cj? ) =
Z
p
y 2 os(j x) dH
(4.34)
siendo H la distribuion onjunta de (Y; U ).
Al ser inorrelaionadas las variables regresoras, tenemos que el oeiente de determinaion es
n
X
2
R = j2
j =1
Aunque en general la distribuion onjunta H es inaesible, podemos
utilizar este modelo para proponer un test de bondad de ajuste de la distribuion de una Y a la distribuion uniforme, y, por medio de un ambio
de variable omo en (4.12), de una distribuion a otra.
4.2.4 Apliaion al estudio de bondad de ajuste
La distribuion bivariante que proporiona maxima orrelaion entre sus
marginales X , Y , on distribuiones F y G, respetivamente, es la ota de
Frehet
H + (x; y) = minfF (x); G(y)g
CHAPTER 4. ALGUNAS GENERALIZACIONES
97
y dos variables aleatorias X , Y uya distribuion onjunta sea H + se relaionan por
F (X ) = G(Y )
(4.35)
Suponiendo X , Y tipiadas, esta maxima orrelaion viene dada por
([56℄, [44℄)
Z 1
+ = F 1 (p) G 1 (p) dp
(4.36)
0
y puede interpretarse omo una medida de ajuste entre F y G, y su alulo
para algunas distribuiones onoidas ha sido llevado a abo por Cuadras y
Fortiana [30℄
Ahora, si una de las variables es la U , uniforme en [0; 1℄, y la distribuion
de la otra es F , tomando omo distribuion onjunta la ota de Frehet H +
y apliando la relaion funional (4.35) podremos alular los oeientes j
de (4.34) por
Z 1
p
(4.37)
F 1 (x) 2 os(j x) dx
j =
0
Observese que estos oeientes son los del desarrollo de Fourier de la
funion F 1 en el intervalo [0; 1℄ respeto al sistema ortonormal ompleto
de funiones
p
x 2 [0; 1℄
2 os(j x)
j 2N
y que la funion F 1 es de uadrado integrable siempre que la variable
X = F 1 (U ) tenga segundo momento nito, puesto que
Z
Z 1
2
x dF (x) = (F 1 (x))2 dx
0
ondiion que permite asegurar la onvergenia de las integrales impropias
(4.37).
Un aso partiular importante es el estudio de una distribuion empria.
Supongamos que x1 : : : xn es una muestra ordenada de una variable
aleatoria X , y que se desea ontrastar la hipotesis nula
H0 :
La distribuion de X es igual a F
para una funion de distribuion F dada.
Si se umple la hipotesis nula, la suesion y1 : : : yn , donde yi = F (xi ),
sera una muestra de una distribuion uniforme en [0; 1℄.
Si Gn es la funion de distribuion empria de los yi, la disrepania
entre esta distribuion y la uniforme puede proporionar un riterio para
deidir sobre H0 .
98
CHAPTER 4. ALGUNAS GENERALIZACIONES
Los oeientes j para este aso daran medidas de esta disrepania
segun los suesivos ejes prinipales, y se les puede dar una interpretaion
pareida a la que proponen Durbin y Knott [38℄, y Durbin, Knott y Taylor
[39℄.
Puesto que en este aso
G 1 (t) = yi
si ti < t ti+1
(0 i n 1)
n
siendo t0 = 0, y ti = i=n para i > 0, (suponiendo para simpliar la notaion
que los yi no tienen repetiiones), la formula (4.37) se redue a la suma nita
p
1
0
ij A
sin
n
(i 1) j yi sin
j =
n
j i=1
2
n
X
Ejemplo 4.2.1 Coeientes teorios para una distribuion de probabilidad
dada
Si U0 es la variable uniforme entrada U0 =
distribuion de probabilidad es
8
>
>
>
>
>
<
F (x) = >
>
>
>
>
:
0
si
1
si
p1 x + 21 si
2 3
p
3 (2 U
x<
1), uya funion
p
3
p
p
3x< 3
p
3x
se pueden alular explitamente los oeientes j , obteniendose
8
>
>
>
<
j = >
>
>
:
p
4 6
j2 2
si j es impar
0
si j es par
(4.38)
En general no es posible obtener, omo en este aso, formulas explitas
para los oeientes de Fourier j , pero siempre se puede reurrir a la integraion numeria.
En la siguiente tabla se itan los primeros oeientes j para algunos
ejemplos de distribuiones onoidas. Se han tipiado las distribuiones
para el alulo, de forma que, por ejemplo, hay una sola la para la distribuion Normal, mientras que en otras distribuiones al tipiar no desa-
99
CHAPTER 4. ALGUNAS GENERALIZACIONES
pareen todos los parametros.
1
2
3
4
0:9786 0
0:1759 0
0:9642 0:1639 0:1634 0:0655
0:8336 0:3192 0:2513 0:1679
0:7822 0
0:3066 0
0:9389 0
0:2530 0
0:9484 0
0:2407 0
0:6604 0:3366 0:2697 0:2061
0:4804 0:2547 0:2249 0:1730
Ejemplo 4.2.2 Estudio de una distribuion empria
Mediante muestreo artiial se obtuvo la siguiente muestra de tama~no
n = 20
0:0162 0:0210 0:0614 0:0926 0:1088
0:1395 0:1711 0:2078 0:4481 0:4691
0:5119 0:6204 0:6679 0:7111 0:7842
0:7917 0:8531 0:8896 0:9661 0:9783
Se plantean dos hipotesis. Segun la primera hipotesis, la muestra proede de una distribuion uniforme (omo es en realidad), y segun la segunda
hipotesis, la muestra proede de una distribuion exponenial. Si es ierta
esta segunda hipotesis, la transformaion y = 1 exp( b x) debera transformar la muestra en una uniforme, siendo b la estimaion maximo verosmil
del parametro .
El valor de + alulado para la muestra original es
+1 = 0:98559
y para la muestra transformada es
+2 = 0:978477
Al ser +1 > +2 , la hipotesis de distribuion uniforme prevalee sobre la
de distribuion exponenial. Si efetuamos el alulo de los oeientes j ,
apreiamos una mejor resoluion al omparar los valores alulados en ada
aso on los teorios para la distribuion uniforme.
Beta (2,2)
Beta (1,2)
Exponenial
t (3)
t (20)
Normal
F (2, 8)
F (8, 5)
Datos
Originales
1
2
3
4
0:9930
0:0040
0:0167
0:0573
Datos
Transformados
0:9714
0:2005
0:0127
0:0481
Coeientes
Teorios
0:9927
0
0:1103
0
Chapter 5
An
alisis disriminante
basado en distanias
100
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
101
5.1 Introduion
En este aptulo se desarrolla el problema del Analisis Disriminante desde
el punto de vista de las distanias, en el sentido ya introduido en el Captulo
1, seion 6.3.
Sea ! un individuo a lasiar en una de dos poblaiones posibles 1 ,
2 sobre la base de p variables x1 ; : : : ; xp , que pueden ser de ualquier tipo:
ontnuas, disretas, binarias, ategorias.
Como es bien sabido, el problema de asignar un individuo ! a una
poblaion i se resuelve mediante una funion disriminante f (x), donde
x representa el vetor de observaiones de las variables sobre !. La regla
general es
(
1 si f (x) > 0
(5.1)
2 si f (x) 0
El tema del Analisis Disriminante esta ampliamente tratado en la literatura: Kendall [64℄, Anderson [4℄, Lahenbruh [71℄, Morrison [80℄, Mardia
et al. [78℄, Seber [96℄, Krzanowski [70℄, Cuadras [20℄ , [24℄, y [28℄.
Clasiar x en
5.1.1 Notaiones
Utilizaremos las siguientes notaiones:
LDF para referirnos a la funion disriminante lineal de Fisher [42℄
1
(x + x )℄0 S 1 (x1 x2 )
(5.2)
L(x) = [x
2 1 2
donde S es la matriz de ovarianzas omun de las dos muestras (pooled within
groups ).
QDF para referirnos al disriminador uadratio
jS j 1 (x0 S x x0 S x ) +
1
Q(x) = log 2
2
jS1 j 2 1 1 1 2 1 2
1 0
x (S1 1 S2 1 ) x
+ x0 (S1 1 x1 S2 1 x2 )
2
(5.3)
donde x1 , x2 son las medias, y S1 y S2 son las matries de ovarianzas
de muestras de tama~nos n1 y n2 , proedentes de las poblaiones 1 y 2 ,
respetivamente. Observese que QDF se onvierte en LDF en el aso de
igual matriz de ovarianzas en las dos poblaiones (i.e. si se reemplaza S1 y
S2 por S en 5.3).
LM para referirnos al Analisis Disriminante basado en el loation model ,
El LM, studiado por Krzanowski [67℄, es apliable uando los vetores x de
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
102
observaiones de las variables onstan de una omponente xb on k variables
disretas binarias y una omponente x on variables ontinuas normales.
Este modelo onsiste en proponer para las variables ontinuas una distribuion normal multivariante para ada una de las 2k onguraiones posibles de las k variables binarias, on media (posiblemente) distinta, y matriz
de ovarianzas omun. Se emplean las funiones disriminantes
[x
1 (m)
(
+ 2 (m) )℄ S 1 (1 (m)
2 1
p
2 (m) )0 log 2 m
p1 m
(5.4)
donde m reorre el onjunto de las 2k onguraiones de las variables binarias, i (m) es la media de las variables ontinuas x para la poblaion i
(i = 1; 2), en la onguraion m, S es la matriz de ovarianzas omun, y pi m
son las probabilidades de tener una observaion en i (i = 1; 2) en la onguraion m. Los valores de pi m y i (m) se estiman empleando un modelo
de regresion y un modelo log{lineal, respetivamente.
ML para referirnos a la regla de la maxima verosimilitud, basada en la
funion disriminante
V (x) = log f1 (x) log f2(x)
(5.5)
donde fi es la densidad de probabilidad de x uando se sabe que el individuo
! pertenee a i .
BR (regla de Bayes) se aplia uando las probabilidades a priori q1 ,
q2 de que ! perteneza a 1 o 2 son onoidas, y se basa en la funion
disriminante
B (x) = V (x) + log (q1 ) log (q2 )
(5.6)
Segun un resultado lasio, BR es admisible, es deir, no existe una regla
de deision mejor uando las fi y qi son onoidas (Anderson [4, p. 144℄,
Mardia et al. [78, p. 308℄.
Nos referiremos a la regla M uando se asigna el individuo ! de oordenadas x0 a la poblaion mas proxima, suponiendo onoidas las distanias
Æ (x0 ; i ), (i = 1; 2). Esta regla se onsidera introduida por Matusita ([75℄,
[76℄, [77℄).
Indiaremos por DB el metodo basado en una distania entre individuos u observaiones. Introduido pos Cuadras [24℄, desarrollamos diversos
aspetos y estudiamos sus propiedades en la seion siguiente.
Finalmente, haremos referenia a LR (Regresion logstia), NN (Nearest
Neighbour ), uyos prinipios estan bien desritos en Lahenbruh [71℄ y Seber [96℄, y al llamado disriminador lineal euldeo EDF (Maro et al. [73℄),
que esta basado en una funion disriminante analoga a la (5.2), pero emplando la metria euldea standard en lugar de la metria de Mahalanobis.
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
103
5.1.2 Consideraiones sobre los metodos lasios y el DB
En los asos en que las variables disriminadoras son ontinuas y se pueden
suponer on distribuion onjunta normal multivariante, son adeuados los
metodos LDF y QDF, siendo apliable el primero uando se puede aeptar
la hipotesis de homosedastiidad. En diho aso, LDF oinide on DB si
se aplia omo funion distania la dada por la metria de Mahalanobis.
Cuando la normalidad no es aeptable, LDF es mas robusto que QDF
(Vease Seber [96, pp. 297{300℄ para una evaluaion omparativa detallada).
EDF es un buena eleion si las variables son ontinuas y su numero es
grande en omparaion on las dimensiones de las muestras.
Si el onjunto de variables disriminadoras ontiene variables ontnuas,
binarias y ualitativas, es adeuado LM si se puede aeptar normalidad de
las variables ontnuas para ada onguraion. Presenta el inonveniente
de requerir que la mayora de eldas (orrespondientes a ada onguraion
de las variables disretas) no sean vaas y de requerir enormes reursos omputaionales uando las variables ualitativas presentan muhos estados, ya
que debe desdoblarse ada una de estas variables en el numero neesario de
variables binarias, y el numero de alulos a realizar es de orden exponenial
en el numero total de variables binarias resultante.
LR permite tambien disriminaion on variables mixtas, y es preferible
a LDF en estos asos. (Vease Efron [40℄ y Press and Wilson [87℄). Los
argumentos en favor de este metodo se basan en que si los parametros del
modelo se ajustan por maxima verosimilitud, omo es el aso mas freuente,
proporiona una medida del ajuste del modelo a los datos, da una medida
able de la signiaion de ada variable para la lasiaion, y en general,
tiene las ventajas propias de diha tenia, notablemente la onsistenia,
mientras que LDF no mejora neesariamente las prediiones uando ree
el tama~no de la muestra. Observese que LDF se basa en la regla de maxima
verosimilitud solo si se umplen las hipotesis de ontinuidad, normalidad y
homosedastiidad para las variables disriminadoras.
LR presenta tambien el problema menionado en el aso del LM de
requerir un desdoblamiento interno de ada variable disreta en variables
binarias, aunque en este aso el reimiento de reursos omputaionales
on el numero de variables es solamente polinomio, en lugar de exponenial,
omo en el LM. Tambien el algoritmo IRLS (Iteratively Reweighted Least
Squares) que se emplea usualmente en la estimaion de parametros (e.g. en
el PROC LOGISTIC de SAS) puede presentar problemas de inestabilidad
numeria (Vease Green [54℄).
El metodo DB se basa en el heho que en muhas oasiones, el suponer
que las variables x siguen una distribuion de probabilidad F (x) dada, es una
hipotesis inadeuada o indemostrable, mientras que resulta natural asumir la
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
104
existenia de una funion distania Æ (!; !0 ) que uantique el onoimiento
que se tiene en ada problema onreto de lasiaion de la proximidad o
similitud entre dos observaiones !, !0 .
Por ello, el metodo DB es todava apropiado en problemas omo la omparaion de odigos (e.g. seuenias genetias en DNA), o el reonoimiento
de manusritos o de voz, asos en los uales inluso el suponer la existenia de una distribuion de probabilidad para las variables del problema es
una hipotesis arriesgada. Vease Valdes [100℄ y referenias itadas en diho
artulo.
DB es mas robusto que los metodos del tipo NN, pues, omo se muestra
en la seion siguiente, la regla de deision propuesta para lasiar un
individuo ! equivale a minimizar la distania de ! al individuo medio de
ada poblaion i en un espaio pseudo{euldeo, lo que hae que sea menos
sensible a la presenia de outliers que dihos metodos.
Adiionalmente, permite una estimaion fail de la tasa de error, y en
aso de onoerse probabilidades de asignaion a priori , pueden inorporarse
al modelo.
Por ultimo, los requerimientos omputaionales de DB son sensiblemente
menores que LM y LR. El numero de ops ree uadratiamente on el
tama~no de la muestra, linealmente on el numero de variables y, empleando
las distanias usuales, no aumenta on el numero de estados de las variables
ualitativas, al no existir desdoblamientos internos en variables binarias. El
tama~no de la memoria (real o virtual) neesaria ree solo linealmente on
el tama~no de la muestra (Vease implementaion del algoritmo en el aptulo
6 de esta memoria).
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
105
5.2 El metodo DB de lasiaion
5.2.1 Metodo DB para muestras
Como se ha menionado en 1.6.3, si se dispone de un total de n = n1 + n2
observaiones, siendo nk de k , (k = 1; 2), las funiones disriminantes
propuestas por Cuadras [24℄ para asignar una nueva observaion ! son
nk
1 X
Æ 2 (k )
k ( ! ) =
nk i=1 i
nk X
nk
1 X
Æ 2 (k )
nk 2 i=1 j =i i j
(5.7)
donde (2) (k) = Æ 2i j (k) es la matriz de uadrados de distanias de la
subpoblaion k , y Æ 2i (k); (i = 1; : : : ; nk ) los uadrados de las distanias
de ! a los nk individuos de esta subpoblaion.
Se asigna ! a la subpoblaion k para la ual k ( ! ) es mnima.
Considerando la representaion euldea (o pseudo{euldea) asoiada a
la onguraion de interdistanias entre los nk indivduos de la muestra de
k , segun los teoremas 1.5.1 y 1.5.2 del aptulo 1, omprobamos a ontinuaion que esta regla de asignaion orresponde a un riterio de mnima
distania.
Sea H (k) la matriz de entrado de dimension (nk ; nk ), B (k) y X (k) omo
en los teoremas itados
1 (2)
B (k ) = H (k ) (k) H (k) = X (k) X (k)0
2
Las las xi (k) de X (k) ontienen los vetores que representan aplos nk individuos de la muestra de k en un espaio Rp i Rq , donde i =
1, p > 0,
q 0, p + q = rang (B (k)) nk 1.
El entroide
nk
1 X
x(k) =
x (k)
nk i=1 i
es el vetor nulo en esta representaion, pero onvendra utilizarlo formalmente.
TEOREMA 5.2.1 La funion disriminante k(!) denida en (5.7) es el
uadrado de la distania entre el individuo a asignar y el entroide x(k)
k ( ! ) = Æ 2 ( ! ; x(k))
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
Demostraion: Sea x0 el vetor (la) de
106
Rp i Rq , orrespondi-
ente al individuo ! . (Se ha alulado explitamente este vetor
para el aso euldeo en la proposiion 2.1.1; un resultado analogo
vale para el aso general no euldeo, pero no haremos uso de este
resultado).
k x0 x(k) k2 =
!
!0
nk
nk
1 X
1 X
x (k) x0
x (k)
= x0
nk i=1 i
nk i=1 i
!0
nk
X
2
0
= x0 x0
x x (k) + 0
nk 0 i=1 i
nk
1 X
x0 x00 2 x0 x0i
=
nk i=1
nk
1 X
(x0 xi ) (x0 xi )0 xi x0i
=
nk i=1
nk
1
1 X
Æ i (k )
tr (B (k))
=
nk i=1
nk
Finalmente, por la deniion de B (k),
1
1
1
2 bi j (k) = Æ 2i j (k)
si
sj + 2 D
nk
nk
nk
donde si es la suma de los elementos de la la i de la matriz
(2)(k) y D(k) la suma de todos los elementos de (2)(k). En
partiular
Por tanto
2 bi i (k) =
1
2
si + 2 D(k)
nk
nk
1
D(k)
2 nk
Sustituyendo se llega al enuniado.
Observese que en este alulo no se ha supuesto que (k) sea
euldea (si no lo es, los alulos on los xi son entre numeros
omplejos). 2
tr (B (k)) =
Como orolario del teorema (5.2.1) resulta que si la muestra onsiste en
grupos no solapantes (es deir, tales que la distania de ada individuo
al entroide del grupo a que pertenee es menor que la distania de este
individuo al entroide del otro grupo), entones la lasiaion es perfeta.
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
107
5.2.2 Estimaion del error
El estimador leave{one{out de la probabilidad de lasiaion erronea (Lahenbruh [71℄) puede apliarse on failidad al metodo DB.
Se alula esta estimaion eliminando por turno ada individuo de la
muestra y asignandolo a una u otra subpoblaion segun la regla de deision
obtenida a partir de los restantes n 1 individuos de la muestra.
El resultado de esta operaion puede expresarse mediante una matriz C
de lasiaion , uyo elemento (r; s) es el numero de individuos del grupo
r que han sido asignados al grupo s por el algoritmo disriminante.
El estimador leave{one{out de la probabilidad de lasiaion erronea
es entones
1
( + )
n 12 21
Para el metodo DB, se realula la funion disriminante de la subpoblaion
a que pertenee el individuo eliminado (sea, a titulo de ejemplo, la primera)
1 ( i ) =
1
n1 1
ai
(n1
1
1)2
(D(1) ai )
(5.8)
donde ai es la suma de distanias al uadrado de i a los restantes individuos
de la primera subpoblaion y D(1) se ha denido en la seion preedente.
La segunda funion disriminante es
1
1
2 ( i ) = bi
D(2)
(5.9)
n2
n2 2
donde bi es la suma de distanias al uadrado de i a los individuos de la
segunda subpoblaion.
Comparese este alulo on el equivalente para otros disriminadores:
por ejemplo en LDF y QDF se debe realular la inversa de una matriz de
ovarianzas para ada uno de los n individuos de la muestra.
5.2.3 Metodo DB para variables aleatorias
Supongamos que las variables observadas siguen la distribuion de probabilidad Fk para la subpoblaion k (k = 1; 2). y que on respeto a una medida
adeuada , la orrespondiente densidad de probabilidad es fk (k = 1; 2).
Sea 0 el resultado de la observaion sobre un individuo ! a asignar, y
Æ una funion distania. La funion disriminante que generaliza (5.7) es
k (0 ) =
=
Z
Æ 2 (0 ; ) fk ( ) d ( )
Hk 0
1
H
2 k
1
2
Z
Æ 2 (; ) fk ( ) fk ( ) d ( ) d ( )
(5.10)
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
108
En la segunda igualdad, Hk 0 es el valor esperado en k de la funion Æ 2 (0 ; )
(de la variable aleatoria ),
Hk 0 = Ek
h
i
Æ 2 (0 ; )
y Hk es el valor esperado en k k de la funion Æ 2 (; ) de las dos variables
aleatorias ; , independientes y on igual distribuion Fk
Hk = Ekk
h
i
Æ 2 (; )
(5.11)
Nota 5.2.1 La exposiion del metodo DB se ha realizado para el aso de
dos muestras o poblaiones por laridad de notaion. Apliando las modiaiones obvias en la notaion, puede verse que es igualmente valido para
mas de dos muestras o poblaiones.
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
109
5.2.4 Propiedades basias del metodo DB
1) En primer lugar observamos que la expresion Hk en (5.10) es una medida
de la dispersion en la poblaion k y que Hk 0 es un promedio de las diferenias entre el individuo ! a asignar y los individuos de k . Considerando
una poblaion 0 formada por el unio individuo !, tenemos que H0 = 0, y
podemos esribir
1
(H + H0 )
(5.12)
k (!) = Hk 0
2 k
Es deir, la funion disriminante es una diferenia de Jensen entre k y 0 .
2) Si en ada poblaion se observan dos vetores aleatorios independientes
x, y para los que se tienen distanias Æ 2x (x1 ; x2 ) y Æ 2y (y1 ; y2 ), segun Oller
[84℄, una manera natural de denir una distania entre los pares (x; y) que
sea onsistente on la independenia de las variables x, y es
Æ 2 ((x1 ; y1 );
(x2 ; y2 )) = Æ 2x (x1 ; x2 ) + Æ 2y (y1 ; y2 )
Con esta distania, vemos que, por la aditividad de la esperanza matematia,
las funiones disriminantes k (!) de (5.10), onstruidas teniendo en uenta
las dos variables x, y son la suma de las [x℄k y [y℄k , onstruidas a partir
de ada una de las variables por separado.
3) El metodo DB permite la onsideraion de probabilidades a priori : Si !
pertenee a k on probabilidad a priori igual a qk , entones las funiones
disriminantes (5.10) deben sustituirse por
k (!) = Hk 0
1
H +1
2 k qk
1
Vease Cuadras [28℄ para una justiaion de esta formula y una disusion
de la relaion entre estas funiones disriminantes y las (5.6) obtenidas de
la regla de deision de Bayes.
5.2.5 Teorema de representaion
La siguiente proposiion, analoga al teorema (5.2.1) para muestras, permite
interpretar el metodo DB omo una regla de mnima distania.
TEOREMA 5.2.2 Supongamos que ada poblaiomn k tiene una repre-
sentaion en un espaio vetorial mk {dimensional E
euldeo), es deir, que existen funiones
k
: k
! E mk
k
(euldeo o pseudo{
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
110
tal que para ada par (x; y) 2 k k se veria que
2
Æ 2 (x; y ) = k k (x)
k (y )k
Supongamos adiionalmente que existen los momentos
(k )
2 (k )
=
=
E k (
E k
k (x))
k (x)
0 k (x)
Entones, la funion disriminante k (!) para un individuo ! uya observaion es x0 viene dada por
k (!) = k k (x0 ) (k)k2
Demostraion:
Hk 0
=
=
Ek (Æ2(x; x0 ))
Ek ((s s0)0 (s
s0 ))
siendo s = (x) y s0 = (x0 )
= Ek (s0 s 2 s00 s + s00 s0 )
= 2 (k) 2 s00 (k) + s00 s0
Analogamente, poniendo t = (y), alulamos
Hk = Ekk (Æ2(x; y))
= Ek k ((s t)0 (s t))
= Ek k (s0 s 2 s0 t + t0 t)
= 2 [2 (k) ((k))2 ℄
on lo que al substituir en
k (!) = Hk 0
obtenemos el enuniado. 2
1
H
2 k
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
111
5.3 Distanias entre individuos para el modelo DB
5.3.1 Aspetos generales
Segun la deniion de las funiones disriminantes del modelo DB, puede
apliarse diho modelo siempre que se disponga de una funion distania
entre individuos de ada subpoblaion.
Cada individuo u observaion queda espeiado por un onjunto x de
oordenadas , que pueden agruparse en numerias ontinuas, binarias, ualitativas de tipo ordinal y ualitativas de tipo nominal (es deir, uya odiaion numeria es puramente onvenional).
Se requieren entones dos funiones distania, una para ada subpoblaion,
D1 (xA ; xB )
D2 (xA ; xB )
de modo que Di (xA ; xB ) sea la distania entre las observaiones xA y xB en
el supuesto de perteneer ambas a la subpoblaion i. Las funiones D1 y
D2 pueden oinidir, lo que redunda en una onsiderable simpliaion de
la estimaion del error de lasiaion, segun veremos en el Captulo 6 (6.3),
al disponerse en este aso de una matriz de distanias global, pero esto no
es una exigenia del modelo.
No es preiso que la funion distania proeda de un modelo probabilstio, ni que de lugar a una onguraion euldea.
Por ello hay gran exibilidad en la eleion de funiones distania, que
pueden elegirse entre la multitud de las desritas en la literatura, o bien
prepararse una ad ho , segun la informaion de que se disponga en ada
aso onreto del signiado de las variables y de sus relaiones.
Como ejemplo de distanias del primer tipo, tenemos las distanias entre
variables ontinuas, omo la distania euldea, las distanias de Minkowski
!1=p
n
X
p
Æ (x; y ) =
jxi yij
i=1
donde x = (x1 ; : : : ; xn ), y = (y1 ; : : : ; yn ) son las oordenadas de dos observaiones x, y, y la distania Valor Absoluto estudiada en los aptulos
anteriores.
Si las oordenadas son solo binarias, se dispone tambien de gran antidad
de distanias y oeientes de similaridad desritos en la literatura, omo
por ejemplo, los de Jaard, Sokal y Sneath, Kulezynski, et.
Cuando las variables son de tipo mixto, una funion distania muy empleada es la de Gower, ya menionada en el Captulo 2 (2.11).
Por ultimo, omo ilustraion de otras funiones distania apliables en
ontextos onretos, podemos menionar la distania de Levenshtein (vease
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
112
[100℄), empleada para medir las diferenias entre dos adenas de arateres,
que en su variante mas simple puede desribirse omo el mnimo numero de
substituiones, inseriones y eliminaiones de arateres que hay que efetuar
sobre una adena para obtener la otra. Un aso mas general onsidera ostes
prejados para insertar y eliminar ada arater del alfabeto empleado, y
para interambiar ada pareja de arateres.
5.3.2 Distania basada en eÆient sores
Si se dispone de un modelo probabilstio parametrio para las observaiones x, denido mediante una funion densidad p(x; ) dependiente de los
n parametros = (1 ; : : : ; n ), las funiones distania entre individuos que
resultan idoneas son las que se deduen del estudio de la Geometra Riemanniana de la variedad n{dimensional de los parametros, uyo tensor metrio
es la metria de Rao ), que en las oordenadas se expresa por la matriz de
informaion de Fisher
!
log p (X; ) log p (X; ) 2 log p (X; )
=
E
G = E
0
0
La distania entre las observaiones x1 y x2 se alula empleando los
eÆient sores , denidos omo los vetores n{dimensionales
zi = log p(xi ; )
y se obtiene por
(5.13)
Æ (x1 ; x2 ) = (z1 z2 )0 G 1 (z1 z2 )
(vease Cuadras [23℄, Oller [84℄, Mi~narro [79℄)
5.3.3 Condiiones para una distania entre observaiones
Observando que si se emplea la distania entre individuos basada en los
eÆient sores para la poblaion k se umple que
Hk = Ekk
= 2 Ek
= 2 Ek
h
i
Æ 2 (Z1 ; Z2 )
= Ek k (Z1 Z2 )0 G 1 (Z1
0
Z G 1 Z = 2 Ek
tr (G 1 Z Z 0 )
tr (G 1 G) = 2 n
Z2 )
(5.14)
puede proponerse esta igualdad omo ondiion de normalizaion en el aso
de no disponer de un modelo parametrio, siendo ahora n el numero de
variables.
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
113
Esta ondiion se extiende al aso de tener n variables x que se agrupan
en dos o mas onjuntos de variables, desonoiendose la estrutura de dependenia entre ellas. Un ejemplo freuente aparee si se tiene una mezla
de variables ontinuas, binarias y ualitativas.
La existenia de una distribuion de probabilidad onjunta uyas marginales
son las de ada uno de los onjuntos es probada en Cuadras [29℄.
En diho aso se puede proponer que la ondiion de normalizaion ha
de apliarse a ada onjunto de variables por separado, y nalmente obtener
la distania al uadrado total omo suma de las distanias al uadrado omponentes, una vez normalizadas (vease Cuadras [27℄, [31℄).
Esto es una generalizaion natural del aso parametrio, pues entones
la metria de Rao tiene la forma
G1 0
0 G2
!
y se veria (5.14) para G1 y G2 por separado, y la distania global al
uadrado es la suma de los dos terminos orrespondientes a G1 y G2 .
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
114
5.4 Ejemplos on distribuiones onoidas
Como apliaion de (5.10), alulamos las funiones disriminantes para
algunos asos de distribuiones lasias, empleando omo distania entre
individuos la alulada a partir de (5.13)
5.4.1 Distribuion disreta nita generia
Supongamos que la variable observada sigue una distribuion disreta nita
on m estados, uyos parametros son (p1 ; : : : ; pm ) en la poblaion 1 , y
(q1 ; : : : ; qm ) en la poblaion 2 .
La funion de probabilidad en 1 es
f (x) = pr
si x = er
(r = 1; : : : ; m)
donde
er = (0; : : : ; 0; 1 ; 0; : : : ; 0)
"
posiion r
Una expresion analoga, on q en lugar de p vale para 2 .
La distania entre dos individuos x = er , y = es en 1 (vease Mi~narro
[79, pp. 66{67℄) se alula por
1 1
2
+
Æ (x; y ) = (1 Ær s )
pr ps
Proposiion 5.4.1 Las funiones disriminantes para un individuo ! on
valor observado x0 = er son
1 pr
1 qr
1 (! ) =
2 (!) =
pr
qr
Demostraion: Calulamos 1 . Cambiando p por q resulta 2
1 (!) =
m X
1 1
=
(1 Ær s )
+
ps
pr ps
s=1
m X
m 1 1 1X
(1 Æs t )
+
ps pt
2 s=1 t=1
ps pt
!
m X
m
1 X
1 pr
+ (m 1)
(1 Æs t ) (ps + pt )
=
pr
2 s=1 t=1
!
m
m
X
1 X
1 pr
(1 ps ) + (1 pt )
+ (m 1)
=
pr
2 s=1
t=1
1 pr
=
pr
2
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
115
En onseuenia, se asignara ! a la subpoblaion 1 si
1 (!) < 2 (!)
() pr > qr
5.4.2 Distribuion multinomial
Sea x = (x1 ; : : : ; xm ) una variable aleatoria on distribuion multinomial,
de parametros n y p = (p1 ; : : : ; pm ).
P
parametros pi
Los xi son enteros positivos o nulos on m
i=1 xi = n, los
P
son numeros reales en el intervalo [0; 1℄, veriandose que m
i=1 pi = 1
La funion de probabilidad de x es
f (x=n; p) =
n! x
p
x!
donde se han empleado las notaiones
x! m
Y
i=1
xi !
y
px m
Y
i=1
pxi i
Emplearemos la distania entre individuos para esta distribuion dada por
Mi~narro [79, pag. 66℄
m (x
2
1X
i yi )
Æ 2 (x; y ) =
n i=1
pi
Consideramos el problema de asignar a una de las poblaiones 1 , 2 un
individuo ! para el que se ha observado el valor u = (u1 ; : : : ; um ) siendo los
parametros n y p = (p1 ; : : : ; pm ) en 1 , y n y q = (q1 ; : : : ; qm ) en 2 .
Proposiion2 5.4.2 Las funiones disriminantes oiniden on el lasio
estadstio de K. Pearson en ada una de las poblaiones. Es deir:
m (u
m (u
2
2
X
X
i n pi )
i n qi )
1 (!) =
2 (!) =
n pi
n qi
i=1
i=1
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
116
Demostraion:
Calulamos 1 (!). El mismo alulo sirve para 2 (!), ambiando p por q.
H1 0 = E
=
Æ 2 (u; x)
m 1 X
1
E u2i
n i=1 pi
2 ui xi + x2i
omo ada marginal xi es B (n;
m
X
pi
), resulta
1
1 2
ui 2 ui n pi + n pi (1 pi ) + n2 p2i
n i=1 pi
m u2
1X
i
n + (m 1)
=
n i=1 pi
=
H1
= E Æ 2 (x; y) =
m 1 1X
E x2i
n i=1 pi
2 xi yi + yi2
m 2
1X
(n pi (1 pi ))
n i=1 pi
= 2 (m 1)
=
Finalmente, sustituyendo en 1 (!) = H1 0 (1=2) H1 , y
agrupando terminos, se llega al enuniado. 2
5.4.3 Distribuion multinomial negativa
Sea x = (x1 ; : : : ; xm ) una variable aleatoria on distribuion multinomial
negativa, de parametros r y p = (p1 ; : : : ; pm ).
Los xi son enteros positivos o nulos, r es un enteroPpositivo, los pi son
numeros reales en el intervalo [0; 1℄, veriandose que m
i=1 pi < 1
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
117
La funion de probabilidad de x es
f (x=p; r) =
(jxj + r 1)! x
p (1
x! (r 1)!
jpj)r
donde se han empleado las notaiones
x! jxj m
Y
i=1
m
X
i=1
px xi !
xi
y
jpj m
Y
i=1
m
X
i=1
pxi i
pi
Emplearemos la distania entre individuos para esta distribuion dada por
Mi~narro [79, pag. 67℄
1
Æ 2 (x; y ) =
r
jpj
"m
X
1
(xi
p
i=1 i
yi )2
(jxj
jyj)2
#
Consideramos el problema de asignar a una de las poblaiones 1 , 2 un
individuo ! para el que se ha observado el valor u = (u1 ; : : : ; um ) siendo los
parametros p = (p1 ; : : : ; pm ) en 1 , y q = (q1 ; : : : ; qm ) en 2 , on igual r en
ambas poblaiones.
Para el alulo de las funiones disriminantes neesitamos usar la siguiente propiedad
Lema 5.4.1 Si x = (x1; : : : ; xm) es multinomial negativa on parametros
p = (p1 ; : : : ; pm ) y r, entones
Cada marginal xi es binomial negativa, on parametros r y
pi
p0i =
1 jpj + p1
La suma jxj es binomial negativa, on parametros r y jpj
Demostraion: La funion araterstia de la distribuion multinomial negativa es
1 jpj
Pm
(t=p; r) =
1
k=1 pk exp(i tk )
donde t = (t1 ; : : : ; tm ), y i =
p 1.
r
(5.15)
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
Haiendo t1 = = tm 1 = 0 obtenemos la funion araterstia de la marginal tm .
(tm =p; r) =
r
r
1 p0m
1 jpj
=
=
1 jpj + pm pm exp(i tm )
1 p0m exp(i tm )
que es la funion araterstia de una distribuion binomial negativa. Por simetra tenemos las demas marginales.
La distribuion de la suma jxj se obtiene por reurrenia:
Consideramos las variables yi denidas por
yi = xi
(1 i m 2)
ym 1 = xm 1 + xm
Se obtiene en primer lugar la distribuion onjunta de las y, que
resulta ser multinomial negativa on los parametros
p0i = pi
(1 i m 2)
0
pm 1 = pm 1 + pm
Esto puede verse empleando la variable auxiliar
ym = xm
y efetuando el ambio de variables x ! y. El ambio inverso
es
xi = yi
(1 i m 2)
xm 1 = ym 1 ym
xm = ym
Hay que notar que el reorrido de la variable ym es el intervalo
[0; ym 1 ℄.
La funion de probabilidad onjunta de las y es
f (y(m 1); ym ) =
=
(jy(m 1)j + r 1)!
y(m 2)! (ym 1 ym )! ym ! (r 1)!
(1 jpj)r p(m 2)y(m 2) pymm 11
ym ym
pm
donde la notaion y(m 1) se emplea para indiar el vetor
(y1 ; : : : ; ym 1 ), y notaiones analogas se interpretan de la misma
manera.
118
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
119
Finalmente se alula la marginal de y(m 1), sumando para
todos los valores de ym , de 0 a ym 1 . 2
Como onseuenia del lema, tenemos
E (xi) = 1r pjpi j
p2i
E x2i = 1r pjpi j + r(1(r+1)
jpj)2
E (jxj) = 1r jpjpjj
E jxj2 = r jp(1j(1+jpj)rj2pj)
Proposiion 5.4.3 La funion disriminante para 1 es
#
u2i
r2
2
(juj + r)
+
1 (!) =
r
1 jpj
i=1 pi
La funion disriminante para 2 se obtiene ambiando p por q en esta
expresion.
1
jpj
"
m
X
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
H1 0 =
Demostraion:
=
1
r
jpj
" m
X
1 2
E ui
i=1 pi
E juj2
=
1
r
jpj
"
1 2
ui
p
i
i=1
juj2
=
1
r
jpj
" m
X
u2i
i=1 pi
= m+
=
=
=
=
r
jpj
"m
X
i
r pi
r(r + 1) p2i
r pi
+
+
2 ui
1 jpj 1 jpj (1 jpj)2
2 juj r jpj r jpj (1 + r jpj)
+
1 jpj
(1 jpj)2
r jpj juj
+2
1 jpj
1
2 ui xi + x2i
2 juj jxj + jxj2
(
m
X
120
2 r juj
rm
r (r + 1) jpj
+
+
1 jpj 1 jpj
(1 jpj)2
r jpj (1 + r jpj) (1 jpj)2
u2i
r2
+
1 jpj
i=1 pi
(juj + r)2
)
juj2 +
#
Analogamente, H1 =
"
#
m 1
1 jpj X
2
2
2
2
E xi 2 xi yi + yi E jxj 2 jxj jyj + jyj
r
i=1 pi
!
#
"
m 2
r (r + 1) p2i
r2 p2i
r pi
r jpj
1 jpj X
+
2
r
(1 jpj)2 (1 jpj)2
(1 jpj)2
i=1 pi 1 jpj
1 jpj r m
r jpj
r jpj
+
2
r
1 jpj (1 jpj)2 (1 jpj)2
2m
2
5.4.4 Distribuion normal univariante
Sea x = (x1 ; : : : ; xm ) una muestra aleatoria simple de una variable normal
univariante N (; ).
Emplearemos la distania entre individuos para esta distribuion dada
por Mi~narro [79, pag. 68℄
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
Æ 2 (x;
y) =
donde
121
i
m h 2
2 + (S 02 S 02 )2
x
y
)
2
(
x
y
2 4
m
1X
x
m i=1 i
2
m
m (x
2 X
2
1X
i )
2
02
(xi ) =
Q
Sx =
m i=1
m i=1
m x
p
La variable aleatoria x tiene distribuion N (; = m), y Qx tiene distribuion 2 (m).
Consideramos el problema de asignar a una de las poblaiones 1 , 2
un individuo ! para el que se ha observado el valor u = (u1 ; : : : ; um ). Los
parametros y son distintos en las dos poblaiones, pero omo no tenemos que esribirlos simultaneamente, omitiremos subndies, entendiendose
que las formulas obtenidas han de apliarse por separado a ada poblaion,
sustituyendo los valores pertinentes de los parametros.
x=
Proposiion 5.4.4 La funion disriminante orrespondiente a la pobla-
ion k , en la que los parametros son (; ) es
m h
k (!) = 4 2 2 (u )2 + (S 02u
2
2 )2
i
Demostraion:
H
k0
=
m 1 2
= 2 E u2 2 u x + x2 +
E
Qu 2 Qu Qx + Q2x
2m
!
2
m 2
= 2 u 2 u + + 2 +
m
1
+
Q2u 2 Qu m + m2 + 2 m
2m
m
1
(Q m)2
= 2 + 2 (u )2 +
2m u
Hk = m2 E
2
x2 2 x y + y2 +
!
2
1
m
2 (2 m)
+
= 22
m
2m
=4
1 2
E Qx
2m
2 Qx Qy + Q2y
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
122
5.4.5 Distribuion normal multivariante on onoida
Sea x una variable aleatoria m{dimensional on distribuion N (1 ; ) en
1 y distribuion N (2 ; ) en 2 .
La distania entre dos individuos uyas observaiones son x, y se alula
por la expresion (formalmente identia a la distania de Mahalanobis entre
poblaiones, vease Mi~narro [79, pp. 70{71℄)
Æ (x;
y) = (x y)0 1 (x y)
(5.16)
Proposiion 5.4.5 Las funiones disriminantes para un individuo ! uya
observaion es x0 son
k (!) = (x0 k )0 1 (x0 k )
k = 1; 2
Demostraion:
(x x0 )0 1 (x x0 )
haiendo x x0 = (x k ) + (k x0 )
= Ek (x k )0 1 (x k ) +
2 (k x0 )0 1 (x k ) +
+ (k x0 )0 1 (k x0 )
= m + (k x0 )0 1 (k x0 )
Hk 0 = Ek
(x y)0 1 (x y)
haiendo x y = (x k ) + (k y )
= Ek k (x k )0 1 (x k ) +
2 (x k )0 1 (k y) +
+ (y k )0 1 (y k )
= 2m
Hk = Ek k
2
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
123
5.5 Distanias entre poblaiones
5.5.1 Distania basada en la diferenia de Jensen
Si se dispone de una distania entre individuos global, de forma que sea
posible alular la distania entre dos individuos, uno de ada subpoblaion,
puede proponerse una distania entre poblaiones a partir de una distania
entre individuos, por la diferenia de Jensen
1
(H + H2 )
2 1
1 2 = H1 2
donde los Hk son, omo en (5.11)
y H1 2 se dene por
Hk = Ekk
h
H1 2 = E h
1
es
2
(5.17)
i
Æ 2 (; )
i
Æ 2 (; )
Para una muestra de n = n1 +n2 individuos, la expresion orrespondiente
1 b
b )
(H + H
(5.18)
2
2 1
b , H
b
donde ahora los H
1 b 2, H
1 2 se alulan omo medias de las ajas de la
matriz (n; n) de distanias global (2) .
b
b
12 = H
12
Hb 1 = n12 D1 1
1
Hb 2 = n12 D2 2
2
Hb 1 2 = n11n2 D1 2
(5.19)
siendo
D1 1 =
n1
n1 X
X
i=1 j =1
Æi j
D1 2 =
n1
X
n
X
i=1 j =n1 +1
Æi j
D2 2 =
n
X
n
X
i=n1 +1 j =n1 +1
Æi j
(5.20)
Si se ha empleado una distania no parametria, omo por ejemplo, la
distania de Gower o la distania Valor Absoluto, la matriz de distanias
global (2) aparee de modo natural.
Si se tiene un modelo parametrio para 1 y 2 , y se dispone de la
distania de Rao entre las dos poblaiones, esta sera la distania optima
entre las dos poblaiones.
Pero en general, la distania de Rao entre las poblaiones no es aesible, o presenta graves problemas omputaionales. En estos asos puede
reurrirse a (5.17) deniendo de algun modo apropiado la distania entre un
individuo x de 1 y un individuo y de 2 , por ejemplo omo un promedio
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
124
entre la distania entre x, y onsiderados ambos en 1 y la distania entre
x, y onsiderados ambos en 2 .
La expresion (5.18) puede interpretarse en terminos de una representaion
euldea (o pseudo{euldea) de modo analogo a la interpretaion dada en
el teorema (5.2.1) de las funiones disriminantes.
Tenemos ahora una representaion omun
: 1 [ 2
! Em
donde, en general, E m = Rp i Rq , (p + q = m n 1, veriandose que
Æ 2 (x; y ) = k (x)
(y)k2
para ualquier par de individuos de la muestra onjunta. Como es usual,
empleamos la desomposiion
1 (2)
) H = X X0
2
siendo H la matriz de entrado n{dimensional. Las las xi de X ontienen los vetores de E m que representan a los n individuos de la muestra.
Suponemos que las n1 primeras las orresponden a 1 y las n2 las omprendidas entre la n1 + 1 y la n a 2 .
Tendremos los dos entroides
B =H(
x(1) =
n1
1 X
x
n1 i=1 i
x(2) =
n
1 X
x
n2 i=n1 +1 i
Podemos ahora enuniar el teorema que da la interpretaion de (5.18)
TEOREMA 5.5.1
b
1 2 = kx(1) x(2)k2
Demostraion:
kx(1) x(2)k2 = x(1) x(1)0 + x(2) x(2)0 2 x(1) x(2)0
Teniendo en uenta que bi j = xi x0j , y empleando para las sumas
de ajas de B expresiones analogas a las denidas en (5.20) para
la matriz (2) , resulta
kx(1) x(2)k2 = n12 B1 1 + n12 B2 2 n 2n B2 2
1 2
1
2
(5.21)
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
125
Ahora, puesto que
1
1
1
s
s + D
n i n j n2
(siendo s el vetor que ontiene las sumas de las las (o olumnas)
de (2) y D la suma de todos los elementos de esta matriz),
tenemos
2 bi j = Æ 2i j
2
2
n1
X
i=1
n
X
i=n1 +1
bi j
n1
X
1
n1
n
(D1 1 + D1 2 )
sj + 21 D
n
n
n
i=1
n
X
n2
n
1
(D2 2 + D1 2 )
sj + 22 D
=
Æ 2i j
n
n
n
i=n1 +1
bi j =
Æ 2i j
De estas igualdades resulta
n
n21
n1 n2
D1 1 + 1 D1 2
D
2n
n
2 n2
n n
n
n22
B2 2 = 2 1 D2 2 + 2 D1 2
D
2n
n
2 n2
n2
n1
n1 n2
2 B1 2 =
D1 1
D2 2
D
n
n
n2
B1 1 =
y al substituir estas expresiones en (5.21) se llega al enuniado.
2
La formula (5.18) es, al igual que todo el metodo DB, failmente generalizable al aso de disponer de k > 2 subpoblaiones, dando lugar en diho
aso, a una matriz P (2) de dimension (k; k) on las distanias entre ada
par de subpoblaiones.
Sometiendo esta matriz a Multidimensional Saling, se llega a una representaion euldea, que puede onsiderarse un analogo no parametrio del
Analisis Canonio de Poblaiones para poblaiones normales (vease, por
ejemplo Cuadras [20℄), y de heho produe resultados oinidentes uando
es apliable este analisis.
Esto es onseuenia de la siguiente
Proposiion 5.5.1 Supongamos que las poblaiones i son normales, on
omun onoida, y que se emplea la distania entre individuos (5.16)
(basada en eÆient sores).
Entones la distania i j entre las poblaiones i , y j oinide on la
distania de Mahalanobis. En partiular, la matriz 2P de distanias entre
poblaiones es euldea.
CHAPTER 5. ANALISIS
DISCRIMINANTE BASADO EN
DISTANCIAS
126
Demostraion:
Ya se ha visto que Hi = Hj = 2 m, siendo m el numero de
variables. Calulamos ahora
Hi j =
h
i
= Ei j Æ 2 (x; y)
= Ei j (x y)0 1 (x y)
= Ei j x0 1 x + y0 1 y
x0 1 y
y0 1 x
El primer sumando dentro del parentesis es
tr ( 1 x x0 )
por lo que su valor esperado es igual a
m+ 1
i
i
Analogamente on el segundo sumando. Sustituyendo, resulta
Hi j = 2 m + (i j )0 1 (i j )
y nalmente
i j = (i
j )0 1 (i j )
2
La equivalenia entre Coordenadas Canonias y Coordenadas Prinipales
de la distania de Mahalanobis se debe a Gower [49℄, y una generalizaion al
aso de representaion anonia de funiones parametrias estimables puede
verse en Cuadras [19℄.
En onseuenia, obtenemos un metodo de representaion de poblaiones
basado en distanias on las ventajas de los metodos DB (puede apliarse sin
hipotesis sobre la distribuion de probabilidad de los datos y on variables
mixtas), que puede onsiderarse una extension del Analisis Canonio de
Poblaiones lasio.
A diferenia de este, no se dispone de regiones ondeniales para los
entroides de las poblaiones. Sin embargo, segun veremos en la seion 6.4
del Captulo 6, la expresion (5.18) es espeialmente adeuada para obtener
por el metodo bootstrap , una estimaion de la funion de distribuion de la
distania entre dos poblaiones, y de ella, intervalos de onanza para esta
distania.
Chapter 6
Aspetos omputaionales y
ejemplos
127
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
128
6.1 Consideraiones generales
En este aptulo se desriben algunos aspetos de la implementaion de los
metodos DB.
De la desripion de estos metodos se puede observar que las implementaiones son, en prinipio, de programaion simple en omparaion on otros
metodos de funionalidad pareida, al no ontener algoritmos iterativos ni
diultades espeiales on matries quasi{singulares.
Por ello no sera neesario inluir listados ompletos de programas. En
lugar de ello se disutiran espeialmente algunos puntos relevantes y posiblemente no obvios de los algoritmos.
Los programas que implementan los metodos DB han sido publiados
[5℄, y forman el nuleo del paquete de programas MULTICUA .
Quizas el aspeto mas importante que abe onsiderar es la neesidad
de gran apaidad de almaenamiento.
En primer lugar, para mantener una matriz de distanias de orden igual
al numero de individuos. (Para poner un ejemplo, para 1500 individuos
se requieren unos 9 Megabytes de almaenamiento, on numeros de punto
otante en doble preision).
Este problema se presenta solamente en el aso de la Regresion DB o en
la estimaion bootstrap de la distribuion de las distanias entre poblaiones,
pues, omo se vera en la seion 6.3, para el Analisis Disriminante DB no se
neesitan en realidad los elementos individuales de la matriz de distanias.
Tambien se requiere onsiderable antidad de memoria si se desea almaenar la matriz Y de dimension (n; p) onteniendo las oordenadas de
la muestra. Esta es la soluion mas eiente en aso de ser posible, pues
para alular la matriz de distanias se debe aeder a todos los pares de
individuos.
Para la mayor parte de los alulos, el almaenamiento de Y no es un
problema tan grave, al reer solo linealmente on n, pero si el numero de
variables o de individuos se hae muy grande, se debe reurrir a un hero
en un dispositivo externo. En este aso es totalmente impresindible asignar
dos buers distintos al hero para poder aeder rapidamente a pares de
registros alejados fsiamente.
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
129
6.2 Implementaion del modelo de regresion DB
Este metodo presenta mas diultades que el disriminante. No por el tipo
de alulo a realizar, una diagonalizaion, que posiblemente sea el problema
mejor estudiado en Analisis Numerio, sino por las dimensiones impliadas.
En primer lugar, se requiere la presenia individual de todos los elementos de la matriz de distanias o de la matriz B a diagonalizar, de igual
dimension. Ademas, se neesitan (al menos algunos de) los vetores propios
de B .
Por ello, si se exige tener en memoria tanto la matriz a diagonalizar omo
los vetores propios, se restringe la apliaion a problemas muy peque~nos (o
maquinas muy grandes).
Se dedue la neesidad de implementar algoritmos de diagonalizaion
out{of{ore , sea del tipo Lanzos o del tipo Householder por bandas (vease
Golub y Van Loan [46℄). Es deir, se alula la matriz de distanias, guardandose en un dispositivo externo. A partir de ella se obtiene la matriz B , que
tambien se guarda en un dispositivo externo, y nalmente se alulan vetores propios sin que en ningun momento estas matries existan ompletas
en memoria.
Estos algoritmos de diagonalizaion son en prinipio pariales, es deir,
obtienen solamente algunos de los valores y vetores propios.
Conretamente, en las implementaiones utilizadas, los Lanzos produen pares (valor propio/vetor propio) segun algun riterio preestableido,
por ejemplo, los orrespondientes a los mayores valores propios, mientras que
el algoritmo Householder por bandas produe todos los valores propios, y a
partir de ellos se pueden obtener vetores propios segun petiion.
Aunque usualmente no se emplea el modelo global (on todas las oordenadas prinipales omo variables regresoras) sino que, segun se disute
en [25℄, se alula la regresion on un numero de oordenadas prinipales
peque~no en omparaion on el numero de individuos de la muestra, la seleion de las oordenadas a utilizar omo variables regresoras es segun el
riterio de mayor orrelaion on la variable dependiente.
En la pratia, esta ondiion impone alular todos los vetores propios
y por tanto, limita enormemente la eleion de algoritmo. De los algoritmos
out{of{ore a que se ha tenido aeso, solamente el Householder por bandas
umple el requerimiento.
Atualmente esta en estudio un riterio para seleionar las variables
regresoras teniendo en uenta solamente los valores propios. Si este riterio
se muestra eaz, permitira emplear los algoritmos Lanzos, muho mas
eientes.
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
130
6.3 Implementaion del Analisis Disriminante DB
Como se ha menionado en la nota 5.2.1, en la exposiion del modelo DB
de Analisis Disriminante se han usado dos subpoblaiones solo por omodidad de notaion. Naturalmente, la implementaion de este metodo se ha
realizado para un numero arbitrario k de subpoblaiones, limitado por la
apaidad del ordenador.
En este apartado se disuten algunos detalles del algoritmo, on espeial
enfasis en las neesidades de memoria.
Si se desea solamente asignar nuevas observaiones a una de k subpoblaiones, es suiente alular iniialmente las sumas de distanias internas de
ada subpoblaion, y asignar seuenialmente ada nueva observaion alulando el vetor de distanias a las n observaiones de las k muestras. Por
tanto, en este aso es suiente asignar memoria para este vetor.
Si se desea haer una estimaion de la probabilidad de error de asignaion
por el metodo leave{one{out no sera eiente realizar todo el proeso anterior para ada individuo, pues ello equivaldra a repetir muhas vees el
alulo de ada distania entre ada par.
El aso mas senillo aparee uando se elige una funion global omo
distania entre individuos, tal omo la distania valor absoluto, o la de
Gower, de manera que se puede alular una matriz global de distanias
al uadrado D para el onjunto de las dos subpoblaiones, que se puede
onsiderar subdividida en ajas
D = (D )
1 ; k
siendo D de dimension (n ; n ).
Si el numero total de individuos es peque~no, de forma que se pueda
almaenar la matriz D ompleta (es deir, el triangulo superior) en memoria,
el alulo orrespondiente a eliminar el individuo i y asignarlo segun las
funiones disriminantes obtenidas de los restantes equivale a extraer la la
(olumna) d(i) orrespondiente a este individuo en D y alular las sumas
ai () =
X
j
d(i)j
donde j reorre los ndies de la subpoblaion . A ontinuaion se obtienen
la funiones disriminantes omo en las formulas (5.8) y (5.9).
Esto no es pratio si el numero de individuos es grande de modo que la
matriz D no pueda mantenerse en memoria. Observese ademas que aparte
del aumento de tiempo de alulo debido a los aesos a diso o inta, este
algoritmo obligara a almaenar la matriz desplegada (es deir, los dos triangulos) en el dispositivo externo, de modo que el aeso a las las individuales
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
131
no sea extremadamente ineiente, omo ourrira de tener solo la mitad de
ella, al quedar los elementos ontiguos de una misma la en posiiones distantes entre s, segun se muestra en el diagrama
1 2 4
7 11 : : :
3 5
8 12 : : :
6
9 13 : : :
10 14 : : :
15 : : :
:::
y por esta misma razon, se tendra que alular dos vees la distania entre
ada par de individuos, una para la posiion (i; j ) y otra para la (j; i).
La soluion a este problema onsiste en no almaenar la matriz D sino
solamente una matriz DIP de dimension (n; k) denida por
DIP (i; ) = Suma de las distanias del individuo i
a todos los individuos de la poblaion que podemos suponer que abe en memoria en todos los asos.
A partir de ella se obtiene, para ada , la suma D() de todas las
distanias internas de la poblaion , sumando los elementos perteneientes
a diha poblaion de la olumna .
Los elementos ai () neesarios para la estimaion del error de asignaion
son los elementos de la la i de DIP . [Estos equivalen a los ai , bi en la
notaion para dos poblaiones de la seion 5.2.2 del Captulo 5℄.
Un ultimo detalle a tener en uenta para alular la matriz DIP es que
es suiente alular una sola vez la distania entre ada par de individuos,
empleando el siguiente algoritmo:
1. Iniializar DIP a 0
2. Reorrer seuenialmente la lista de los 12 n (n 1) pares (i; j ) de individuos distintos, alulando la distania al uadrado d(i; j )
3. Sumar d(i; j ) a las posiiones DIP(i; p(j )) y DIP(j; p(i)), siendo
p(i) = Poblaion a que pertenee i
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
132
Si no existe una distania global entre todos los individuos, se puede
modiar el metodo anterior para este aso. Observese, sin embargo, que se
requeriran k matries del tipo DIP .
Finalmente, para el aso parametrio, en que las oordenadas de los individuos se reemplazan por los eÆient sores , no se emplea tampoo la
matriz de distanias, ni una matriz DIP , pues al ser bilineal la formula
de la distania entre dos individuos, las formulas para las funiones disriminantes se simplian, dando lugar a expresiones pareidas a las del
disriminador uadratio, omo en el aso de poblaiones on distribuion
normal multivariante on onoida (Proposiion 5.4.5 del Captulo 5).
La mayor diultad aparee para haer una estimaion de la probabilidad
de error por el metodo leave{one{out , pues al eliminar un individuo de
una sub{muestra se deben realular para esta las estimaiones maximo{
verosmiles de los parametros, los eÆient sores y en general tambien la
matriz de la metria y su inversa. Posiblemente en este aso sera mas
asequible algun otro estimador de la probabilidad de error, omo el basado
en bootstrap .
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
133
6.4 Estimaion bootstrap de la distania entre poblaiones
Se parte de una muestra de n individuos perteneientes a k poblaiones
1 ; : : : ; k , on vetor (n1 ; : : : ; nk ) de numero de individuos en ada poblaion
onoido y onstante.
Suponemos dada una funion distania global, que permite llegar a una
matriz (2) de dimension (n; n) de distanias al uadrado entre los indib de dimensi
viduos. A partir de ella se obtiene una matriz on (k; k) de
distanias entre las poblaiones de la diferenia de Jensen
1 b
b
b
b
(H + H
)
= H
2 donde
Hb = n1n X X Æ2i j (1 ; k)
i2I j 2I
y I es el subonjunto de [1; n℄ orrespondiente a los indies de los individuos
de .
Se propone el problema de realizar, por el metodo bootstrap , una estib
maion de las funiones de distribuion de los elementos de la matriz .
En este apartado se exponen los puntos relevantes del algoritmo empleado para este alulo, y en espeial, la tenia empleada para sortear la
diultad de las grandes dimensiones impliadas.
El metodo onsiste en realizar una suesion de B remuestreos del total de
n individuos, ada uno de ellos obtenido por onatenaion de remuestreos
realizados en ada poblaion por separado. Se mantienen onstantes los
numeros n . Dentro de ada poblaion, un remuestreo viene determinado
por una permutaion (on repetiion) del onjunto de individuos que la
forman.
b Finalmente se
Para ada remuestreo se evaluan las matries (2) y .
b
obtiene la funion de distribuion empria para ada elemento de .
Dado que ada remuestreo onsiste en individuos de la muestra original,
todos los elementos de la nueva matriz (2) ya existen en alguna posiion de
la iniial, por lo que paree superuo realularlos, y mas razonable leerlos
simplemente de esta posiion.
La gran dimension de (2) fuerza a guardarla en un dispositivo externo,
preferentemente de tipo seuenial por razones de eienia. Como el elemento (i; j ) de la nueva matriz (2) , orrespondiente al remuestreo dado
por la permutaion p, se enuentra en el lugar (pi ; pj ) de la matriz iniial,
la apliaion de este algoritmo exige un dispositivo de aeso aleatorio (es
deir un hero en diso), y ademas, dara lugar a una atividad de la abeza
letora que destruira fsiamente la unidad en breve plazo.
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
134
La soluion que se ha enontrado se basa en el heho que la ordenaion
de individuos dentro de ada poblaion no inuye en el resultado (la matriz
b
).
Por tanto podemos representar ada remuestreo b en ada poblaion omo un vetor de multipliidades b on n elementos.
El vetor de multipliidades orrespondiente a la muestra original es el
(1; : : : ; 1)
Los suesivos remuestreos se generan omo vetores b uyos elementos
tienen una distribuion multinomial de dimension n , suma de freuenias
n , y vetor de probabilidades
1
1
;:::;
n
n
Veamos que a partir de los vetores de multipliidades es posible alular
b
los H
orrespondientes al remuestreo b on solamente una sola letura
seuenial de los n (n 1)=2 elementos de (2) . El proeso es omo sigue:
b
1) Se iniializan a 0 los H
.
2) Se reorren por orden los elementos de (2) . El elemento (i; j ) debe
b
ser sumado a H
on una multipliidad m (i; j ) que se alula por
8
>
>
>
>
>
>
>
<
i j
m(i; j ) = > 2 i
>
>
>
>
>
>
:
2 i j
si 6= si = y i=j
si = y i 6= j
siendo i un ndie que vara de 1 a n y da el numero de orden dentro de
del individuo i{esimo de la muestra onjunta. La relaion entre los dos
ndies es
X
n + i
i=
<
De esta manera ada remuestreo requiere una sola letura de la matriz de
distanias, siendo el tiempo de alulo empleado muy razonable. Por ejemplo, en un ordenador personal on proesador 80486 a 33MHz, un alulo
on 1000 remuestreos sobre una matriz de distanias de n = 150 individuos
(el ejemplo de la seion siguiente), ha empleado 2 minutos y 10 segundos.
Puede verse ademas que este algoritmo es suseptible de ulterior optimizaion, al ser failmente vetorizable, realizando simultaneamente varios
remuestreos (es deir alulando varios vetores de multipliidades) para
ada letura de la matriz (2) .
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
135
6.5 Ejemplos de apliaion de modelos DB
6.5.1 Regresion DB
Como ilustraion del metodo de regresion DB trataremos un problema de
ordenaion temporal de dialogos de Platon itado por Mardia et al. [78,
pag. 313℄ y proedente del trabajo de Cox y Brandwood [16℄. Estos autores
emplean tenias de Analisis Disriminante (metodo ML) para proponer una
soluion.
El problema onsiste en ordenar ronologiamente los siete dialogos La
Republia , Las Leyes , Critias , Filebo , El Poltio , El Sosta y Timeo , de los
uales se onoe solamente que La Republia es el primero, y Las Leyes es
el ultimo.
El analisis debe basarse en medidas del estilo. Conretamente, se dispone
de una tabla que registra para ada obra las freuenias de apariion omo
ino ultimas slabas de una frase de ada uno de las 25 = 32 posibles ombinaiones de slabas largas y ortas. Se supone que estas medidas evoluionan
on el tiempo y que de su estudio se puede deduir la ordenaion ronologia
de las obras.
Hemos empleado para este analisis el modelo de regresion DB, on distania valor absoluto, tomando suesivamente omo valores de la variable
dependiente ada permutaion de los numeros 1 a 7, (on los 1 y 7 jados a
Republia y Leyes , respetivamente, segun las espeiaiones dadas).
Se toma el oeiente de determinaion omo medida de adeuaion entre
una ordenaion dada y las 32 medidas de que se dispone para ada obra.
5.0
+
4.0
Critias
3.0
2.0
1.0
0.0
Filebo
+ +
Republia
Leyes
-1.0
Timeo
+ Poltio
-2.0
-4.0
+
-3.0
-2.0
-1.0
+
Sosta
+
0.0
1.0
2.0
3.0
4.0
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
136
La gura es la representaion graa de las dos primeras Coordenadas
Prinipales obtenidas de los datos on la distania Valor Absoluto. Este
analisis proporiona los siguientes porentajes aumulados de variabilidad
para los uatro primeros ejes prinipales
34:11 54:13 69:61 81:91
La gura, junto on la onsideraion de los porentajes de variabilidad,
muestran que la aproximaion unidimensional es muy deiente, y de heho
muestran que para tener un buen ajuste a los datos, se requieren al menos
tres o uatro ejes.
Por ello se ha registrado, para ada una de las 120 permutaiones, los
oeientes de determinaion que orresponden a tomar omo variables regresoras uno, dos, tres y uatro de los ejes prinipales.
Se han ordenado en ada aso las permutaiones segun el orden de los
oeientes de determinaion obtenidos. En la tabla siguiente se muestra la
zona que ontiene las permutaiones que dan los valores mas grandes.
Un eje
Dos ejes
Tres ejes
Cuatro ejes
Permutaion
Coef. Determ.
36542
46532
35642
45632
0:9112
0:9071
0:8447
0:8407
35642
36542
46532
45632
0:9606
0:9587
0:9372
0:9283
52463
36245
35642
43256
0:9923
0:9899
0:9815
0:9792
42563
36524
26345
52463
0:9994
0:9989
0:9988
0:9972
La soluion propuesta por Cox y Brandwood es la ordenaion Timeo ,
Sosta , Critias , Poltio , y Filebo , lo que orresponde en nuestra notaion
a la permutaion 4 6 5 3 2.
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
137
Observamos en nuestra tabla que enontramos esta ordenaion en aso de
tomar regresion sobre el primer eje prinipal (de heho aparee en segunda
posiion, on poa diferenia de la 3 6 5 4 2, que aparee en primer lugar.
Como hemos visto que el primer eje prinipal explia solamente un porentaje de variabilidad del 34:11%, podemos armar que el metodo de Cox
y Branwood es una aproximaion lineal a la ordenaion, y proponemos la
ordenaion 4 2 5 6 3 omo mas verosmil, teniendo en uenta que para su obtenion se han tomado en uenta uatro ejes prinipales, que explian un
81:91% de la variabilidad de los datos.
Nota: Cox y Brandwood haen onstar en su trabajo que la ordenaion
obtenida por ellos no oinide on la mantenida por la mayora de estudiosos,
pero no itan en su artulo ual es diha ordenaion.
6.5.2 Analisis Disriminante DB
El siguiente ejemplo, para el Analisis Disriminante DB, es el (asi obligado
para ualquier metodo disriminante) estudio de los datos Iris de Fisher [42℄.
Consisten en medidas de las uatro variables longitud de sepalo, anhura de
sepalo, longitud de petalo y anhura de petalo para n = 150 individuos de
Iris , repartidos en tres grupos proedentes de las tres espeies Iris setosa ,
Iris versiolor , Iris virginia , on n1 = n2 = n3 = 50 individuos en ada
grupo.
Se ha empleado la distania Valor Absoluto, y se ha alulado por el
metodo leave{one{out la matriz de asignaion, es deir la matriz de dimension (3; 3) que ontiene en el lugar (i; j ) el numero de elementos del
grupo i que han sido asignados al grupo j por el algoritmo disriminante.
El oiente entre la suma de elementos no diagonales de esta matriz y el total de individuos es la estimaion de la probabilidad de error de asignaion.
Se obtiene el siguiente resultado
0
B
50 0 0
0 48 2
0 3 47
1
C
A
on estimaion pb = 0:0333 de la probabilidad de asignaion erronea. Para
omparaion, on el disriminador lineal (LDF) se obtiene
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
0
B
50 0 0
0 48 2
0 1 49
138
1
C
A
on estimaion pb = 0:0200 de la probabilidad de asignaion erronea, y on
el disriminador uadratio (QDF) la matriz de asignaion es
0
B
50 0 0
0 47 3
0 1 49
1
C
A
y la estimaion de la probabilidad de error de asignaion es pb = 0:0267.
La matriz de de distanias entre los grupos, alulada por la diferenia
de Jensen (5.18) a partir de la matriz de distanias entre los individuos es
0
B
0 4:1495 6:4756
0
1:4022
0
1
C
A
Un Analisis de Coordenadas Prinipales realizado sobre esta matriz, lleva a la siguiente onguraion euldea bidimensional on tres puntos que
representan a los tres grupos
0
B
1:4783
:42876
1:0496
:14115
:57477
:43362
1
C
A
siendo 86:573 el porentaje de variabilidad orrespondiente al primer eje
prinipal. La representaion graa de estos puntos es
0.7
0.5
0.3
0.1
-0.1
-0.3
-0.5
-0.7
-1.6
+
Versiolor
Setosa
+
+ Virginia
-1.2
-0.8
-0.4
0.0
0.4
0.8
1.2
1.6
2.0
139
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
Comparese este diagrama on el siguiente, obtenido a partir de los mismos datos pero esta vez mediante un Analisis Canonio de Poblaiones.
0.8
0.6
0.4
0.2
0.0
-0.2
-0.4
-0.6
-0.8
-8.0
+
Versiolor
Setosa
+
+ Virginia
-6.0
-4.0
-2.0
0.0
2.0
4.0
6.0
8.0
10.0
La oinidenia es mas notable si se toma en onsideraion que el primer
diagrama proede de un alulo no parametrio, libre de ualquier hipotesis
sobre la distribuion seguida por los datos, y que por tanto, es igualmente
apliable uando el Analisis Canonio de Poblaiones no lo es.
Se ha realizado una estimaion bootstrap de las distribuiones de probabilidad de los elementos de la matriz de de distanias entre los grupos,
empleando B = 1000 remuestras de los datos originales.
Los valores medios y desviaiones tpias de los valores obtenidos para
b
b
b
los elementos 12 13 y 2 3 son
Media
12 4:1775
b
13 6:5022
b
23 1:4348
b
Desv. Tpia
0:1502
0:1609
0:1775
(6.1)
En las guras siguientes se representan los diagramas de freuenias para
estos elementos de matriz.
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
18.0
16.0
14.0
12.0
10.0
8.0
6.0
4.0
2.0
0.0
3.78 3.90 4.02 4.14 4.26 4.38 4.50 4.62
b
12
16.0
14.0
12.0
10.0
8.0
6.0
4.0
2.0
0.0
6.06 6.18 6.30 6.42 6.54 6.66 6.78 6.90 7.02
b
13
20.0
18.0
16.0
14.0
12.0
10.0
8.0
6.0
4.0
2.0
0.0
0.92 1.08 1.24 1.40 1.56 1.72 1.88 2.04 2.20
b
23
140
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
141
Se han alulado los oeientes + desritos en la euaion (4.36) del
Captulo 4, para tener una medida de la proximidad de las distribuiones
emprias obtenidas a una distribuion normal. Los resultados son
+ (Normal)
b
0:99914
12
b
0:99846
13
b
2 3
0:99365
lo que india proximidad de las distribuiones emprias a la distribuion
normal.
Para veriar esta proximidad alulamos los uatro primeros de los
oeientes j desritos en la euaion (4.37) del Captulo 4. Los resultados
se tabulan a ontinuaion.
En primer lugar, se alulan los j orrespondientes a los datos originales (primera olumna). La segunda olumna ontiene los valores teorios
(obtenidos por integraion numeria) para la distribuion normal.
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
142
b
En segundo lugar, se aplia a ada tabla de valores i j la transformaion y = F (x), siendo F la distribuion normal on parametros iguales
a los emprios (6.1). Como resultado deberamos obtener una distribuion
uniforme, de ser ierta la hipotesis de normalidad. La terera olumna ontiene los j para los datos transformados, y nalmente en la uarta olumna
se reproduen los valores teorios para la distribuion uniforme, alulados
de la euaion (4.38).
b
12
b
13
b
23
Datos
Originales
Teorios
Normal
Datos
Transformados
Teorios
Uniforme
1
2
3
4
0:9540
0:0093
0:2293
0:0084
0:9484
0
0:2407
0
0:9937
0:0111
0:1014
0:0090
0:9927
0
0:1103
0
1
2
3
4
0:9523
0:0113
0:2416
0:0307
0:9484
0
0:2407
0
0:9924
0:0023
0:1149
0:0172
0:9927
0
0:1103
0
1
2
3
4
0:9326
0:0113
0:2627
0:0283
0:9484
0
0:2407
0
0:9878
0:0591
0:1334
0:0079
0:9927
0
0:1103
0
Conlusiones
143
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
144
En esta memoria se han presentado algunas aportaiones al estudio de
los Metodos de Analisis Multivariante Basados en Distanias introduidos
por Cuadras.
1) Se ha realizado un estudio teorio de las propiedades de la funion
distania Valor Absoluto para su empleo en dihos metodos, analizando
los sistemas de Coordenadas Prinipales asoiados a esta distania para
un sistema unidimensional de puntos equidistantes, obteniendo el teorema
(2.4.1), que da una justiaion del buen omportamiento de esta funion
distania al interpretar los ejes prinipales (es deir, las variables regresoras
en el modelo DB) omo funiones polinomias de grado reiente, por lo que
la regresion basada en esta distania equivale a una regresion no lineal.
2) Motivado por este estudio, se ha estudiado la estrutura de valores
y vetores propios de una familia de matries de relevantes propiedades
algebraias y ombinatorias.
3) Se ha generalizado a una onguraion unidimensional arbitraria de
puntos el estudio realizado para el aso equidistante, llegando a la proposiion
(4.1.2)), que permite una interpretaion ualitativa de los ejes prinipales
analoga a la obtenida en el aso equidistante.
4) Se ha enontrado una tenia, basada en la desomposiion de Proesos Estoastios en Componentes Prinipales, para generalizar a variables
aleatorias ontinuas el onepto de Coordenadas Prinipales
5) Empleando diha tenia, se ha enontrado una suesion de variables
aleatorias que, segun el teorema (4.2.1), pueden justiadamente llamarse
Coordenadas Prinipales de la distribuion Uniforme respeto la Distania
Valor Absoluto, y que son el analogo en el aso ontnuo de los ejes prinipales para un onjunto unidimensional de puntos.
6) Generalizando la Regresion Basada en distanias a este aso ontinuo,
se propone una medida de bondad de ajuste entre funiones de distribuion,
on apliaion al problema de deidir la distribuion seguida por una variable
a partir de una muestra.
7) Se han estudiado algunas propiedades del Analisis Disriminante basado
en distanias, llegando en partiular a los teoremas (5.2.1) y (5.2.2) que explian la regla de asignaion DB omo un metodo de mnima distania en
el espaio (euldeo real o omplejo) de las oordenadas prinipales.
8) Se han alulado las funiones disriminantes para variables aleatorias
que siguen algunas distribuiones onoidas, obteniendo en partiular, la
proposiion (5.4.2), que muestra que para una distribuion multinomial,
las funiones disriminantes DB oiniden on el tradiional estadstio Jiuadrado.
9) Por apliaion de Multidimensional Saling sobre la matriz de distanias entre poblaiones obtenida a partir de distanias entre individuos por
CHAPTER 6. ASPECTOS COMPUTACIONALES Y EJEMPLOS
145
medio de (5.18), se llega a una tenia no parametria analoga al Analisis
Canonio de Poblaiones que produe resultados equivalentes uando este
es apliable.
10) Se han implementado los algoritmos DB para las distanias mas
omunes en los programas REGD y DISC, que forman el nuleo del paquete
publiado de programas MULTICUA .
Bibliography
[1℄
A.A. A and S. P. Azen,
Statistial Analysis. A omputer oriented approah (seond edition).
Aademi Press (1977)
[2℄
T. W. Anderson and D. A. Darling,
Asymptoti theory of ertain \goodness of t" riteria based on stohasti proesses .
Ann. Math. Statist. 23 (1952), pp. 193{212.
T. W. Anderson and D. A. Darling,
A test of goodness of t.
J. Amer. Statist. Ass. 49 (1954), pp. 765{769.
[4℄ T. W. Anderson,
[3℄
An Introdution to Multivariate Statistial Analysis .
John Wiley & Sons, New York (1958)
[5℄
C. Arenas, C. M. Cuadras and J. Fortiana,
MULTICUA : Paquete no standard de Analisis Multivariante .
Publiaions del Departament d'Estadistia 4.
Universitat de Barelona, (1991)
C. Atkinson and A. F. S. Mithell,
Sankhya 43A (1981), pp. 345{365.
[7℄ Y. Ayant and M. Borg,
[6℄
Rao's distane measure .
Funiones Espeiales .
Alhambra, Madrid (1974)
[8℄
J. P. Benzeri,
Problemes et methodes de la Taxinomie .
Publ. Inst. Statistique Univ. de Paris (1965)
146
BIBLIOGRAPHY
[9℄
147
P. Buneman,
The reovery of trees from measures of dissimilarity .
in [57, pp. 387{395℄ (1971)
[10℄
J. Burbea and C. R. Rao,
Entropy dierential metri, distane and divergene measures in probability spaes: a unied approah.
J. Multivariate Anal. 12 (1982), pp. 575{596.
J. Burbea and J. M. Oller,
The information metri for univariate linear ellipti models .
Statistis & Deisions 6 (1988), pp. 209{221.
[12℄ T. Caoullos, (ed.),
[11℄
Disriminant Analysis and Appliations .
Aademi Press, New York (1973)
[13℄
M. Calvo and J. M. Oller,
A Distane between Multivariate Normal Distributions based in an Embedding into the Siegel Group.
J. Multivariate Anal. 35 (1990), pp. 223{242.
M. S. Cord and R. J. Sylvester,
The property of Cross{Symmetry .
J. So. Indust. Appl. Math. 10 (1962), pp. 632{637.
[15℄ R. Courant and D. Hilbert,
[14℄
Methods of Mathematial Physis .
Wiley{Intersiene. John Wiley & Sons, New York (1953).
D. R. Cox and L. Brandwood,
On a disriminatory problem onneted with the works of Plato .
J. Roy. Statist. So. B 21 (1959), pp. 195{200.
[17℄ F. Crithley,
Hierarhial trees an be perfetly saled in one dimension.
Journal of Classiation 5 (1988), pp. 5{20.
[18℄ F. Crithley,
[16℄
On exhangeability{based equivalene relations indued by strongly
Robinson and, in partiular, by quadripolar Robinson dissimilarity matries .
Dept. of Statistis, Univ. of Warwik, Teh. Report 152 (1989).
BIBLIOGRAPHY
[19℄
148
C. M. Cuadras,
Analisis disriminante de funiones parametrias estimables .
Trab. Estad. Inv. Oper. 25 (1974), pp. 3{31.
[20℄
C. M. Cuadras,
Metodos de Analisis Multivariante .
EUNIBAR, Barelona (1981). 2a ediion, PPU, Barelona (1991)
C. M. Cuadras and F. Carmona,
Questio 7 (1983), pp. 353{358.
[22℄ C. M. Cuadras and J. M. Oller,
[21℄
Dimensionalitat eulidiana en distanies ultrametriques .
Eigenanalysis and metri multidimensional saling on hierarhial
strutures .
Questio 11 (1987), pp. 37{58.
[23℄
C. M. Cuadras,
Distanias estadstias .
Estadstia Espa~nola 30 (1988), pp. 295{378.
[24℄
C. M. Cuadras,
Distane Analysis in disrimination and lassiation using both ontinuous and ategorial variables .
in [37, pp. 459{473℄.
C. M. Cuadras and C. Arenas,
A distane based regression model for predition with mixed data.
Commun. Statist. {Theory Meth. 19 (1990), pp. 2261{2279.
[26℄ C. M. Cuadras,
An eigenvetor pattern arising in nonlinear regression.
Questio 14 (1990), pp. 89{95.
[27℄ C. M. Cuadras,
[25℄
A distane based approah to Disriminant Analysis and its properties .
Univ. de Barelona Math. Preprint Series 90 (1991).
[28℄
C. M. Cuadras,
Some aspets of distane based disrimination.
Biometrial Letters 29 (1992), pp. (in press).
[29℄
C. M. Cuadras,
Probability distributions with given multivariate marginals and given
dependene struture .
J. of Multivariate Analysis 41 (1992), pp. (in press).
BIBLIOGRAPHY
[30℄
149
C. M. Cuadras and J. Fortiana,
Maximum orrelation between random variables and some appliations .
7th. Int. Conf. on Mult. Analysis, Penn State Univ. (1992), Report.
[31℄
C. M. Cuadras,
Using suitable distanes for solving some statistial problems .
DISTANCIA `92 (Rennes) Report, (1992).
[32℄
J. De Leeuw, W. Heiser, J. Meulman and F. Crithley, (eds.),
Multidimensional Data Analysis .
DSWO Press, Leiden (1986).
[33℄
L. Devroye and L. Gyor,
Nonparametri Density Estimation: The L1 View .
John Wiley & Sons, New York (1985).
[34℄
E. Diday,
Une representation visuelle des lasses empietantes: les pyramides .
Rapport de Reherhe INRIA, No. 291 (1984).
[35℄
E. Diday,
Orders and overlapping lusters in pyramids .
in [32, pp. 201{234℄ (1986).
W. R. Dillon and M. Goldstein,
On the performane of some multinomial lassiation rules .
J. Am. Stat. Asso. 73 (1978), pp. 305{313.
[37℄ Y. Dodge (ed.),
[36℄
Statistial Data Analysis and Inferene .
North{Holland, Amsterdam (1989)
J. Durbin and M. Knott,
Components of Cramer{von Mises Statistis. I .
J. Roy. Stat. So. B 34 (1972), pp. 290{307.
[39℄ J. Durbin, M. Knott and C. C. Taylor,
Components of Cramer{von Mises Statistis. II .
J. Roy. Stat. So. B 37 (1975), pp. 216{237.
[40℄ B. Efron,
[38℄
The eÆieny of logisti regression ompared to normal disriminant
analysis .
J. Am. Stat. Asso. 70 (1975), pp. 892{898.
BIBLIOGRAPHY
[41℄
150
B. Fihet,
Sur une extension de la notion de hierarhie et son equivalene ave
ertaines matries de Robinson.
Journees de Statistique, Montpellier (1984).
R. A. Fisher,
The use of multiple measurements in taxonomi problems .
Ann. Eugen. 7 (1936), pp. 179{188.
[43℄ W. L. Frank,
[42℄
Computing eigenvalues of omplex matries by determinant evaluation
and by methods of Danilevski and Wielandt.
J. So. Indust. Appl. Math. 6 (1958), pp. 378{392.
[44℄
M. Frehet,
Sur les tableaux de orrelation dont les marges sont donnees .
Ann. Univ. Lyon, Setion A, Series 3 14 (1951), pp. 53{77.
[45℄
F. R. Gantmaher,
Theorie des Matries .
Dunod, Paris (1966)
[46℄
G. H. Golub and C. F. Van Loan,
Matrix Computations (Seond Edition).
The Johns Hopkins University Press, Baltimore and London, (1989)
[47℄
W. Gonzalez Manteiga,
Una perspetiva general on nuevos resultados de la apliaion de la
estimaion no parametria a la regresion lineal .
Estadstia Espa~nola 30 (1988), pp. 141{179.
[48℄
I. J. Good,
The Inverse of a Centrosymmetri Matrix .
Tehnometris 12 (1970), pp. 925{928.
[49℄
J. C. Gower,
Some distane properties of latent root and vetor methods in Multivariate Analysis .
Biometrika 53 (1966), pp. 315{328.
[50℄
J. C. Gower,
Biometrika 55 (1968), pp. 582{585.
Adding a point to vetor diagrams in Multivariate Analysis .
BIBLIOGRAPHY
[51℄
151
J. C. Gower,
Statistial methods of omparing dierent multivariate analysis of the
same data.
in [57, pp. 138{149℄ (1971)
[52℄
J. C. Gower and C. F. Baneld,
Goodness{of{t riteria for hierarhial lassiation and their empirial distributions in relation with the external variables .
in Pro. 8th. Inter. Biometri Conferene (1975), 347{361.
[53℄
F. A. Graybill,
Matries with appliation in Statistis .
Wadsworth, Belmont, California (1983)
[54℄
P. J. Green,
Iteratively reweighted least squares for maximum likelihood estimation,
and some robust and resistant alternatives .
J. Royal Stat. So. Series B 46 (1984), pp. 149{192.
[55℄
[56℄
J. A. Hartigan,
Representation of similarity matries by trees .
J. Am. Stat. Asso. 62 (1967), pp. 1140{1158.
W. Hoeding,
Massstabinvariante Korrelationtheorie .
Shriften Math. Inst. Univ. Berlin 5 (1940), pp. 181{233.
[57℄
F. R. Hodson, D. G. Kendall and P. Tautu (eds.),
Mathematis in the Arhaeologial and Historial Sienes .
Edinburgh University Press (1971)
[58℄
E. W. Holman,
The relation between hierarhial and Eulidean models for psyhologial distanes .
Psyhometrika 37 (1972), pp. 417{423.
[59℄
[60℄
H. Hotelling,
The generalization of Student's ratio .
Annals of Math. Stat. 2 (1931), pp. 360{378.
W. J. Huster, R. Brookmeyer and S. G. Self,
Biometrika 45 (1989), pp. 145{156.
Modelling paired survival data with ovariates .
BIBLIOGRAPHY
152
C. J. Jardine, N. Jardine and R. Sibson,
The struture and onstrution of taxonomi hierarhies .
Math. Biosi. 1 (1967), pp. 173{179.
[62℄ N. Jardine and R. Sibson,
The onstrution of hierarhi and nonhierarhi lassiations .
Comput. J. 11 (1968), pp. 177{184.
[63℄ S. C. Johnson,
Hierarhial lustering shemes .
Psyhometrika 32 (1967), pp. 241{254.
[64℄ M. G. Kendall,
[61℄
A Course in Multivariate Analysis .
Charles GriÆn, London (1957)
J. T. Kent,
Robust properties of likelihood ratio tests .
Biometrika 69 (1982), pp. 19{27.
[66℄ M. Knowles and D. Siegmund,
[65℄
On Hotelling's approah to testing for a nonlinear parameter in regression.
Int. Statist. Rev. 57 (1989), pp. 205{220.
[67℄
W. J. Krzanowski,
Disrimination and lassiation using both binary and ontinuous variables .
J. Am. Stat. Asso. 70 (1975), pp. 782{790.
[68℄
W. J. Krzanowski,
Distane between populations using mixed ontinuous and ategorial
variables .
Biometrika 79 (1983), pp. 235{243.
W. J. Krzanowski,
J. of Classiation 4 (1987), pp. 73{84.
[70℄ W. J. Krzanowski,
[69℄
A omparison between two distane{based disriminant priniples .
Priniples of Multivariate Analysis: a user's perspetive .
Clarendon Press, Oxford (1988)
[71℄
P. A. Lahenbruh,
Disriminant Analysis .
Hafner, New York (1975)
BIBLIOGRAPHY
[72℄
[73℄
153
P. C. Mahalanobis,
On the generalized distane in Statistis .
Pro. Nat. Inst. Si. India 2 (1936), pp. 49{55.
V. R. Maro, D. M. Young and D. W. Turner,
The Eulidean distane lassier: an alternative to linear disriminant
funtion.
Commun. Statist.{Simula. 16 (1987), pp. 485{505.
[74℄
K. Matusita,
Deision rules based on the distane for problems of t, two samples,
and estimation.
Ann. Math. Stat. 26 (1955), pp. 631{640.
[75℄
K. Matusita,
Deision rule, based on distane for the lassiation problem.
Ann. Inst. Stat. Math. 8 (1956), pp. 67{77.
[76℄
K. Matusita,
Distane and deision rule .
Ann. Inst. Stat. Math. 16 (1964), pp. 305{315.
[77℄
K. Matusita,
Disrimination and the aÆnity of distributions .
in: [12, pp. 213{223℄
[78℄
K.V. Mardia, J. T. Kent and J. M. Bibby,
[79℄
A. Mi~narro,
Multivariate Analysis .
Aademi Press (1979).
Aspetos geometrios de las poblaiones y los individuos estadstios .
Tesis dotoral. Dep. Estadstia, Univ. de Barelona (1991)
[80℄
D. F. Morrison,
Multivariate Statistial Methods, 2nd edition.
MGraw{Hill, New York (1976).
[81℄
J. Neyman and E. S. Pearson,
On the use and interpretation of ertain test riteria for purposes of
statistial inferene .
Biometrika 20A (1928), pp. 175{240, 263{294.
[82℄
J. M. Oller and C. M. Cuadras,
Dened distanes for some probability distributions .
BIBLIOGRAPHY
154
in Pro. 2nd World Conf. Math. at the Serv. of Man (1982), pp. 563{
565.
[83℄
J. M. Oller and C. M. Cuadras,
Sobre iertas ondiiones que deben veriar las distanias en espaios
probabilstios .
in Atas XV reunion SEIO (1987), pp. 503{509.
[84℄
J. M. Oller,
Some geometrial aspets of Data Analysis and Statistis .
in [37, pp. 41{58℄.
[85℄
W. C. Parr,
Minimum distane method .
in Enylopedia of Statistial Sienes
[86℄
B. L. S. Prakasa Rao,
Non parametri funtional estimation.
Aademi Press, New York (1983).
S. J. Press and S. Wilson,
J. Am. Stat. Asso. 73 (1978), pp. 699{705.
[88℄ C. R. Rao,
[87℄
Choosing between logisti regression and disriminant analysis .
Information and the auray attainable in the estimation of statistial
parameters .
Bull. Calutta Math. So. 37 (1945), pp. 81{91.
[89℄
C. R. Rao,
Large sample tests of statistial hypotheses onerning several parameters with appliations to problems of estimation.
Pro. Camb. Phil. So. 44 (1947), pp. 50{57.
[90℄
C. R. Rao,
Linear Statistial Inferene and its Appliations, 2nd edition.
John Wiley & Sons, New York (1973).
[91℄
D. A. Ratkowsky,
Nonlinear Regression Modeling .
Marel Dekker, New York (1983)
[92℄
M. Ros and C. M. Cuadras,
Distania entre Modelos lineales Normales .
Questio 10 (1986), pp. 83{92.
BIBLIOGRAPHY
W. S. Robinson,
A method for hronologially ordering arhaeologial deposits .
Am. Antiq. 16 (1951), pp. 293{301.
[94℄ M. M. Royall,
155
[93℄
Model robust ondene intervals using maximum likelihood estimators .
International Statistial Review 54 (1986), pp. 221{226.
S. Sattah and A. Tversky,
Psyhometrika 42 (1977), pp. 319{345.
[96℄ G. A. F. Seber,
[95℄
Additive similarity trees .
Multivariate Observations .
John Wiley & Sons (1984).
[97℄
[98℄
G. A. F. Seber and C.J. Wild,
Nonlinear Regression.
John Wiley & Sons (1989).
G. R. Shorak and J. A. Wellner,
Empirial proesses with appliations to Statistis .
John Wiley & Sons (1986).
[99℄
W. S. Torgerson,
Theory and methods of saling .
John Wiley & Sons (1958).
[100℄
R. Valdes,
Finding string distanes .
Dr. Dobb's Journal 17(4) (1992), pp. 56{62.
[101℄
H. Weyl,
On the volume of tubes .
Am. J. of Math. 61 (1939), pp. 461{472.
[102℄
J. Wolfowitz,
The Minimum Distane Method .
Ann. Math. Stat. 28 (1957), pp. 75{88.
Fly UP