UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE

DISCIPLINA: REDES NEURAIS

Ia LISTA DE EXERCCIO (reviso) - 2016.1
Objetivo da lista: estimular uma reviso dos conceitos de lgebra linear, clculo de mltiplas variveis, mtodos de otimizao, fundamentos de aprendizagem de mquinas, etc.

1-) Dadas as superfcies x1 x 22 2 x 2 x 3 16 , x1 2 x22 3x32 15 . Determine os vetores

normais a cada uma das superfcies. Determine o plano tangente a primeira superfcie no
ponto P(1,2,3) e plano tangente a segunda superfcie no ponto P(2,2,1). Determine o ngulo
entre os dois hiperplanos.
2

2-)

Dadas

as

funes

quadrticas

x 2 1 4 x 2 2 6 x1 x 3 2 x 2 x 3 5 x 2 3

x 1 2 x 2 3x1 x 3 5 x 2 x 3 8 x 3 expresse inicialmente cada uma sob a forma x Ax , com

A sendo uma matriz simtrica. Determina a matriz diagonal correspondente para cada matriz e verifique se as matrizes so definidas positivas.
2

3-) Considere o problema de estimativa da matriz de covarincia de uma dada distribuio

7
4
4
5

de vetores aleatrios dados por x 1 3 , x 2 6 , x 3 2 , x 4 5 . Estime o vetor m

9
11
5
7

dia e a matriz de covarincia amostral S s ij assumindo que a matriz simtrica. A mdia

amostral
N

por sij

(x
l 1

il

dada

por

1
N

x
i 1

varincia

amostral

dada

i )( x jl j )

. Calcule tambm a partir da matriz obtida os seguintes

N 1
a-) Os autovalores e autovetores da matriz e mostre a forma fatorada da matriz isto
S V 1 DV . Onde D a matriz diagonal dos autovalores e V a matriz dos autovetores
correspondentes.
b-) Calcule fazendo uso da forma fatorada calcule S 4
c-) Calcule a norma Euclidiana da matrize compare com seu valor estimado pelo trao da
matriz.
d-) Calcule a norma Euclidina dos vetores aleatrios.
e-) Calcule a norma de Mahalanobis dos vetores aleatrios e compare com a norma Euclidiana
f-) Determine a distribuio de probabilidade assumida ser Gaussiana.
4-) A mtrica de distancia entre vetores aplicada nos estudos de aprendizagem de mquina como medidas de similaridade entre vetores que representam padres. Apresente um

estudo sobre as seguintes distancia: Distancia Euclidiana, Mtrica de Minkowski, Distancia

de Mahalanobis, Medida de Similaridade de Tanimoto e Distancia de Levenstein.

5-) A matriz Hessiana possa ser expressa aproximadamente como H (n) g (k )g t (k ) ,

k 1

onde g(w (n)) o vetor gradiente local definido por g(w )

E (w )
w

a-) Demonstre que H(n) H(n 1) g(n)g t (n)

b-) Usando o lema da inverso matricial tal que se A B 1 CDC t ento
A 1 B BC(D C t BC) 1 C t B , sendo A e B matrizes definidas positivas, C e D so
duas outras matrizes, demonstre que
t

H 1 (n 1)g(n)g t (n)H 1 (n 1)
1 g t (n)H 1 (n 1)g(n)
Isto uma forma interativa para gerar a matriz Hessiana com base na informao do
gradiente.

H 1 (n) H 1 (n 1)

6-) Pesquise e detalhe a deduo e o algoritmo decorrente dos seguintes mtodos de otimizao:
a-) Mtodo do gradiente conjugado
b-) Mtodo de Marquard-Levemberg
c-) O mtodo quase-Newton denominado Broyden-Fletcher-Goldfarb-Shanno (BFGS)

7-) Pesquise e apresente um estudo sobre otimizao sujeita a restrio.

8-) Considere os seguintes problemas de otimizao:
a-) Calcule o mnimo da funo da funo f (x) 4 x12 2 x1 x2 4 x22 2 x1 2 x2 e ( x1 x2 )
utilizando:
a-) o mtodo do gradiente da descida mais ngreme
b-) o mtodo do gradiente conjugado
c-) o mtodo de Newton ou um mtodo quase-Newton
2

obs. Para cada mtodo apresente a evoluo do valor da funo com as interaes
Compare cada mtodo os mtodo com relao a convergencia

9-)Considere o problema de otimizao com restries:

minimize f (x) 2 x12 2 x1 x 2 4 x 22 5

sujeito a:
g 1 ( x1 , x 2 ) x1 x 2 0
formule o problema usando o funcional de Lagrange e calcule os valores (x1* , x2* ) para mnimo da funo.
10-) Considere o problema de gerao e padres com distribuies de probabilidades multivariadas. Considere duas distribuies de probabilidades condicionais gaussians associada
cada
uma
classe
de
padres.
As
distribuies
so
dadas
por
1
1
f (x | C i )
exp[ (x i ) t C 1 (x i )] para i=1,2, sendo C a matriz de
p/2
1/ 2
2
(2 ) det(C)
covarincia, assumida igual para duas distribuies e com inversa admissvel e i os vetores mdias para cada classe. Para os vetores mdias so dados por
1 [10,0]t , 2 [10,0]t e a matriz de covarincia dada por . Esboce a distribuio dos
dados no plano x1, x2. Pesquise e mostre que o classificador Gaussiano de mxima verossimilhana gera uma superfcie linear (hiperplano) para separar os padres associados a
cada classe Ci para as condies deste problema.

Trabalho: Pesquise e apresente um trabalho sobre aprendizagem supervisionada, semisuperviosionada no supervisionada e aprendizagem por reforo. Considere neste trabalho
os seguintes algoritmos: Regra dos K-vizinhos mais prximos, aprendizagem hebbiana e
regra de apreidzgem de Boltzman,
Data de entrega da lista com apresentao: 22/03/2016.
A lista e os trabalho podem ser feitos em grupos de at trs componentes.