Analise de Componentes Independentes

Analise de Componentes Independentes
Capitulo 3 – Métodos de Otimização e Gradiente:
Por: Júlio Costa
1
• Otimização;
• Função objetiva ou custo;
• Otimização Restrita e Irrestrita;
𝑓 𝑥 = 10. 𝑛 + 𝑥𝑖2 − 10. 𝑐𝑜𝑠 (2. 𝜋. 𝑥𝑖 )

𝑖
2
• Função unimodal x multimodal;
• Mínimo Local x Mínimo Global;
3
• Função de Rastrigrin (Conjunto Benchmark)

Numero de variáveis: n variáveis
Definição:
𝑓 𝑥 = 10. 𝑛 + 𝑥𝑖2 − 10. 𝑐𝑜𝑠 (2. 𝜋. 𝑥𝑖 )

𝑖
Espaço de Busca: −5 ≤ 𝑥𝑖 ≤ +5, i=1, 2,..., n.

Numero de mínimos locais: vários
Mínimo global: 𝑥 ∗ = 0, … . , 0 , 𝑓(𝑥 ∗ ) = 0
Gráfico da função quando n=2 4
• Função de Rastrigrin (Conjunto Benchmark)
5
• Funções Multiobjetivo;
6
• Curva de nível;
7
• Gradiente;
8
• Matriz Hessiana
9
• Matriz Jacobiana
10
• Regra da Cadeia;
11
• Matriz Gradiente
12
13
• Exemplos de Gradiente
𝑀𝑎𝑡𝑟𝑖𝑧 𝐻𝑒𝑠𝑠𝑖𝑎𝑛𝑎 𝑔 𝑤 = 𝑎𝑇 𝑤 = 0, pois o gradiente é constante e independente de w.
14
• Determinante de uma matriz gradiente;
15
16
17
• Expansão por serie de Taylor;
18
• Expansão por serie de Taylor;
19
• Método do Gradiente descendente;
• Interativo e Inicialização;
• Restrição típica é vetor solução norma limita ou matriz solução

ter colunas ortonormais.
• Regra de atualização e tamanho do passo:
20
• Critério de parada (Distancia euclidiana);
21
• Regra de atualização;
22
• Gráfico de contorno de uma função custo;
23
• Convergência;
24
• Convergência;
25
• Pseudo Código Gradiente Descendente;
26
• Exemplo Gradiente Descendente;
27
28
29
• Método Aprendizado de segunda ordem;
30
• Método Aprendizado de segunda ordem;
• Número de interações e Custo computacional;
• Método quase-Newton;
31
• Pseudo Código de segunda ordem;
32
• Gradiente Natural e Gradiente Relativo
33
34
35
36
• Estocástico Gradiente Descendente;
• Métodos visto de forma geral, sem considerar a forma da

função custo.
• Em ICA a função custo será definida como:
37
• Métodos visto de forma geral, sem considerar a forma da

função custo.
• Em ICA a função custo será definida como:
38
Este algoritmo é chamado de aprendizado por lote (batch learning).
Na pratica, o valor esperado é calculado pela media das amostras.
39
• Fácil de calcular o Gradiente e Hessiana;
40
• Pode ser problemático caso as amostras não sejam fixas e a cada

interação receba novas amostras.
• Para resolver este problema pode ser utilizado o aprendizado online:
41
• Exemplo:
42
• Exemplo: Aprendizado por lote, observar que o valor 4 é absorvido

por alfa.
43
• Exemplo: Na pratica, pode-se calcular o valor esperado
Onde w é o vetor solução a cada interação.
• Observar o sinal positivo na função custo (Maximizar)

44
• Convergência do algoritmo estocástico online;
45
46
• Exemplo:
47
• Otimização com Restrição;
48
• Método de Lagrange;
49
• Método de Projeções;
• Maioria das restrições abordadas no livro são do tipo

igualdade;
• Resolve sem restrições;
• Projetar a cada interação de forma ortogonal no conjunto de

restrições (normalizar).
50
• Exemplo;
Problema: maximizar
Restrição:
51
• Método de Lagrange
52
• Método da Projeção;
• Considerando:
Basta normalizar w a cada interação.
53
• Generalizando:
54
• Assumindo uma taxa de aprendizagem pequena, pode-se expandir

por serie de Taylor e omitir algumas etapas intermediarias:
Resultando em, ficando semelhante ao problema sem restrições, um

termo extra e obtém norma igual a um:
55

Analise de Componentes Independentes - CAP 3

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Analise de Componentes Independentes - CAP 3

Enviado por

Direitos autorais:

Formatos disponíveis

Capitulo 3 – Métodos de Otimização e Gradiente:

Por: Júlio Costa

• Função objetiva ou custo;

• Otimização Restrita e Irrestrita;

𝑓 𝑥 = 10. 𝑛 + 𝑥𝑖2 − 10. 𝑐𝑜𝑠 (2. 𝜋. 𝑥𝑖 )

• Função unimodal x multimodal;

• Mínimo Local x Mínimo Global;

• Função de Rastrigrin (Conjunto Benchmark)

𝑓 𝑥 = 10. 𝑛 + 𝑥𝑖2 − 10. 𝑐𝑜𝑠 (2. 𝜋. 𝑥𝑖 )

Espaço de Busca: −5 ≤ 𝑥𝑖 ≤ +5, i=1, 2,..., n.

• Função de Rastrigrin (Conjunto Benchmark)

𝑀𝑎𝑡𝑟𝑖𝑧 𝐻𝑒𝑠𝑠𝑖𝑎𝑛𝑎 𝑔 𝑤 = 𝑎𝑇 𝑤 = 0, pois o gradiente é constante e independente de w.

• Determinante de uma matriz gradiente;

• Determinante de uma matriz gradiente;

• Determinante de uma matriz gradiente;

• Expansão por serie de Taylor;

• Expansão por serie de Taylor;

• Método do Gradiente descendente;

• Restrição típica é vetor solução norma limita ou matriz solução

• Regra de atualização e tamanho do passo:

• Critério de parada (Distancia euclidiana);

• Gráfico de contorno de uma função custo;

• Pseudo Código Gradiente Descendente;

• Exemplo Gradiente Descendente;

• Exemplo Gradiente Descendente;

• Exemplo Gradiente Descendente;

• Método Aprendizado de segunda ordem;

• Método Aprendizado de segunda ordem;

• Número de interações e Custo computacional;

• Pseudo Código de segunda ordem;

• Gradiente Natural e Gradiente Relativo

• Gradiente Natural e Gradiente Relativo

• Gradiente Natural e Gradiente Relativo

• Gradiente Natural e Gradiente Relativo

• Estocástico Gradiente Descendente;

• Métodos visto de forma geral, sem considerar a forma da

• Em ICA a função custo será definida como:

• Estocástico Gradiente Descendente;

• Métodos visto de forma geral, sem considerar a forma da

• Em ICA a função custo será definida como:

• Estocástico Gradiente Descendente;

Este algoritmo é chamado de aprendizado por lote (batch learning).

Na pratica, o valor esperado é calculado pela media das amostras.

• Estocástico Gradiente Descendente;

• Fácil de calcular o Gradiente e Hessiana;

• Estocástico Gradiente Descendente;

• Pode ser problemático caso as amostras não sejam fixas e a cada

• Para resolver este problema pode ser utilizado o aprendizado online:

• Estocástico Gradiente Descendente;

• Estocástico Gradiente Descendente;

• Exemplo: Aprendizado por lote, observar que o valor 4 é absorvido

• Estocástico Gradiente Descendente;

• Exemplo: Na pratica, pode-se calcular o valor esperado

Onde w é o vetor solução a cada interação.

• Observar o sinal positivo na função custo (Maximizar)

• Convergência do algoritmo estocástico online;

• Convergência do algoritmo estocástico online;

• Convergência do algoritmo estocástico online;

• Otimização com Restrição;

• Maioria das restrições abordadas no livro são do tipo

• Resolve sem restrições;

• Projetar a cada interação de forma ortogonal no conjunto de

Basta normalizar w a cada interação.