As funções de ativação são usadas para introduzir não-linearidades nas redes neurais,

permitindo que elas aprendam e representem relações complexas entre os dados de entrada
e saída. No scikit-learn e no Keras, existem várias funções de ativação disponíveis, cada uma
com suas características e usos específicos. Aqui estão algumas das funções de ativação mais
comumente usadas:

Função de ativação sigmoide: A função sigmoide é uma função logística que mapeia
os valores de entrada para um intervalo entre 0 e 1. Ela é frequentemente usada em
problemas de classificação binária, onde a saída desejada é uma probabilidade. No entanto,
a função sigmoide pode ter problemas de convergência lenta e saturação em casos de
gradientes muito grandes ou pequenos.

Função de ativação tangente hiperbólica (tanh): A função tangente hiperbólica é

semelhante à função sigmoide, mas mapeia os valores de entrada para um intervalo entre -1
e 1. Ela também é usada principalmente em problemas de classificação binária, mas pode ser
mais adequada para redes neurais com várias camadas

Função de ativação ReLU (Rectified Linear Unit): A função ReLU é uma função de
ativação não linear que retorna 0 para valores de entrada negativos e o próprio valor de
entrada para valores positivos. Ela é amplamente usada em redes neurais profundas devido
à sua simplicidade e eficiência computacional. No entanto, a função ReLU pode levar a
problemas de "neurônios mortos" durante o treinamento, onde os neurônios param de
aprender porque sempre produzem uma saída zero

Função de ativação softmax: A função softmax é usada em problemas de classificação

multiclasse, onde a saída desejada é uma distribuição de probabilidade sobre as classes. Ela
mapeia os valores de entrada para um intervalo entre 0 e 1 e normaliza-os de forma que a
soma de todas as saídas seja igual a 1. A função softmax é frequentemente usada na camada
de saída de redes neurais

Exemplo: https://machinelearningmastery.com/implement-backpropagation-
algorithm-scratch-python/

O impacto das funções de ativação no aprendizado da rede e no backpropagation

depende do problema em questão e da arquitetura da rede. Em geral, as funções de ativação
devem ser escolhidas de forma a evitar problemas de saturação (quando os gradientes se
tornam muito pequenos) ou explosão (quando os gradientes se tornam muito grandes)
durante o treinamento. Além disso, algumas funções de ativação podem ser mais específicas
para problemas específicos, como a função ReLU para redes neurais profundas.

Quais são as funções de ativação disponíveis no sklearn e no keras e quando devem ser usadas?

Posso usar múltiplas funções de ativação em uma única rede neural?

Quais são as vantagens e desvantagens de usar múltiplas funções de ativação em uma rede neural?

Quais são alguns exemplos de redes neurais que usam múltiplas funções de ativação?

Como as funções de ativação afetam o processo de treinamento de uma rede neural?