Redes Neurais Artificiais¶

”Redes neurais artificiais são modelos computacionais inspirados pelo sistema nervoso de seres vivos. Elas possuem a habilidade de adquirir e manter conhecimento (baseadas em informação) e podem ser definidas como um conjunto de unidades processadoras,representadas por neurônios artificiais, interligadas por muitas interconexões.” [NdSHSAF+17]

Fig. 1 Implementação do modelo de neurônio proposto por McCulloch e Pitts [MP43].¶

Neste modelo, destaca-se os seguintes elementos:

Sinal de entrada do neurônio, representado pelo vetor \({x_1,x_2,...,x_n}\).
Pesos associados a cada entrada, representados pelo vetor \({w_1,w_2,...,w_n}\).
Agregador linear, representado pelo símbolo do somatório \(\sum\).
Bias, representado pelo símbolo \(\theta\).
Potencial de ativação, representado por \(u\).
Função de ativação, representado por \(g(·)\).
Sinal de saída, representado por \(y\).

E é regido pelas equações (1) e (2)

(1)¶\[ u = \sum_1^n w_ix_i - \theta \]

(2)¶\[ y = g(u) \]

Redes multiple-layer feedforward¶

Um modelo neuronal moderno, derivado do trabalho de McCulloch e Pitts [MP43] é o multiple-layer feedforward. Ele possui uma ou mais camadas intermediárias (além das camadas de entrada e saída), e o fluxo da informação sempre segue uma mesma direção, da entrada até a saída [NdSHSAF+17]. Isto significa que as saídas dos neurônios de uma camada conectam-se apenas com os neurônios de camadas posteriores, mais próximas à camadade saída, nunca com a própria camada ou com camadas anteriores.

Fig. 2 Representação de uma rede multiple-layer feedforward.¶

Redes recorrentes¶

Redes recorrentes são caracterizadas pelo fato de que a saída de um ou mais neurônios serve de retroalimentação para outros neurônios [NdSHSAF+17], servindo de entrada de neurônios na mesma camada ou em camadas anteriores, fazendo com que o fluxo de informação não seja unidirecional.

Fig. 3 Representação de uma rede recorrente.¶

Redes de Elman¶

Proposta por Elman em 1990 [Elm90], a rede que leva seu nome é um tipo específico de rede recorrente. Ela é composta pela camada de entrada, uma camada intermediária e a camada de saída. Cada neurônio da camada intermediária é retroalimentada a todos os outros neurônios da mesmacamada com uma unidade de atraso (representado pelas unidades \(z^{−1}\)), permitindo que a rede reconheça padrões temporais

Fig. 4 Representação de uma rede de Elman, adaptada de [RCW+18].¶

Long Short-Term Memory (LSTM)¶

A ideia por trás da arquitetura da LSTM é uma célula de memória capaz manter seu estado ao longo do tempo, com portas que regulam a entrada e saída de informação. Nela, pode-se ver as três portas que a compõem: de esquecimento, de escrita e de saída. A porta de esquecimento recebe a entrada atual e informações de memória e decide que informação será retida e qual será esquecida. A porta de escrita armazena a informação na memória (a depender da saída da porta de esquecimento e da entrada atual da célula) e a porta de saída decide qual será a saída da célula, levando em consideração o estado atual da célula (sua memória) e a entrada atual na mesma [KS19].

Fig. 5 Representação de uma célula de memória utilizada na arquitetura LSTM. Adaptada de [KS19]¶