Em formação

Atratores espúrios em redes Hopfield

Atratores espúrios em redes Hopfield

Uma "rede Hopfield" clássica é um tipo de rede neural artificial na qual as unidades são biestáveis ​​e totalmente interconectadas por conexões simetricamente ponderadas. Em 1982, Hopfield mostrou que tais redes são caracterizadas por uma "função de energia", sob a qual as memórias armazenadas correspondem a mínimos de energia locais [1].

Em um artigo de 1983 [2], Hopfield et al mostraram ainda que "memórias espúrias" (mínimos de energia local que são criados durante o treinamento, além dos padrões de destino pretendidos) podem ser suprimidas por um "procedimento de desaprendizagem", durante o qual a rede é repetidamente permitido que relaxe de estados aleatórios, e os estados resultantes então "desaprendidos" por ajustes de peso anti-Hebbian. O procedimento afeta as memórias espúrias mais do que as desejáveis ​​"memórias aprendidas", melhorando assim o desempenho da evocação. No entanto, o artigo não oferece nenhuma explicação de por que isso deveria ser assim.

Um artigo de 2004 de Robins e McCallum [3] demonstra que as memórias espúrias podem ser distinguidas das aprendidas porque seus "perfis de energia" são diferentes. Especificamente, a proporção da menor para a maior contribuição de energia de unidades individuais é significativamente menor em estados correspondentes a memórias espúrias do que em estados correspondentes a memórias aprendidas. Novamente, o efeito não é contabilizado (exceto para uma explicação parcial provisória).

Minhas perguntas são:

  1. Existe uma relação entre essas duas descobertas, ou seja, a "proporção de energia" mais baixa dos estados espúrios explica sua maior suscetibilidade ao desaprendizado?
  2. Alguma explicação para um ou ambos os fenômenos foi apresentada desde a publicação dos artigos?
  3. Existem outras maneiras de suprimir ou detectar memórias espúrias na família Hopfield de redes neurais?

[1] Hopfield, J. J. (1982). Redes neurais e sistemas físicos com habilidades computacionais coletivas emergentes. Proceedings of the National Academy of Sciences, 79 (8), 2554 -2558.

[2] Hopfield, J. J., Feinstein, D. I., & Palmer, R. G. (1983). “Desaprender” tem um efeito estabilizador nas memórias coletivas. Nature, 304 (5922), 158-159.

[3] Robins, A. V., & McCallum, S. J. R. (2004). Um método robusto para distinguir entre atratores aprendidos e espúrios. Neural Networks, 17 (3), 313-326. doi: 10.1016 / j.neunet.2003.11.007


Acho que sua intuição sobre a "proporção de energia" mais baixa dos estados espúrios que explicam sua maior suscetibilidade ao desaprendizado pode estar correta.

Em uma rede Hopfield, os estados espúrios são padrões de atividade que não foram explicitamente incorporados na matriz sináptica, mas são estáveis. Em outras palavras, eles são estados atratores "indesejados" que, em virtude de uma sobreposição finita com os estados atratores "desejados", ocorrem como um mínimo local na função de energia. A regra de desaprendizagem em Hopfield et al. (1983) consiste em modificar a matriz sináptica de forma a diminuir a energia dos estados estáveis ​​em que se estabelece a dinâmica da rede, sejam eles espúrios ou embutidos. Como os estados espúrios têm energia mais alta do que os estados embutidos, eles são mais fortemente afetados pela etapa de desaprendizagem.

Agora, por que os estados espúrios têm energia mais alta do que os estados atratores embutidos? Bem, na verdade isso não é verdade em geral, mas é o caso em um regime onde a rede Hopfield não excede sua capacidade de carregamento, ou seja, quando o número de padrões aprendidos sobre o número de unidades $ p / N $ é menor que a capacidade crítica $ alpha_c approx0,138 $. Nesse regime, é possível estimar a sobreposição dos estados espúrios com os padrões aprendidos e mostrar que é geralmente inferior a $ 1 $ (a sobreposição dos padrões aprendidos com eles próprios). Por causa de como a construção Hebbian da matriz sináptica no modelo de Hopfield, essas sobreposições são termos que aparecem na função de energia. A energia de um padrão é proporcional a menos a raiz quadrada de sua sobreposição com os padrões aprendidos. Isso significa que os padrões espúrios têm maior energia do que os aprendidos.

Em geral, esse tipo de consideração ingênua deve ser apoiado por argumentos mais rigorosos baseados na teoria da probabilidade. Estes, por exemplo, apontam que mesmo para o regime abaixo de $ alpha_c $ os padrões recuperados são na verdade estados espúrios assim que o número de padrões embutidos $ p $ excede acima de $ frac {N} {2 ln N} $. No entanto, esses estados espúrios têm uma sobreposição tão alta com os padrões aprendidos ($ 0,97 $) que basicamente coincidem com eles.

Este resultado e suas generalizações para temperatura diferente de zero (ou seja, ruído na dinâmica) e além da capacidade crítica foram trabalhados no seguinte artigo técnico:

  • Amit D.J., Gutfreund H e Sompolinsky H (1987) Statistical Mechanics of Neural Networks Near Saturation. Ann. Phys. (NY) 173, 30

e no livro:

  • Amit D.J, (1992) Modeling brain function: The world of attrator neural networks. Cambridge University Press, ISBN: 9780521421249


Assista o vídeo: Rede Neural (Dezembro 2021).