Información, estabilidad y complejidad de aprendizaje en memorias asociativas
Resumen
En este trabajo se estudia la relación entre la cantidad de información y la complejidad de aprendizaje en el modelo discreto de Hopfield de memoria asociativa. Más específicamente, se analiza, desde un punto de vista estadístico, la relación entre la probabilidad de que un estado del sistema sea un equilibrio estable (memoria) y un valor de entropía o incertidumbre asociado a él. Se realizan experimentos computacionales para corroborar estos resultados.Descargas
Citas
J. J. Hopfield, "Neural networks and physical systems with emergent computational abilities", Proc. Nat. Acad. Sc., USA, 79, pp. 2554-8, April 1982 (Biophysics).
T. Hastie, R. Tibshirani and J. Friedman, The Ekements of Statistical Learning: Data Mining, Inference, and Prediction. Berlin, Germany: Springer, 2013.
A. C. Rencher and W. F. Christensen, Methods of Multivariate Analysis. New Jersey, USA: Wiley, 2012. http://dx.doi.org/10.1002/9781118391686
C. E. Shannon; "A mathematical theory of communication", Bell System Technical Journal, vol. XXVII, no. 3, pp. 379-423, 1948. http://dx.doi.org/10.1002/j.1538-7305.1948.tb01338.x
G. Grimmett and D. Stirzaker, Probability and random processes. Oxford, UK: Oxford University Press, 3rd. edition, 2001.
D. J. Amit, H. Gutfreund and H. Sompolinsky, Statistical Mechanics of Neural Networks near Saturation,} Annals of Physics 173, pp. 30-67, 1987. http://dx.doi.org/10.1016/0003-4916(87)90092-3
D. J. Amit, Modeling Brain Function. Cambridge, USA: Cambridge University Press, 1989. http://dx.doi.org/10.1017/CBO9780511623257
S. Haykin, Neural Networks and Learning Machines Upper Saddle River, USA: Pearson–Prentice Hall, 2011.
Y. S. Abu-Mustafa and J-M. St. Jacques, "Information capacity of the Hopfield model", IEEE Trans. Inf. Th., vol. IT-31, no. 41, pp. 461-464, 1985. http://dx.doi.org/10.1109/TIT.1985.1057069
R. J. McEliece, E. C. Posner, E. R. Rodemich and S. S. Venkatesh, "The Capacity of the Hopfield Associative Memory", California Institute of Technology, 1986.
Los artículos publicados son de exclusiva responsabilidad de sus autores y no reflejan necesariamente las opiniones del comité editorial.
IJMSOR respeta los derechos morales de sus autores, los cuales ceden al comité editorial los derechos patrimoniales del material publicado. A su vez, los autores informan que el presente trabajo es inédito y no ha sido publicado anteriormente.
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Unported License.
