Stationary processes and equilibrium states in non-symmetric neural networks
A. Castellanos1 and L. Viana2
1 Departamento de Física, Universidad de Sonora Apdo. Post. 1626, Hermosillo 83000, Son. México. acastell@fisica.uson.mx
2 Depto. de Física Teórica, CCMC-UNAM Apdo. Post. 2681, 22800 Ensenada B.C., México. laura@ccmc.unam.mx
]]> Recibido el 9 de noviembre de 2001.
Abstract
Stationary processes and equilibrium states are discussed in finite separable recurrent neural networks with sequential dynamics and away from saturation. We describe thermal fluctuations of the dynamical order parameters originated as finite size effects of order O N-1/2 by means of their corresponding Fokker-Planck equation, and find their time dependent probability distribution. We introduce the concept of extended entropy of fluctuations in order to find a general condition to characterize stationary states in Neural Networks with non symmetric interactions. Divergence and rotational of the probability current in the space of fluctuations are also used to differentiate between stationary and equilibrium states. Besides, algebraic conditions are found to know when stationary states can exist. The results are illustrated by analyzing a neural network with a macroscopic dynamical fixed point but not satisfying detailed balance at microscopic level.
Keywords: Statistical physics; thermodynamics and nonlinear dynamical systems; neural networks; fuzzy logic; artificial intelligence; stochastic processes; probability theory; stochastic processes and statistics.
Resumen
Se discuten los procesos estacionarios y los estados de equilibrio en redes neuronales recurrentes, finitas y separables, con dinámica secuencial y muy lejos de la saturación. Por medio de la correspondiente ecuación de Fokker-Planck, describimos las fluctuaciones térmicas de la dinámica de los parámetros de orden, originadas como efectos de tamaño finito de orden (N-1/2) y encontramos la distribución de probabilidad dependiente del tiempo. Introducimos el concepto de entropía extendida de las fluctuaciones para encontrar una condición general que caracterice los estados estacionarios en Redes Neuronales con interacciones no simétricas. También se utilizan la divergencia y el rotacional de la corriente de probabilidad en el espacio de fluctuaciones para diferenciar entre estados estacionarios y de equilibrio. Además, se encuentran las condiciones algebraicas para saber cuando pueden existir los estados estacionarios. Los resultados son ilustrados mediante el análisis de una red neuronal con un punto fijo en la dinámica macroscópica pero que no satisface el balance detallado a nivel microscópico.
Descriptores: Física estadística; termodinámica y sistemas dinámicos no lineales; redes neuronales; lógica difusa; inteligencia artificial; procesos estocásticos; teoría de la probabilidad; procesos estocásticos y estadística.
]]>PACS: 05.; 07.05.Mh; 02.50.Ey; 02.50.-r
DESCARGAR ARTÍCULO EN FORMATO PDF
Acknowledgments
This work was partially supported by grant DGAPA IN123098 (UNAM).
References
1. A. C. C. Coolen and D. Sherrington, in Mathematical Approaches to Neural Networks, ed. Taylor JG, (North-Holland, Amsterdam, 1993)293. [ Links ]
2. B. M. Forrest, J. Phys. A21 (1988) 245. [ Links ]
3. G. A. Kohring, J. Phys. A: Math. Gen. 23 (1990) 2237. [ Links ]
4. L. Viana, A. Castellanos and A. A. C. Coolen, Lect. Notes in Comp. Sci. 1606 (1999) 392. [ Links ]
5. E. Domany, J. L. van Hemmen, and K. Schulten, (ed), Models of Neural Networks II, (Berlin: Springer, 1994). [ Links ]
6. A. Canning and E. Gardner J. Phys. A: Math. Gen. 21 (1988) 3275. [ Links ]
7. A. J. Noest Europhys. Lett. 6 (1988) 469. [ Links ]
8. E. Domany, W. Kinzel and R. Meir J. Phys. A: Math. Gen. 22 (1989) 2081. [ Links ]
9. A. C. C. Coolen and L. Viana J. Phys. A: Math. Gen. 26 1996 2549-66 [ Links ]
10. N. S. Skantzos and A. C. C. Coolen, J. Phys. A: Math. Gen. 33 (2000) 1841. [ Links ]
11. N. S. Skantzos and A. C. C. Coolen, J. Phys. A: Math. Gen. 33 (2000) 5785. [ Links ]
]]>12. H. Nishimori, T. Nakamura and M. Shiino, Phys. Rev. A41 (1990) 3346. [ Links ]
13. P. Peretto, J. Phys. France 49 (1988) 711. [ Links ]
14. J. M. G. Amaro, and J. F. Perez, Europhys. Lett. 5 (1988) 277. [ Links ]
15. A. Castellanos, PhD Thesis CICESE, México (1998). [ Links ]
16. A. Castellanos, A.C.C. Coolen, L. Viana J. Phys. A31 (1998) 6615. [ Links ]
]]>17. A. C. C. Coolen and Th. W. Ruijgrok, Phys. Rev. A. 38 (1988) 4253. [ Links ]
18. I. J. Matus, and P. Perez, Phys. Rev. A41 (1990) 7013. [ Links ]
19. F. Zertuche, R. Lopez-Pena and H. Waelbroeck, J. Phys. A27 (1994) 5879. [ Links ]
20. O. Bernier, Europhys. Lett. 16 (1991) 531. [ Links ]
21. N. G. Van Kampen, Can. J. Phys. 39 (1961) 551; Adv. Chem. Phys. 34 (1976)245. [ Links ]
]]>22. N. G. Van Kampen, "Stochastic Processes in Physics and Chemistry" (2nd. ed. North-Holland 1992), p 285-286. [ Links ]
23. According to Pawula's theorem, a consistent probabilistic theory is obtained in only two cases a) if only the first non trivial order in (1/N) is kept, or b) if it is maintained the whole Kramers-Moyal expansion.
24. L. Viana, J. Phys. 49 (1988) 167. [ Links ]
25. L. Viana and A. C. C. Coolen, J. Phys. I 3 (1993) 777. [ Links ]
]]>