计算机科学

首页 > 计算机科学

玻尔兹曼机

玻尔兹曼机的图像表示. 每条无向边都表示一对依赖关系. 在这个例子中有三个隐藏节点和四个可见节点,它并不是一个约束玻尔兹曼机(restricted Boltzmann machine).

玻尔兹曼机(Boltzmann machine)是随机神经网络和递归神经网络的一种,由杰弗里·辛顿(Geoffrey Hinton)和特里·谢泽诺斯基(Terry Sejnowski)在1985年发明。

玻尔兹曼机可被视作随机过程的,可生成的相应的Hopfield神经网络。它是最早能够学习内部表达,并能表达和(给定充足的时间)解决复杂的组合优化问题的神经网络。但是,没有特定限制连接方式的玻尔兹曼机目前为止并未被证明对机器学习的实际问题有什么用。所以它目前只在理论上显得有趣。然而,由于局部性和训练算法的赫布性质(Hebbian nature),以及它们和简单物理过程相似的并行性,如果连接方式是受约束的(即受限玻尔兹曼机),学习方式在解决实际问题上将会足够高效。

它由玻尔兹曼分布得名。该分布用于玻尔兹曼机的抽样函数。

延伸阅读

  • Hinton, G. E.; Sejnowski, T. J. D. E. Rumelhart, J. L. McClelland, and the PDP Research Group, 编. Learning and Relearning in Boltzmann Machines (PDF). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations (Cambridge: MIT Press). 1986: 282–317. (原始内容 (PDF)存档于2010-07-05). 
  • Hinton, G. E. Training Products of Experts by Minimizing Contrastive Divergence (PDF). Neural Computation. 2002, 14 (8): 1771–1800. PMID 12180402. doi:10.1162/089976602760128018. 
  • Hinton, G. E.; Osindero, S.; Teh, Y. A fast learning algorithm for deep belief nets (PDF). Neural Computation. 2006, 18 (7): 1527–1554. PMID 16764513. doi:10.1162/neco.2006.18.7.1527. 

外部链接

  • Scholarpedia article by Hinton about Boltzmann machines
  • Talk at Google by Geoffrey Hinton
  • An Introduction to Restricted Boltzmann Machines. Asja Fischer and Christian Ige.

相关推荐