海纳百川 :: 阅读主题 - 论坛和神经网络

海纳百川

登录 \| 登录并检查站内短信 \| 个人设置	网站首页 \| 论坛首页 \| 博客 \| 搜索 \| 收藏夹 \| 帮助 \| 团队 \| 注册 \| RSS


	主题: 论坛和神经网络

海纳百川首页 -> 罕见奇谈

阅读上一个主题 :: 阅读下一个主题

作者

论坛和神经网络

随便

加入时间: 2004/02/14
文章: 24019

经验值: 64

标题: 论坛和神经网络 (368 reads) 时间: 2007-7-29 周日, 上午11:35

作者：随便在罕见奇谈发贴, 来自 http://www.hjclub.org

俺说好的神经网络应该有自行重构的能力 -- 不仅仅是修改权重，
而且能建立新的神经元，建立新的联系。有的网友问，HOW？

其实，一般科学上在问HOW之前，先要问WHY。WHY解决根本思路
问题，HOW解决方法问题。前者的层次要高一些。

比如这个网络的自重构，HOW 很简单。一个神经元输入和输出
边的权重都置零，这个神经元就被阻断而等于不存在了。这就删
除了一个神经元。目前的神经网络在训练时都修改权重，已经有
这个能力了。

加入一个神经元很简单，你可以在每次训练/学习之后，定期和
定量地加入一些神经元。它们的数目，跟其他神经元的联系，联
系上的权重，都随机选取。

所谓重构，无非是删去一些神经元，再加入一些新的神经元而已。
既然现在又有加入的办法，又有删除的办法，重构就完全可操作
了。

但是这讨论的次序有些颠倒了，还没解决WHY。为什么要在神经网
络加入重构的能力？因为，神经网络相当于一个比较复杂的函数。
复杂的函数一般有多个极值，多数是局部极值而不是全局极值。神
经网络经过一定的训练，各个联系上的权重趋于稳定，这等价于找
到了一个局部的极值。它是一个相对较好的点，但没有什么可以保
证它就是全局最好的点。

保持这些稳定下来的权重，就相当于您满足这个局部的极值，放弃
了追求全局极值的努力。对网络适当的重构，打破这个稳定局面，
就可能走到新的更好的极值。这就是重构的WHY。

简单地说，人脑在学习阶段很活跃，这时各神经元都在伸出触角，
建立联系，新的神经元也在生长。但是到了一定岁数，新神经元不
再生出，老神经元之间联系比较固定，这脑袋就僵化了，不接受新
事物，也不进步了。设想总有新的神经元生长出来，老的淘汰掉，
新的联系不断建立，永远处于学习状态，岂不是能不断进步吗。

论坛的神经元就是网友，网友之间的爱恨情仇构成他们之间的联系
，联系的强弱就是权重。通过这个神经网络，识别各种观点。如果
永远只有几个人，没有新人加入，论坛的进化就不大可能了，对于
各种观点的识别能力，也会十分有限。

作者：随便在罕见奇谈发贴, 来自 http://www.hjclub.org

返回顶端

随网请看这里： -- 路过 - (97 Byte) 2007-7-29 周日, 下午11:46 (144 reads)

显示文章:

海纳百川首页 -> 罕见奇谈

所有的时间均为北京时间

您不能在本论坛发表新主题
您不能在本论坛回复主题
您不能在本论坛编辑自己的文章
您不能在本论坛删除自己的文章
您不能在本论坛发表投票
您不能在这个论坛添加附件
您不能在这个论坛下载文件

[ Page generation time: 0.376083 seconds ] :: [ 25 queries excuted ] :: [ GZIP compression enabled ]