Deeplearning Algorithms tutorial

谷歌的人工智能位于全球前列，在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗，覆盖无人驾驶、智能助手、图像识别等许多层面。苹果业已开始全面拥抱机器学习，新产品进军家庭智能音箱并打造工作站级别Mac。另外，腾讯的深度学习平台Mariana已支持了微信语音识别的语音输入法、语音开放平台、长按语音消息转文本等产品，在微信图像识别中开始应用。全球前十大科技公司全部发力人工智能理论研究和应用的实现，虽然入门艰难，但是一旦入门，高手也就在你的不远处！ AI的开发离不开算法那我们就接下来开始学习算法吧！

ART(Adaptive Resonance Theory)神经网络

在神经网络学习中，当网络规模给定后，由权矩阵所能记忆的模式类别信息量总是有限的，新输入的模式样本必然会对已经记忆的模式样本产生抵消或遗忘，从而使网络的分类能力受到影响。靠无限扩大网络规模解决上述问题是不现实的。如何保证在适当增加网络规模的同时，在过去记忆的模式和新输入的训练模式之间作出某种折中，既能最大限度地接收新的模式信息，同时又能保证较少地影响过去的样本模式呢？ ART网络在一定程度上能较好解决此问题。

1976年，美国Boston大学CarpenterG.A.教授提出了自适应共振理论ART(Adaptive Resonance Theory). 自适应共振理论(Adaptive Resonance Theory, ART)神经网络模型用于数据聚类。它在学习过程中实现了稳定性与可塑性的统一,这一特性使ART网络成为在入侵检测环境下数据聚类的一个非常合适的选择。 随后Carpenter G.A.又与他的学生GrossbergS.合作提出了ART神经网络。

经过多年的研究和发展，ART 网络已有几种基本形式：

(1) ART1型神经网络：处理双极性和二进制信号；

(2) ART2型神经网络：它是ART1型的扩展，用于处理连续型模拟信号；

(3) ART综合系统：将ART1和ART2综合在一起，系统具有识别﹑补充和撤消等综合功能。即所谓的3R（Recognition﹑Reinforcement﹑Recall）功能。

(4) ART3型神经网络：它是一种分级搜索模型，兼容前两种结构的功能并将两层神经网络扩大为任意多层神经元网络，由于ART3型在神经元的模型中纳入了生物神经元的生物电－化学反应机制，因而它具备了很强的功能和扩展能力。

算法应用

ART1神经网络可以根据输入的数据，作无监督或无教师归纳，自动形成和自动确定数据类别。该算法主要对布尔类型的数据聚类。

优点和缺点

主要优点

  1. 可完成实时学习，且可适应非平稳的环境；

  2. 对已学习过的对象具有稳定的快速识别能力，同时又能迅速适应学习的新对象；

  3. 具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时又被当做噪音处理；

  4. 不需要事先已知结果，可非监督学习；

  5. 此系统可以完全避免陷入局部最小点的问题