发明背景与现有技术

应用背景 深度学习已经在图像分类检测、游戏等诸多领域取得了突破性的成绩。由于人工神经网络计算量大，训练时间长。因此，相关的硬件加速平台也在百花齐放，包括基于英伟达的GPU、谷歌的TPU、以及FPGA实现的神经网络硬件平台。神经网络的结构复杂多样、计算量大的特点，给硬件设计带来了巨大挑战。 原有技术及问题  （1）传统神经网络 基于传统的CPU完成运算，缺点是神经网路的神经元众多，由于单机的CPU个数限制，整个网络的并行计算性能不高。 （2）硬件加速神经网络 通常基于FPGA 等可编程芯片，这样的神经网络运算能力强，并行性好。但是这样的神经网络，其硬件实现的底层神经元缺乏自适应学习和演化能力。

本发明技术方案 神经网络互连模型 如右图，每一个方块表示一个神经元，以二维硬件模型（如FPGA）为例，每一个神经元连接着另外四个神经元。整个模型有三类输入输出： （1）任意输入，每一个输入连接到一个神经元上； （2）任意输出，每一个输出连接到一个神经元上； （3）奖励反馈输入，连接到所有神经元上。 此外，两个相连神经元之间的连接为一个或多个浮点数（用以记忆神经网络参数）存储单元。 神经元，内部是一个多层神经网络的结构，带有自适应学习和演化能力 （1）多层神经网络有五个输入：分别表示四个连接存储单元的大小和一个奖励反馈信号的大小； （2）多层神经网络有四个输出：四个连接存储单元的变化率； （3）使用优化算法（如遗传算法、强化学习或者策略梯度）来优化神经网络的权重以最大化长时平均奖励（一段时间的平均奖励） （4）优化的每一个迭代使用多种不同常用机器学习问题来进行训练。监督学习和无监督学习都需要提前转化为强化学习问题

 

本发明的技术保护点

本文提出神经元探索系统设计方法，包括神经网络互连模型，带有自适应学习和演化能力的神经元设计等

本发明有益效果 解决问题 1）神经元具备自适应学习和演化能力，可以构建结构复杂多样的神经网络。

本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/7728039.html，如需转载请自行联系原作者