神经网络过拟合的表现(收集3篇)

神经网络过拟合的表现范文篇1

关键词：FPGA；BP神经网络；线性拟合；非线性拟合；自适应训练

中图分类号：TN702.2?34；TP183文献标识码：A文章编号：1004?373X（2016）15?0115?04

Abstract：Usingsoftwareforneuralnetworkhasthedisadvantagesoflowparallelismandslowspeed，thehardwaredesignresourceutilizationofthetraditionalneuralnetworkishigh，andthenetworktrainingisuncontrollable.Tosolvetheseproblems，anewFPGA?baseddesignmethodofbackpropagation（BP）neuralnetworkisproposed.ThemethodcanrealizetheSigmoidexcitationfunctionthroughpiecewiselinearfittingandnonlinearfittingbasedonsymmetry，andusesthefinitestatemachine（FSM）toaccomplishthetrainingtimesadaptionbasedonerror.TheVerilogHDLlanguageisusedtodesignthe1?3?1BPneuralnetworktoapproximatethefunction[y=cosx.]Theresourceoccupancyofthenetworkis2756LEs，thetrainingtimesare1583，theaveragerelativeerrorofthenetworktestsampleis0.6%，andthemaximumclockfrequencyis82.3MHz.Theverificationresultsshowthattheneuralnetworkdesignedwiththemethodhastheadvantagesoflessresourceoccupancy，highaccuracyandfastrunningspeed，andcancontrolthenetworktrainingautomatically.

Keywords：FPGA；BPneuralnetwork；linearfitting；nonlinearfitting；adaptivetraining

0引言

人工神经网络（ANNs）[1]通常都是采用基于软件的方法实现。但作为一个并行计算系统，软件实现的方法存在速度慢的缺点，而硬件方式具有高并行性的特点，适合于人工神经网络。FPGA作为一种整理的硬件设计平台，其内部分布式的资源与神经网络的结构非常契合，是一个实现神经网络硬件化设计的良好选择。

资源占用是FPGA设计的一个重要考量因素，而网络训练是神经网络功能实现的基础。已有的神经网络硬件设计工作在这两方面还存在巨大的空间。例如，薛维琴等利用FPGA实现了BP神经网络[2]，该网络经过训练能够描述非线性函数，但没有提出BP神经网络的激励函数和训练控制模块的具体硬件实现方法。李利歌等提出了直接利用查找表实现神经网络激励函数的方法[3]，但是查找表存在占用资源大，运行速度慢的缺点。张海燕等采用基于查找表的STAM算法实现神经网络激励函数[4]，且文中也没有提到训练控制模块。JavierValls等提出利用CORDIC算法实现神经网络的激励函数[5]，资源利用率低，但是存在精度不足的问题。刘培龙利用分段拟合实现激励函数[6]，但是激励函数资源占用较多。

基于这一现状，本文通过对Sigmoid函数基于对称性分段拟合以及基于误差的训练自适应技术，提出了一种新的神经网络FPGA设计方法。该方法设计的神经网络资源占用少，网络训练自适应，同时还具有精度高，运行速度快的优点。

1BP神经网络的FPGA设计

根据BP神经网络的结构，本文将网络划分为神经元模块、激励函数模块、误差计算模块，权值更新模块、权值存储模块以及自适应网络训练模块。图1给出了不同功能模块之间的连接和训练过程。其中，权值存储模块和输入神经元将输入层的权值以及训练的样本输入到隐含层神经元进行乘累加运算，其结果输入到激励函数模块得到激励函数输出，该输出和隐含层的权值作为输出层神经元的输入得到本次训练结果。该结果再经过误差计算模块计算误差值和权值改变量。权值改变量在权值更新模块中得到新权值存入到权值存储模块。误差值输入到自适应网络训练模块判断网络训练是否达到最优。网络训练达到最优前，该过程循环，当网络训练达到最优，自适应训练模块控制网络停止训练。

系统中神经元模块、误差计算模块、权值更新模块按照BP网络算法规则可调用加、乘、乘累加等功能模块，权值存储模块可调用RAM模块。激励函数模块和自适应训练模块关乎系统资源占用及训练过程的实现，是本文BP神经网络FPGA设计的重点。

1.1激励函数模块设计

激励函数模块是影响整个神经网络资源利用的主要因素之一，在保证误差足够小的前提下，激励函数模块资源占用越小越好。

式中含有指数运算，较难在FPGA中直接实现。利用Sigmoid函数具有对称性以及较好的线性区域和非线性区域分界的特点，本文提出一种资源占用小、精度高的基于对称性分段拟合的激励函数硬件实现的方法。

考虑到Sigmoid函数的对称性，只需完成[x>0]的区域硬件实现，根据对称性即可求出[x0]区域，根据Sigmoid函数线性区域和非线性区域分界良好的特点，分别采用线性拟合和非线性拟合的方法分段逼近。具体而言，如图2所示，将整个激励函数模块分为预处理模块、函数逼近模块以及最终输出模块三个子模块。

1.1.1预处理模块

激励函数的输入[x]为16位定点数，最高位为符号位，中间五位为整数部分，后十位为小数部分。当[x]输入到激励函数模块时，首先进行预处理。截取二进制输入[x]的最高位判断[x>0]或者[x0]时，[x=x，]将[x]输入到后续处理模块，若判断出[x

1.1.2函数逼近模块

基于对输入[x]的预处理，此子模块只需要对[x>0]的情况做线性拟合和非线性拟合。分段逼近函数如表1所示。

1.1.3最终输出模块

最终输出模块由预处理模块输出的控制信号控制。若[x>0，]则控制信号控制最终输出模块直接输出函数逼近模块中[x]对应的输出[fx；]若[x

1.1.4激励函数模块分析

按照上述设计方法完成激励函数模块的设计后，对激励函数模块进行功能仿真和误差分析。从-8～8以0.001为间隔生成测试数据输入到激励函数模块，得到的ModelSim仿真结果如图3所示，其各区间绝对误差如表2所示。从中可以看出，各区间的误差值均很小且误差分布较为平均，体现出良好的逼近效果。

1.2自适应训练模块设计

网络训练是神经网络功能实现的基础。神经网络随着训练的进行，权值逐渐改变，误差逐渐减小，但如果网络训练不能适时结束，造成过度训练，则网络性能会变差。然而对网络训练的控制在硬件上并不易设计，故很多工作未讨论这一点或简单的以固定周期来完成训练。本文提出了一种基于可容忍误差值的自适应网络训练硬件设计方法，可有效的自动控制神经网络训练过程。

分析神经网络的训练过程，每一次输入样本值都会在本次训练完成时得到一个误差值，当误差在可以容忍的范围内可以认为网络已经训练完成。认为在给定的可容忍误差值的情况下，如果连续两次整个样本集输入得到的误差绝对值都要比给定的可容忍误差值要小，则该神经网络训练已经达到最优。根据这个思想，提出利用有限状态机实现自适应网络训练。

如图4所示，有限状态机的状态数是样本集中样本数的两倍，状态机初始为零状态。当某一次训练得到的误差绝对值小于可容忍误差值时，状态机进入第一个状态。若紧邻的下一次训练得到的误差绝对值也小于可容忍误差值，状态机进入下一个状态，否则状态机状态回到第0个状态。当状态机跳转到最后一个状态时，网络训练完成，此时输出控制信号控制权值存储模块停止权值更新，提示信号提示训练完成。该模块的分析需要结合网络中的其他模块，故测试结果在下一节中给出。

2验证和分析

2.1验证平台

根据上述方法，设计了一个1?3?1三层BP神经网络验证其性能。验证平台为Altera公司的EP2C70F896C6。

以[y=cosx]函数为学习对象，从[0～2π]之间以[0.0625π]为间隔选取33个样本组成样本集，随机选取其中25个作为训练样本，剩下8个作为测试样本。神经网络的初始权值和阈值的选取具有一定的随机性，根据网络需要逼近的函数数值大小，输入层到隐含层的初始权值矩阵[W1=[2.5，0.5，-0.3]，]隐含层到输出层的初始权值矩阵[W2=[0.35，0.4，0.3]，]隐含层阈值选为[0.2，0.3，0.4]，输出层阈值选为[0.3]。隐含层的学习率设为0.4，输出层的学习率设为0.3，容忍误差设为0.01。

2.2结果分析

ModelSim仿真得到的结果如图5所示，从图5中可以看出该BP神经网络的训练是自适应的。当网络训练到最优时，产生一个控制信号和一个提示信号以及网络训练的次数，此时权值存储器的值不再变化，训练完成。

25个训练样本集训练的平均误差为0.003，分析8个测试样本集的误差，如表3所示。从表3中可以看出，其误差与训练数据的误差大体相当且均很小。计算测试样本的平均相对误差为0.6%，小于1%，说明该方法实现的基于FPGA的BP神经网络精度较高。

将该网络下载至Altera公司EP2C70F896C6的FPGA中，其最高时钟频率为82.3MHz，可见该方法具有运行速度快的优点。将该神经网络资源占用情况与已有相关工作的资源占用情况作对比，如表4所示。虽然其中各设计的规模和平台有所差异（如1Slice≈4LEs），但仍可估算出即便添加了自适应训练模块，本设计对资源的占用依然较低。

从表5中可以看到，当学习对象不同时，网络训练的次数也不同，实现了训练过程的自适应。由此亦可推至，若采用传统的预设固定次数的方式完成训练，则对于不同学习对象难免会造成训练不充分或过度训练的情况，从而影响网络的性能。因此，该表也进一步证明了该设计自适应训练的优越性。

3结论

本文以典型的BP神经网络为例，提出了一种自适应训练的神经网络FPGA设计方法。通过对Sigmoid激励函数基于对称性做分段拟合减少了资源占用，使用基于可容忍误差完成了网络训练自适应。该方法设计的神经网络具备训练可控、资源占用低、精度高的优点。此方法不仅适合于BP网络，也可推广至采用Sigmoid函数及需要训练控制的其他类型的神经网络。

注：本文通讯作者为常胜。

参考文献

[1]蒋宗礼.人工神经网络导论[M].北京：高等教育出版社，2001：15?16.

[2]薛维琴，李莉华，戴明.基于FPGA的人工神经网络系统的实现方法[J].电子设计工程，2010，18（9）：151?154.

[3]李利歌，阎保定，侯忠.基于FPGA的神经网络硬件可重构实现[J].河南科技大学学报（自然科学版），2009，30（1）：37?40.

[4]张海燕，李欣，田书峰.基于BP神经网络的仿真线设计及其FPGA实现[J].电子与信息学报，2007，29（5）：1267?1270.

[5]VALLSJ，KUHLMANNM，PARHIKK.EvaluationofCORDICalgorithmsforFPGAdesign[J].JournalofVLSIsignalprocessing，2002，32（3）：207?222.

神经网络过拟合的表现范文篇2

［关键词］主成分分析；贝叶斯正则化；BP神经网络；预测

［中图分类号］P338.9［文献标识码］A［文章编号］1008―1763(2011)06―0042―04

Abstract:Wechoosefinancialincome,financialexpenditure,totalretailsalesofconsumergoods,actuallyusedforeigninvestment,totalimportandexportvolumeandsocialfixedassetsinvestment,suchassixfactors,whichhaveasignificanteffectonGDP.AforecastingmodelbasedonprincipalcomponentanalysisandBayesianregularizationBPneuralnetworkwasestablishedbyusingtheChinesemacroeconomicdatain1985~2008,andwasappliedtopredicttheGDPofChina.TheempiricalresultsshowthattheprincipalcomponentanalysisandBayesianregularizationareutilizedmodifyBPneuralnetwork,whichcansimplifynetworkstructureandstrengthengeneralization.Comparedwithothercommonlyusedmethodsofforecasting,thismethodhassimpledatainput,fastconvergencerate,smoothfittingcurve,andthereissignificantadvantageinthepredictionaccuracy.

Keywords:principalcomponentanalysis;Bayesianregularization;BPneuralnetwork;prediction.

一引言

GDP(国内生产总值)是衡量国民经济发展情况最重要的一个指标，也是经济运行状况的综合反映。自1985年以来，GDP的核算已经成为我国经济管理部门了解经济运行状况的主要手段和制定经济发展战略、规划、年度计划以及各种宏观经济政策的主要依据。因此，如何采用科学的方法来预测GDP，已成为经济学界研究的主要课题。目前，预测GDP的方法很多，主要有回归预测法［1］、时间序列预测法［2-4］、灰色预测法［5］［6］、马尔可夫预测法［7］以及人工神经网络预测法［8-12］等。前面四种方法属于传统的预测方法，它们大都是对变量之间的因果关系进行分析，实际应用中存在多重共线性和序列相关等问题，而且不可避免的丢失了信息，模拟效果不佳，预测精度难以令人满意。而人工神经网络是用来模拟人脑结构及智能特点的一个前沿研究领域，它可以通过网络学习达到其输出与期望输出相符的结果，具有很强的自适应、自学习和纠错能力。人工神经网络有多种模型，其中BP神经网络模型最成熟，其应用也最为广泛。但BP算法在本质上是属于一种非线性的优化方法，存在学习时收敛时间较长，易陷入局部极小点等缺点［10］。近年来，有学者把几种预测方法综合起来使用，得到了比单一预测更好的预测结果［13-15］。本文用主成分分析方法简化BP神经网络的输入单元数，用贝叶斯正则化算法提高网络的泛化能力，建立了主成分贝叶斯正则化BP神经网络预测模型，并在此基础上对我国的GDP进行了为期三年的预测和分析。与此同时，还与几种常用的预测方法进行了比较研究，实证结果表明：本文建立的模型有较强的仿真与预测能力。

二主成分贝叶斯正则化BP神经网络

（一）主成分分析法

主成分分析法是从所研究的多个指标中，求出几个新指标，这些指标可以综合原有指标的信息，且彼此间不相关的统计分析方法。其原理为：设有p个指标X1,X2,…,Xp，作指标的线性组合

Z1=a11X1+a12X2+…+a1pXp,

Z2=a21X1+a22X2+…+a2pXp,

……………………

Zp=ap1X1+ap2X2+…+appXp,

其中组合系数aij满足：

（1）a2i1+a2i2+…+a2ip=1,i=1,2,…,p

（2）Z1是X1,X2,…,Xp的一切线性组合中方差最大的；Z2与Z1不相关，且在X1,X2,…,Xp的一切线性组合中方差最大；……；Zp与Z1，Z2，…，Zp－1都互不相关，且在X1,X2,…,Xp的一切线性组合中方差最大。

若X=(X1,X2,…,Xp)T的协方差阵D(X)的p个特征根为λ1≥λ2≥…≥λp>0，l1,l2,…,lp为相应的标准化特征向量，则第i个主成分

Zi=lTiX,(i=1,2,…,p)

称λi∑pj=1λj为主成分Zi的贡献率，∑mi=1λi∑pj=1λj为主成分Z1,Z2,…,Zm的累计贡献率。累计贡献率越大，损失的数据信息就越少，通常取m使累计贡献率达到70%～80%以上。

(二）贝叶斯正则化BP神经网络

BP网络是一种采用误差反向传播算法的前馈网络，通常由输入层、隐含层和输出层构成，层与层之间的神经元采用全互连的连接方法，通过相应的网络权系数相连，每层内的神经元没有连接。权值不断调整的过程，就是网络的学习过程，此过程一直进行到网络的输出误差减少到可以接受的程度，或进行到预先设定的学习次数为止。

尽管BP网络具有很强的非线性映射能力，网络中间层各层的处理单元数及网络学习系数可根据具体情况任意设定并获得不同的性能，但BP算法是一种梯度下降法，算法性能依赖于初始条件，学习过程易陷于局部极小，且它的学习速度、精度和网络推广能力等都较差，不能满足应用的需要。所以，我们采用贝叶斯正则化的BP网络算法，一般算法以均方误差函数为目标函数，权值问题不能得到优化，而贝叶斯正则化在目标函数中增加权值这一项，并用贝叶斯方法自动调节参数，优化网络结构，从而提高网络的泛化能力。

贝叶斯正则化的BP网络算法的基本思想是［16］［17］：

给定一组训练样本S={(p1,t1),(p2,t2),…,(pm,tm)}，神经网络学习的目的是寻找能有效逼近该组样本的函数f，使误差函数最小化，一般情况下，神经网络的训练误差函数采用均方误差函数：

ED=1n∑ni=1ti－ai2

这里n为样本数，ti为期望输出值，ai=fpi为网络的实际输出值。

为了提高泛化能力，可以在目标函数里加上网络权值平方的算术平均值，即目标函数变为：

F=βED+αEW

其中EW=1m∑mi=1w2i为网络权重的平方和，wi是神经网络连接权值，m为神经网络连接权的个数，α,β是目标函数的参数。贝叶斯正则化方法可以在网络训练过程中自适应地调整参数α,β的大小，在保证网络误差平方和最小的前提下，能够有效地控制网络的复杂度，从而显著地提高网络的泛化能力。

三实证研究

在参考已有文献的基础上选取对GDP有显著影响的6个因子：财政收入(FR)，财政支出（FE），消费品零售总额（TRG），实际利用外资（AUC），进出口总额（TIE），全社会固定资产投资（FA）（数据来源于1985―2008年《中国统计年鉴》）。不难看出：上述指标之间的相关性较大，信息重叠较多，不宜直接用BP网络建模，先采用主成分分析法消除指标间的重叠信息，获得主要的综合指标。

(一）主成分的提取

由原始数据可得到主成分的特征值及方差贡献率（如表1），主成分的贡献率表示该主成分反映原指标的信息量，累积贡献率表示相应几个主成分累积反映原指标的信息量。由表1可知，前两个主成分的贡献率分别为94.483%、5.199%，累积贡献率达到了99.683%，表明前两个主成分涵盖着所有指标99.683%的信息量，于是选取前两个主成分来进行分析。

（二）BP神经网络模型的确定

BP神经网络模型主要由输入层、隐含层、输出层以及各层之间的传输函数等组成。在设计网络结构时，一般先考虑一个隐层，当一个隐层的节点数很多仍不能改善网络性能时，才考虑再增加一个隐层。由于本文的样本容量少，所以只选取一个隐含层；输入层为2，即为主成分的个数；输出层为1，即为历年的GDP；隐含层和输出层的转移函数分别采用S型正切函数tansig和线性函数purelin。

隐含层的神经元数目选择是个十分复杂的问题，往往需要根据设计者的经验和多次实验来确定，因而不存在一个理想的解析式来表示。隐含层单元的数目与问题的要求、输入输出单元的数目都有着直接关系。若数目太少，则网络所能获取的用以解决问题的信息太少；若数目太多，不仅增加训练时间，而且误差不一定最小，也会导致容错性差、不能识别以前没有训练过的样本以及出现过度拟合等问题，因此，合理选择隐含层单元数非常重要。利用边界层确定隐含层单元数的方法可以得到本文数据网络隐含层单元数的范围是6,11，采用1985年到2005年共21组数据进行BP网络训练，2006年到2008年共3组数据进行测试。发现当隐含层节点数为8时，各项预测误差最小，说明对这组数据而言，当输入节点为2，输出节点为1，隐含层节点为8时，网络具有较好的预测能力。

（三）贝叶斯正则化BP神经网络的训练、仿真与预测

选定BP神经网络的结构后，利用神经网络工具箱可得到如下的训练过程图：

从训练结果可以看出，网络经过69次就达到拟合精度9.78429e-005，有效参数个数为15.5，达到理想状态，从网络的误差图也可以看出，网络的收敛速度快，学习效率高。

下表是经过训练后的网络对于样本的仿真值，由表2可以看出：21组训练样本的最大相对误差为-1.88%，说明训练后的网络对于训练样本而言性能是优良的，这是BP网络共有的优点。通过适当调整参数，训练后的网络能对训练样本无限地接近。用训练后的网络对测试数据进行预测（见表3）：

由表2和表3可以看出：对前21组样本拟合的最大相对误差为-1.88%，对后3组样本预测的最大相对误差为4.02%，而最小相对误差仅为0.52%。一般来说，若误差在5%左右，则表明拟合效果与预测效果良好。

四与其它预测方法的对比分析

为了进一步说明本文所用方法的预测效果，现将它与如下几种预测方法作对比分析。为简便起见，我们把本文所用的预测方法称为方法一。

方法二：不先提取主成分，而是直接使用原始数据作为网络输入。网络参数的设置同方法一，即精度为1e-4，最大迭代次数为10000，隐含层节点数选为8；

方法三：不用贝叶斯正则化算法，而改用一般的梯度下降法；

方法四：不用贝叶斯正则化算法，而改用LM算法；

方法五：ARIMA法；

方法六：多元回归法；

方法七：指数平滑法。

上述七种预测方法的预测结果及相对误差如下表：

从表4可以看出，方法二的最大相对误差为4.99%，而最小相对误差也有1.54%，大于方法一的相对误差，可见预测效果要差一些，表明精简输入后的网络对样本信息有更好的概括，对测试数据有更好的预测能力。

通过训练样本发现：一般的梯度下降法，收敛缓慢，经过10000次训练，样本误差仍然不能达到期望的1e-4，在同等训练条件下，一般的梯度下降法训练精度不够，拟合曲线不光滑，对2007年我国GDP的预测，相对误差为16.38%，三年平均相对误差为11.2%，预测效果较差。

改进后的LM算法，收敛速度快，经过8次训练，就使网络误差达到了4.86824e-005，但LM算法的拟合曲线极不光滑，虽然对2006年的预测，相对误差仅为0.06%，但对于2007年，相对误差便上升到16.32%，三年平均相对误差也达到了10.25%，出现了过度拟合。存在过度拟合的网络虽然训练残差较小，但结构臃肿，并未得到足够的信息，这会导致对于许多未知数据的预测不起作用，泛化能力差，实际应用性差。

而使用贝叶斯正则化的BP网络，收敛速度快，仅经过69次训练就使网络误差达到了期望值，预测值中最大相对误差仅为4.02%，且拟合曲线光滑，贝叶斯正则化算法的预测效果明显优于一般的梯度下降法和LM算法。

标准BP算法收敛速度慢是限制其广泛应用的主要原因，LM算法收敛速度快，但容易导致过度拟合，预测效果不佳。

从表4也可以看出，ARIMA法、多元回归法以及指数平滑法的预测效果不及方法一。实际上，ARIMA预测方法应用的前提是假定事物的过去会同样延续到未来，但影响经济增长的因素非常复杂，它不仅受国家宏观经济政策的影响，而且也会受众多偶然的外部冲击和自然因素的影响。因此，依靠其历史数据建立起来的时间序列预测模型的预测精度必然受到影响。多元回归模型则对以往的数据要求比较高，模型的建立需要大样本且要求样本有较好的分布规律，预测的结果是由每一个影响因素决定的。因此，一旦影响经济增长的某一个因素发生了结构性的变化，依靠历史数据建立起来的回归预测模型的精度也必然受到影响。指数平滑模型是一种特殊的ARIMA的模型，即IMA(1，1)，因为ARIMA模型的拟合综合考虑了序列的趋势变化、周期变化及随机干扰，并借助模型参数的调整最终使拟合残差不再包含可供提取的非随机信息成分，成为白噪声或近似白噪声，所以，多数情况下，ARIMA方法的预测效果要优于传统的指数平滑法。

五、结论

本文利用主成分分析和贝叶斯正则化BP神经网络方法对我国宏观经济数据进行了研究，BP网络的“黑箱”特性使得人们难以理解网络的学习和决策过程，不能明确获得内部权值所反映的学习信息，这对我们准确地把握经济现象的本质是个阻碍，本文使用了6个对经济增长影响较大的变量，通过主成分分析后简化为两个主成分，这两个主成分解释了所有变量99.683%的信息，再通过BP网络建立映射关系，得到相应年份的仿真与预测值，但无法知道是哪个或哪些变量对经济增长起怎样的作用，我们主要是利用这一模型对历史数据进行模拟，将目前并不清晰的信息体现在模型中，积累这些未知的知识，从而做出更为准确的预测。通过与几种常用的预测方法的对比分析发现：本文所用的方法数据输入简便，收敛速度快，拟合曲线光滑，泛化能力强，且在预测精度上有明显的优势。

［参考文献］

［1］胡艳国，武友新，江恭和.支持向量机在GDP回归预测中的应用研究［J］.微计算机信息，2007,23(11):17-19.

［2］华鹏，赵学民.ARIMA模型在广东省GDP预测中的应用［J］.统计与决策，2010，(12):166-167.

［3］许阳干.广西GDP的时间序列分析与预测模型［J］.沿海企业与科技，2010，(7):54-57.

［4］王春峰，宋.混沌时间序列分析法在生产总值预测中的应用分析［J］.天津大学学报（社会科学版），2007，9(2):137-139.

［5］穆昭光.灰色预测模型在江苏省GDP预测中的应用分析［J］.现代商贸工业，2009,22:32-33.

［6］户孝俊，马德山，贾田田.灰色GM(1,1)预测模型及其在甘肃省GDP预测中的应用［J］.甘肃农业，2010，(5):25-26.

［7］吴隽，陈长彬.东南亚各国人均GDP的马尔可夫法预测［J］.番禺职业技术学院学报，2007，6(4):26-31.

［8］张兴会，杜升之，陈增强，袁著祉，莫荣.主成分分析法在神经网络经济预测中的应用［J］.数量经济技术经济研究，2002，(4):122-125.

［9］欧邦才.基于BP神经网络的经济预测方法［J］.南京工程学院学报（自然科学版），2004，2(2):11-14.

［10］陈志高.遗传算法和BP神经网络在GDP预测中的应用［J］.计算机与数字工程，2009，37(9):172-175.

［11］赵秀恒，李明，李昆山.BP神经网络在GDP预测中的应用研究［J］.河北经贸大学学报（综合版），2006，6(3):90-93.

［12］柯年前，张吉刚.基于主成分分析和BP网络的我国GDP预测。科技创业月刊，2008，(8):107-108.

［13］雍红月，包桂兰.组合时间序列ARMA模型在经济预测中的应用――内蒙古十一五期间GDP预测［J］.数学的实践与认识，2008，38(21):19-23.

［14］王莎莎，陈安，苏静，李硕.组合预测模型在中国GDP预测中的应用［J］.山东大学学报（理学版），2009，44(2):56-59.

［15］梁文光.广东省GDP时间序列预测――基于神经网络与ARIMA模型［J］.技术和市场，2010，17(6):7-9.

［16］武妍，张立明.神经网络泛化能力与结构优化算法研究［J］.计算机应用研究，2002,(6):21-25.

［17］王飞.基于贝叶斯向量自回归的区域经济预测模型:以青海为例［J］.经济数学,2011,28(2):95-100.

神经网络过拟合的表现范文篇3

关键词：人工神经网络；柚皮；总黄酮；提取

中图分类号：S666．3；R284．2文献标识码：A文章编号：0439－8114（2011）10－2088-04

ApplicationofArtificialNeuralNetwork（ANN）ontheExtractionofFlavonoids

fromPomeloPeel

HUANGHua1，LIWei-ran2

（1．Departmentofchemistryandbiology，Hezhouuniversity，Hezhou542800，Guangxi，China；

2．DepartmentofEducationtechnologycenter，Hezhouuniversity，Hezhou542800，Guangxi，China）

Abstract：Singlefactortestsandorthogonalexperimentsweretakentoacquireoptimumextractioncraftofflavonoidsfrompomelopeel；andthealcoholconcentration，solventamount，extractiontemperatureandextractiontimewereconsideredtobeinfluencingfactors．Theresultsof20singletestsand9orthogonalexperimentswereusedastrainingsamplestodesignandtraina4－5－1three－layersBPneuralnetwork．Thenthe625designedextractionconditionswaspredictedbytheterminativeneuralnetwork；and3combinationsofextractionconditionswhichcouldbringabouthighyieldofflavonoidswereacquired．ThestudyresultsshowedthatthecraftacquiredfromANNcouldobtain5．4％moreflavonoidsthanthatoforthogonalexperiments．

Keywords：Artificialneuralnetwork；pomelopeel；flavonoids；extraction

人工神经网络（Artificialneuralnetworks，ANN）是一种模仿人类大脑思维的仿生算法，它既可模仿人的逻辑思维，又可模仿人的形象思维，是典型的非参数数据处理方法［1，2］。人工神经网络能通过学习自动掌握和挖掘隐藏在事物内部的、不能用明确数学表达式表示的“灰箱”或“黑箱”关系。典型的人工神经网络的结构见图1，信号由输入层输入网络，经过转移函数向前传播至隐含层，隐含层输出的信息再经过转移函数传播到输出层，最后给出输出结果。

由于人工神经网络非常适于处理非线性问题，在食品工业及其他行业获得了广泛的应用。在工艺建模及优化、过程控制及预测等方面均有成功应用的例子［3］。如廖孙启［4］在赖氨酸发酵动力学的基础上，结合模式识别和人工神经网络对发酵过程进行建模并寻找最优点，计算所得优化工艺参数用于实际生产可提高产率，缩短周期并提高生产效率。黄明志等［5］利用BP网络和RBF网络对红霉素的发酵过程进行预估，经训练后的神经网络可在线预估出红霉素效价、葡萄糖浓度、NH2－N浓度、丙醇浓度和菌体浓度等。蒋益虹等［6］将人工神经网络与传统正交试验方法相结合，获得了红曲杨梅果酒发酵的最佳工艺并应用于实际生产中，取得了较好的效果。朱近等［7］在试验数据的基础上采用BP神经网络来建立全麦饮料配方试验的数学模型并用C语言模拟全面试验来选择配方。

正交试验法由于其直观、简单、有效，正在获得日益普遍的推广应用。它是由试验因素的全部水平组合中，挑选部分有代表性的水平组合进行试验的，通过对这部分试验结果的分析了解全面试验的情况。但因为试验成本和其他因素，正交试验的次数有限，其得到的试验结果只能说明大致情况，仍然具有一定局限性。

若将正交试验的结果用于训练人工神经网络，然后在此基础上对全部水平组合进行预测，则既能达到全面试验的效果，又不会增加试验成本。本研究将柚皮总黄酮提取的正交试验结果用于训练BP人工神经网络，然后用训练好的网络对设计的625种工艺组合进行预测，找到了更加合理的提取工艺。该方法具有快速、准确和低成本的特点，值得推广。

1材料与方法

1．1材料

1．1．1柚皮普通柚皮，收集于广西贺州市农贸市场，洗净，切分，在60℃干燥后粉碎，过40目筛。保存备用。

1．1．2试剂芦丁标准品，中国药品生物制品检定所；其他试剂均为分析纯。

1．1．3仪器FW80微型高速万能试样粉碎机，河北省黄骅市新兴电器厂；LA204电子天平；常熟市百灵天平仪器有限公司；VIS－723型可见分光光度计，上海第三分析仪器厂。

1．2方法

1．2．1柚皮总黄酮的提取工艺准确称取柚皮粉末5．00g置于提取罐中，加入一定量乙醇水溶液，在设定温度下浸提，每个样品提取两次，合并提取液。离心过滤得柚皮的乙醇提取液。试验方案如表1所示。先按照表1所设计的单因素试验方案，选出每个因素的最佳水平范围，然后据此设计4因素3水平正交试验。

1．2．2标准曲线制作精确称取经60℃干燥至恒重的芦丁标准样品20．0mg，用60％乙醇溶液溶解并定容至100．00mL，摇匀，得0．200mg／mL芦丁标准溶液。准确吸取芦丁标准溶液0、1、2、4、6、8、10mL，分别置于25mL比色管中，分别加5％NaNO21mL，摇匀，放置6min后分别加10％Al（NO3）31mL，摇匀，放置6min，再分别加1％NaOH10mL，摇匀，用60％乙醇溶液定容至刻度，放置15min后，以空白为对照，于510nm波长处测定吸光度，以芦丁浓度C（mg／mL）对吸光度A作标准曲线，得回归方程为：A＝0．0099C＋0．0014，r＝0．9981。

本文为全文原貌未安装PDF浏览器用户请先下载安装原版全文

1．2．3柚皮总黄酮含量检测精密吸取样品液1mL，置于10mL容量瓶中，用60％乙醇定容。按1．2．2标准曲线的制备方法测定吸光度，根据上述回归方程，计算出样品中总黄酮的含量。每个样品测3次，取平均值。

1．2．4人工神经网络设计人工神经网络设计应用MATLAB6．5软件。采用三层BP神经网络，分别将4个试验因素作为人工神经网络的输入，总黄酮得率作为输出，因此神经网络的输入层定为4个神经元，输出层神经元为1个。第一层的转移函数是tan－sigmoid，输出层的转移函数是linear。通过多次模拟试验，调整网络参数，以提高网络学习和预测能力。

2结果与分析

2．1单因素试验结果分析

单因素试验结果分别如图2、图3、图4和图5所示。从图2可以看出，在乙醇体积分数为60％时柚皮总黄酮得率最高，继续增加乙醇体积分数反而使总黄酮得率下降。由图3可以看出，当使用20倍数溶剂提取时比10倍溶剂提取的总黄酮得率明显提高，继续增加溶剂用量则没有明显作用，说明使用20倍左右的溶剂即能使绝大多数总黄酮浸出。图4表明，提取温度低于60℃时温度的提高能增加柚皮总黄酮浸出。但温度高于60℃后总黄酮得率反而下降。可能由于温度的升高加速了总黄酮损失。图5说明，提取的前2.0h，柚皮总黄酮的溶出速度较快，浸提2.0h后，溶出速度逐渐下降。溶质的浸出过程是一个传质过程，随着浸出时间延长，传质推动力降低，因此浸出速度下降。由图5可以看出，柚皮总黄酮的浸出时间为2.0h较合适。

2．2正交试验结果分析

根据单因素试验结果，设计4因素3水平正交试验。因素与水平设计见表2。正交试验结果如表3所示。表3显示，各因素对总黄酮得率影响的大小顺序为A＞B＝D＞C，即乙醇体积分数＞溶剂用量＝提取时间＞提取温度。最优浸提工艺组合A2B2D3C3，即乙醇体积分数为60％，溶剂用量为20mL／g，提取温度为65℃，提取时间为2．5h。考虑到65℃和60℃的提取温度对柚皮总黄酮得率并无明显影响，因此选择提取温度为60℃以节约能源。

以上述最佳工艺组合对柚皮总黄酮进行验证试验，结果总黄酮得率为1．84％，高于正交试验出现组合中的最高得率。证明了正交试验的有效性。

2．3人工神经网络优化提取工艺

2．3．1网络参数优化以已经获得的29组单因素试验和正交试验结果作为训练样本对网络参数进行优化，以内部交叉验证法检验网络训练效果。为使网络获得良好的收敛性，数据在输入之前全部进行归一化处理。以网络拟合残差为考察指标，通过改变网络参数进行拟合试验，优化网络参数。隐含层节点数、学习速率和学习次数对网络拟合残差的影响分别如图6、图7和图8所示。

图6说明，隐含层节点数对网络的预测能力具有较大影响。隐含层节点数过少，网络预测能力不足，会使拟合残差增加；而隐含层节点数过多，网络难于收敛，同样会增加拟合残差。经多次试验，隐含层节点数确定为5个。学习速率对网络的训练同样有重要影响。从图7可以看出，一开始，随着学习速率增加，拟合残差降低，而后随着学习速率增加，网络拟合残差急剧增加。因为过小的学习速率容易使网络陷入死角，无法达到学习目标。而过大的学习速率又使网络拟合残差增加，同时难于收敛。学习速率定为0．05较合适。从图8可以看出，当学习次数超过2000次时，拟合残差不再降低。超过2000次以后的学习对网络的性能没有提高，属于无效学习。综合以上结果，确定网络隐含层节点数为5个（即网络结构为4－5－1型），学习速率为0．05，学习次数为2000次。

2．3．2网络预测经过对自己设计的625种工艺组合进行模拟和筛选，找到其中预测结果较高的3种组合，其提取工艺参数和预测结果（总黄酮得率）如表4所示。由表4可以看出，筛选的3种组合的实测结果均高于正交试验所得的最佳组合。综合节能和环保等方面考虑，最后决定采用第一种组合作为最后采用的提取工艺。即乙醇体积分数为55％，溶剂用量为20mL／g，提取温度为62．5℃，提取时间为2.0h，柚皮总黄酮得率为1．945％，比正交试验最优组合提高5．7％。

3结论与讨论

以乙醇体积分数、溶剂用量、提取温度和提取时间为考虑因素，通过4因素3水平正交试验得到了柚皮总黄酮的优化提取工艺。在正交试验的基础上，通过设计和训练人工神经网络，对多种工艺组合进行预测，最后得到了柚皮总黄酮提取的最佳工艺组合，比正交试验得到的总黄酮得率提高5．7％。

正交试验是研究多因素多水平的一种设计方法，是做工艺优化时广泛采用的经典的方法。正交试验根据正交性从全面试验中挑选出部分有代表性的点进行试验，是一种高效率、快速、经济的试验设计方法。然而，正交试验不能完全代替全面试验。以正交试验结果为基础，设计和训练人工神经网络，然后利用训练好的网络对所有可能的组合进行预测，就可以实现全面试验，从而得到最优的工艺条件，同时还可以节约大量时间和成本。该方法是一种全新的工艺优化模式。

参考文献：

［1］殷勇．人工嗅觉系统在农产品质量检测中的应用研究［D］．镇江：江苏理工大学，1999.

［2］殷勇，田先亮，易军鹏，等．人工嗅觉技术在酒类鉴别中的应用现状与展望［J］．食品科学，2003，24（8）：204－206．

［3］李琳，赵谋明，张黎．人工神经网络在食品工业中的应用［J］．食品研究与开发，2005，26（1）：13－16．

［4］廖孙启．赖氨酸发酵工艺参数优化［J］．四川食品与发酵，2001（2）：36－40．

［5］黄明志，杭海峰，储炬，等．人工神经网络在红霉素发酵过程状态预估中的应用［J］．华东理工大学学报，2000，26（2）：162－164，176．

［6］蒋益虹，冯雷．人工神经网络方法在红曲杨梅果酒发酵工艺优化中的应用［J］．农业工程学报，2003，19（2）：140－143．

［7］朱近，朱新星．B－P神经网络在全麦饮料配方设计中的应用［J］．食品科学，1996，17（6）：3－7．