基于神经动力系统求解广义非线性互补问题的优化方法
时间：2023-02-16 13:40:06 来源：柠檬阅读网 本文已影响 人 
许文杰,欧宜贵
(海南大学 理学院,海口 570228)
广义非线性互补问题(记为GNCP),是指寻找一个点x∈Rn,使得下式成立
G(x)≥0,F(x)≥0,G(x)TF(x)=0,
(1)
其中,F和G:Rn→Rn是连续函数.当G(x)≡x时,GNCP变为通常的非线性互补问题.
由于数学、经济、管理和工程中的许多问题都可以表述为非线性互补问题[1],近几十年来,人们对求解非线性互补问题的数值方法的兴趣与日俱增.迄今为止,求解问题(1)的主要方法是迭代法(如内点法、减势法、非光滑方程法、磨光方程组法以及投影类方法等),详见文献[2-4].
众所周知,工程应用中的许多问题如信号处理、系统辨识、机器人运动控制等[5-6],通常包含时变参数,因此必须实时求解以便优化动态系统的性能.这样的实时应用问题,对计算时间提出了严格要求,使得上述所说的数值方法不太有效,而结合了神经网络和动力系统的神经动力系统模型方法是处理这些优化问题的一种有效方法.目前,已有许多神经动力系统模型被提出用于解决优化问题,并取得了很好的结果[7-10].
最近,已有学者研究并提出了求解非线性互补问题的神经动力系统模型优化方法,例如:XIA和WANG[11]提出了一种可用于求解非线性互补问题的神经动力系统模型(记为GPNN):
其中F和G是连续可微的,M是正对角矩阵.然而GPNN的收敛性分析是建立在F(x)和G(x)的雅可比矩阵存在,并在分析其稳定性时要求F(x)+G(x)在Rn中有上界,从而缩小了GPNN的适用范围.之后,文献[12]提出了一种基于最速下降型的神经动力系统模型,但是该模型只能用于解决G(x)≡x时通常的非线性互补问题,且模型结构复杂,不容易实施.因此,如何构造结构简单、稳定性好且容易实施的神经动力系统模型来处理这类特殊优化问题就显得非常必要.
基于上述讨论,本文提出一种求解广义非线性互补问题的神经动力系统模型方法.其基本思想是:基于原始优化问题构造某一微分方程,使得该系统的平衡点和原问题的局部最优解相符合.然后再选取适当的数值方法来求解该系统,从而获得原优化问题的最优解或近似最优解.该方法的优势在于可以系统地研究微分系统解的瞬态性能和极限行为,从而追踪初始点与极限点之间的连续运动轨迹.并且它在分析动力系统的稳定性时采用了不同以往的新策略,从而避免使用传统的Lyapunov函数,使得人们利用这类新方法来研究最优化问题时获得了较先前更好的理论结果以及更具竞争力的数值表现性能.
本文结构如下:在第1节中,给出了一些预备知识;第2节中,提出了求解问题(1)的神经动力系统模型;第3节分析了神经动力系统模型的收敛性和稳定性;第4节给出了数值计算结果,验证了该方法的有效性,并与文献[11]的数值方法进行了对比,最后得出结论.
定义1设Ω是Rn上的非空闭凸集.在欧氏范数下,点ν∈Rn在Ω的投影定义为[11]:
引理1对于投影算子PΩ,有[13]
(ν-PΩ(ν))T(PΩ(ν)-u)≥0,∀ν∈Rn,u∈Ω,
‖PΩ(ν)-PΩ(u)‖≤‖ν-u‖,∀ν,u∈Rn.
定义2若有[14]
[F(u)-F(u*)]T[G(u)-G(u*)]≥0，∀u∈Rn,
(2)
则称函数F在点u*∈Rn处是G-单调的.特别地,若有
[F(u)-F(ν)]T[G(u)-G(ν)]≥0,∀u,ν∈Rn,
则称函数F在Rn上是G-单调的.若有
[F(u)-F(u*)]T[G(u)-G(u*)]≥γ‖u-u*‖,γ>0,∀u∈Rn,
(3)
则称函数F在点u*∈Rn处是G-强单调的.注意,当G(x)=x时，G-单调(G-强单调)就变成了通常的单调(强单调)[14].
为了后面叙述的方便,还需要一阶常微分方程(ODE)：
(4)
的一些知识，其中f是定义在Rn上的一个函数.
如果f(x*)=0,则x*∈Rn是方程(4)的平衡点.
定理1假设函数f:Rn→Rn是连续的.则对t0≥0及x0∈Rn,存在常数τ>t0使得方程(4)总存在一个局部解x(t),t∈[t0,τ).此外,如果f在x0处是局部Lipschitz连续的,那么此解是唯一的;如果f在Rn上是Lipschitz连续的,那么τ可以拓展到+∞.
基于上述预备知识,利用文献[16]的思想方法,提出如下求解问题(1)的ODE系统模型：
(5)
其中Λ=diag{λ1,λ2,…,λn}是对角矩阵,λi>0.根据文献[16]有一个重要结论:x*是(5)式的平衡点⟺x*是问题(1)的解.
注1当β=1时,模型(5)就变为GPNN模型.事实上,β的不同取值对模型的稳定性至关重要,接下来的理论分析与数值模拟实验也验证了这一点.此外,正如前文所述,GPNN模型在收敛性和稳定性分析时要求的条件较强,而本文在分析收敛性时所要条件较弱(详见本文定理2和定理3).
为了简化研究,定义
E(x,β)=Λ{G(x)-PX[G(x)-βF(x)]},β>0,
则系统(5)等价于
(6)
利用引理1,对于任意的x,y∈Rn,有
‖E(x,β)-E(y,β)‖≤‖Λ‖{‖PX[G(x)-βF(x)]-PX[G(y)-βF(x)]‖+
‖G(x)-G(y)‖}≤2‖Λ‖‖G(x)-G(y)‖+β‖Λ‖‖F(x)-F(y)‖.
(7)
引理3对于任给的t0≥0,x0∈Rn,当τ>t0时,存在唯一的连续解x(t),t∈[t0,τ)满足ODE系统(5).此外,如果函数F和G在Rn上是Lipschitz连续的,对于任给的初始点x0,ODE系统(5)有唯一的解x(t),t∈[t0,+∞).
证明因为函数F和G在Rn上是连续的,则它们是局部Lipschitz连续的,这与(7)式表明E(x,β)也是局部Lipschitz连续的.从而由定理1可知,该引理前一部分是正确的.
令LF和LG分别是函数F和G的Lipschitz常数,由(7)式得:
‖E(x,β)-E(y,β)‖≤2‖Λ‖‖G(x)-G(y)‖+β‖Λ‖‖F(x)-F(y)‖≤
(2‖Λ‖LG+β‖Λ‖LF)‖x-y‖,∀x,y∈Rn,
(8)
则E(x,β)在Rn上是Lipschitz连续的.利用定理1,可证明引理3后一部分是正确的.
引理4[12]如果x*是GNCP(1)的解,则
{G(x)-G(x*)+β[F(x)-F(x*)]}TΛ-1E(x,β)≥E(x,β)TΛ-2E(x,β)+
β[F(x)-F(x*)]T[G(x)-G(x*)],∀x∈Rn.
(9)
注2引理4表示对于在x*处的G-单调函数F,有
{G(x)-G(x*)+β[F(x)-F(x*)]}TΛ-1E(x,β)≥E(x,β)TΛ-2E(x,β),∀x∈Rn,
(10)
因此‖E(x,β)TΛ-1‖≤‖G(x)-G(x*)+β[F(x)-F(x*)]‖,∀x∈Rn.
下面分析模型的收敛性和稳定性.为此,建立了一个如下的价值函数:
(x-x*)TΛ-1[βF(x*)+G(x*)],
其中x*是GNCP的解.显然有下式成立,
V(x)=Λ-1[βF(x)+G(x)-βF(x*)-G(x*)].
(11)
定理2设x*是GNCP(1)的解.假设以下条件成立:
(a)F在x*处是G-单调函数;
(b) 水平集L(x0)={x∈Rn|V(x)≤V(x0)}是有界的;
(12)
证明由引理3和条件(c),ODE系统(6)的解存在且唯一.由条件(a)、(6)、(10)、(11)式可得:
G(x*)}TΛ-1E(x,β)≤-E(x,β)TΛ-2E(x,β)≤0,
(13)
这意味着,如果E(x,β)≠0,V(x(t))在t沿着轨迹x(t)单调递减,因此得到
{x(t)|t≥t0}⊂L(x0),
(14)
(15)
由文献[17]中定理4的证明可知,存在一个常数C有
(16)
(17)
(18)
注3对于定理2中的条件(b)是容易实现的.如果函数βF(x)+G(x)是带模μ>0强单调的,则从(11)式和定义3中可以看出,当模μ>0时,V(x)也是带模μ>0强单调的,则V(x)是一致凸函数[18],因此水平集L(x0)是有界的[18].
定理3设x*是GNCP(1)的解.假设以下条件成立:
(a)F在x*处是G-强单调函数;
(b)βF(x)+G(x)是带模μ>0强单调的;
(c)βF(x)+G(x)存在且在Rn上是对称的;
(d)F和G在Rn上是Lipschitz连续的.那么,对于任意t0≥0且x(t0)=x0∈Rn,ODE系统(6)在x*上是全局指数稳定的,其中x*是GNCP(1)的平衡解.
证明由(3)式、引理4和(a)可得
-β[F(x)-F(x*)]T[G(x)-G(x*)]≤-γβ‖x-x*‖2.
(19)
由定理2的证明和注3可知,{x(t)|t≥t0}⊂L(x0)是有界的,则βF(x)+G(x)是有界的,则存在δ1>0,对于任给的s∈Rn,有‖βF(s)+G(s)‖≤δ1.
注意到
V(x)≤V(x0)exp(-λ(t-t0)),∀t≥t0,
(20)
V(x)-V(x*)≥V(x*)(x-x*)+μ‖x-x*‖2,∀x∈Rn.
根据定理3,可以看出β与正对角矩阵Λ中元素λi的大小对模型的稳定性有影响.β与λi的值越大,模型稳定性越好.然而,β的值太大时,模型实施困难,导致运行时间增加,下一节的数值模拟实验将验证这一点.
在本节中,为了验证神经动力系统模型的可行性,选取了以下6个问题来进行数值模拟实验,并测试了β对‖x(t)-x*‖值的影响.对于其中的一些参数,设置如下：reltol为10-3,abstol为10-6,β=10,Λ=1.
例1非线性互补问题:
例2非线性互补问题:
例3非线性互补问题:
F(x)=(arctanx1+x2,arctanx2+x3,…,arctanxn-1+xn,arctanxn)T,
例4非线性方程:
Fi(x)=2xi-sin|xi|,i=1,2,…,n,x∈Rn,
X={x∈Rn|l≤x≤u},l=-100(1,1,…,1)T,u=100(1,1,…,1)T,
通过上述数值模拟实验,可以得到所提出的神经动力系统模型能够有效解决广义非线性互补问题.并且,正如上文所说,β的值越大,模型的稳定性越好,但是当β的值太大时,模型实现困难,会导致运算时间增加.接下来,为了更好地验证模型的优越性,将模型(5)(以下称为GNCP模型)与GPNN模型[11]的运算性能进行比较,具体结果见表1,其中CPU表示以s为单位的运行时间.
通过表1,可以看出GNCP模型的运算性能是优于GPNN模型的.并且,表1中的运行时间也验证了正对角矩阵Λ中元素λ的大小对模型稳定性有影响.
表1 在不同条件下,GNCP模型和GPNN模型的CPU运行时间
本文提出了一种求解广义非线性互补问题的神经动力系统模型.该模型结构简单,易于实施.在一定的条件下,得到了该模型的收敛性和指数稳定性.由于在分析所提出模型的收敛性时没有利用任何形式的雅可比矩阵,因此既能分析更广泛的动力系统,又能简化分析.数值模拟结果表明,该模型具有可行性,能够有效解决所给出的测试问题,可以应用于求解广义非线性互补问题.
猜你喜欢 收敛性单调定理 J. Liouville定理中等数学(2022年6期)2022-08-29单调任意恒成立，论参离参定最值中学生数理化(高中版.高二数学)(2022年3期)2022-04-26聚焦二项式定理创新题中学生数理化(高中版.高考数学)(2021年11期)2021-12-21群体博弈的逼近定理及通有收敛性数学物理学报(2021年5期)2021-11-19数列的单调性新世纪智能(数学备考)(2021年11期)2021-03-08数列的单调性新世纪智能(数学备考)(2020年11期)2021-01-04对数函数单调性的应用知多少中学生数理化·高一版(2019年9期)2019-10-12A Study on English listening status of students in vocational school校园英语·上旬(2019年6期)2019-10-09END随机变量序列Sung型加权和的矩完全收敛性Acta Mathematica Scientia(English Series)(2018年6期)2018-03-01φ-混合序列加权和的完全收敛性Acta Mathematica Scientia(English Series)(2018年6期)2018-03-01
