控制与决策  2020, Vol. 35 Issue (10): 2407-2414  
0

引用本文 [复制中英文]

刘重阳, 韩美佳. 微生物批式流加发酵过程中的时滞最优控制[J]. 控制与决策, 2020, 35(10): 2407-2414.
[复制中文]
LIU Chong-yang, HAN Mei-jia. Time-delay optimal control problem in microbial fed-batch fermentation process[J]. Control and Decision, 2020, 35(10): 2407-2414. DOI: 10.13195/j.kzyjc.2019.0254.
[复制英文]

基金项目

国家自然科学基金项目(11771008);山东省自然科学基金项目(ZR2017MA005, ZR2019MA031)

作者简介

刘重阳(1977-), 男, 教授, 从事最优控制理论等研究, E-mail: liu_chongyang@yahoo.com;
韩美佳(1994-), 女, 硕士生, 从事最优控制理论的研究, E-mail: g_shanmeijia@163.com

通讯作者

刘重阳, E-mail: liu_chongyang@yahoo.com

文章历史

收稿日期:2019-03-06
修回日期:2019-07-08
微生物批式流加发酵过程中的时滞最优控制
刘重阳 1, 韩美佳 2     
1. 山东工商学院 数学与信息科学学院,山东 烟台 264005;
2. 山东工商学院 计算机科学与技术学院,山东 烟台 264005
摘要:考虑到1, 3-丙二醇(1, 3-PD)批式流加发酵过程中的时滞现象, 提出一个非线性时滞微分方程来描述该过程.以终端时刻1, 3-PD的单位时间产量作为性能指标, 同时, 以甘油和碱的流加速度、发酵过程的终端时刻作为控制向量, 建立一个含控制和状态约束的时滞最优控制模型.为了求解该最优控制问题, 首先通过时间尺度变换, 将该最优控制问题转化为具有固定终端时刻的等价最优控制问题; 然后, 应用控制参数化方法, 将等价的最优控制问题用一系列有限维优化问题来近似; 最后, 构造一种改进的粒子群优化方法来求解相应的近似优化问题.数值结果表明, 终端时刻的1, 3-PD的单位时间产量比已有结果提高了约58 %.
关键词非线性时滞系统    控制参数化    改进粒子群算法    批式流加发酵    
Time-delay optimal control problem in microbial fed-batch fermentation process
LIU Chong-yang 1, HAN Mei-jia 2     
1. School of Mathematics and Information Science, Shandong Technology and Business University, Yantai 264005, China;
2. School of Computer Science and Technology, Shandong Technology and Business University, Yantai 264005, China
Abstract: Considering the time-delay in fermentation process, we propose a nonlinear time-delay system to describe the fed-batch process of glycerol bioconversion to 1, 3-propanediol (1, 3-PD). Taking the 1, 3-PD yield of per unit time at the terminal time as the performance index, regarding the feeding rates of glycerol and 1, 3-PD as well as the terminal time as the control variables, we present a time-delay optimal control problem subject to control and state constraints. To solve this optimal control problem, by using time-scaling transformation, we first transform it into an equivalent one with fixed terminal time. Then, the equivalent problem is approximated by a sequence of finite-dimensional optimization problems using the control parameterization method. Finally, an improved particle swarm optimization method is constructed to solve the approximate optimization problem. Numerical results show that 1, 3-PD yield of per unit time at the terminal time increases 58% compared with the previous result.
Keywords: nonlinear time-delay system    control parameterization    improved PSO algorithm    fed-batch fermentation    
0 引言

1, 3-丙二醇(1, 3-PD)是一种无色、无味的粘稠液体, 可以作为单体合成聚酯、聚醚、聚氨酯和杂环化合物等[1].特别地, 以1, 3-PD为单体合成的新型聚酯材料—聚对苯二甲酸丙二酯, 具有优异的回弹性、易染性、抗污性和可生物降解等特性[2]. 1, 3-PD已经被广泛地应用于食品、化妆品、制药等众多领域[3]. 1, 3-PD可以通过化学合成法和微生物发酵法来生产.与化学合成法相比, 微生物发酵法生产1, 3-PD具有条件温和、操作简单、副产物少、绿色环保等优点.因此, 这方面研究正受到国内外越来越多专家和学者的重视[4].

1, 3-PD微生物发酵法有3种发酵方式:间歇发酵、连续发酵和批式流加发酵.批式流加发酵法作为微生物发酵生产1, 3-PD方式之一, 包括间歇和流加两个模式.与其他发酵方式相比, 批式流加发酵具有克服精细化学品生产过程中产生分解代谢物抑制的能力.因此, 批式流加发酵已经被广泛应用到工业化生产1, 3-PD过程中[5-6].在批式流加发酵过程中甘油和碱被分批次地加入到发酵罐中, 以此保持适宜的发酵环境, 提高1, 3-PD的产量.因此, 在批式流加发酵中对甘油和碱的流加速度的最优控制受到广泛关注.文献[7]将流加过程看作脉冲形式, 研究了脉冲最优控制问题.文献[8]研究了批式流加发酵过程的最优多阶段控制问题.针对间歇过程和流加过程之间的切换, 文献[9]研究了批式流加发酵过程最优切换控制问题.但是, 上述最优控制研究都忽略了反应过程中的时滞现象.实际上, 类似于其他实际化工过程, 批式流加发酵过程存在时滞现象[10].因此, 文献[11]研究了批式流加发酵过程的时滞最优切换控制问题.然而, 上述最优控制研究仅以甘油的流加速度为控制变量, 而碱的流加速度通过一个经验比例常数计算得到, 显然这种方法不能保证碱流加速度的最优性.

本文针对批式流加发酵过程中存在的时滞现象, 以甘油和碱的流加速度及发酵过程的终端时刻作为控制向量, 提出一个含控制的时滞微分方程来描述该过程.为了最大化1, 3-PD生产, 以终端时刻1, 3-PD单位时间产量为性能指标, 提出一个含控制和状态约束的时滞最优控制模型.通过时间尺度变换, 将该最优控制问题转换为等价的具有固定终端时刻的时滞最优控制模型.然后, 利用控制参数方法和约束转换技术, 将该等价问题用一系列非线性规划问题来近似.进一步, 提出一种改进的粒子群优化算法求解相应的非线性规划问题.最后通过数值结果表明了所提出算法的有效性.

1 非线性时滞微分方程

在批式流加发酵生产过程中, 甘油和碱被分批次加入到发酵罐中, 为反应提供足够的营养物质和适宜增长的环境.根据实际发酵过程, 本文假设:

(H1):反应器中反应物的浓度是均匀的, 忽略空间分布的不均匀性.

(H2):在批式流加过程中, 只有甘油和碱被加入到发酵罐中.

(H3):在每一个流加过程中, 甘油和碱的流加速度都是有限的、连续可微的并且具有有界的导函数.}

x(t) = (x1(t), x2(t), x3(t), x4(t), x5(t), x6(t))TR6为状态向量. x(t)的分量表示生物量、甘油、1, 3-PD、乙酸和乙醇的浓度及发酵液体积; x(t-τ)为时滞状态向量, τ为一个时滞; x0为给定的初始状态. ϕ(t):RR6为给定的历史函数; u(t) = (u1(t), u2(t))TR2为控制函数, 其分量表示甘油和碱的流加速度.基于假设(H1)~(H3), 本文提出如下非线性时滞微分方程:

(1)

其中: t2i表示发酵过程中间歇模式的开始时刻, t2i+1表示发酵过程中流加模式的开始时刻; t2N+1=T为终端时刻, 且2N+1由终端时刻决定.特别地, 当t∈(t2j, t2j+1], j∈{0, 1, …, N}时, 批式流加发酵过程处于间歇过程且

t∈ (t2j+1, t2j+2], j∈{0, 1, …, N-1}时, 批式流加发酵过程处于流加过程且

(2)

其中: Cs0>0表示甘油的初始注入浓度, D(x(t), u(t))表示t时刻的稀释速率, 定义为

基于文献[12], μ(x(t))为细胞的比生长率, q2(x(t))为底物的比消耗速率, q(x(t))(=3, 4)为1, 3-PD和乙酸的比生成速率, q5(x(t))为乙醇的比生成速率.它们分别定义为

(3)
(4)
(5)
(6)

其中: Δ1为最大比生长率, k1为Monod饱和常数, m2为底物限制条件下底物消耗的维持期, Y2为最大生长速率, k2为底物的饱和常数, Δ2为在底物充分条件下底物消耗速率的最大增量, m为底物限制条件下产物生长的维持期, Y为产物最大产量, k为在底物限制条件下产物形成饱和常数, Δ为在底物充分的条件下产物形成速率的最大增量, d1d2d3d4是用于测定乙醇在甘油上的产率常数.在厌氧条件和pH值7.0下, 上述动力学参数值如表 1所示.

表 1 临界浓度及式(3) ~ (6)中参数值[12]

式(1)中u(t)为控制函数, 设U(t)表示允许控制函数的集合, 定义为

其中: a1, 2j+2, a2, 2j+2, b1, 2j+2, b2, 2j+2(j∈{0, 1, …, N -1})分别表示甘油和碱的流加速度下界和上界. a1, 2j+1, a2, 2j+1, b1, 2j+1, b2, 2j+1(j∈{0, 1, …, N})恒等于零.此时, 任意的由[0, T]映射到R2并且满足u(t)∈ U(t)及u(·)在t∈(ti-1, ti](i=1, 2, …, 2N+1)上连续可微的函数u称为允许控制函数.同时, 终端时刻T也是控制变量, 定义

(7)

其中TminTmax分别为终端时刻的下界和上界.此时, 任意满足式(7)的终端时刻T称为允许终端时刻.

在发酵过程中, 生物量、甘油、1, 3-PD、乙酸、乙醇和发酵液体积存在临界浓度, 超出临界浓度范围细胞将会停止生长甚至死亡.因此, 根据生物学意义需将生物量、甘油和产物的浓度限制在集合W中, 即

(8)

根据时滞微分方程理论[13], 可得如下性质.

性质1   对于给定的u(t)∈ U(t), 有t∈[0, T]和T∈[Tmin, Tmax], 非线性时滞微分系统(1)存在唯一连续解x(·|u, T), 并且x(·|u, T)在[0, T]上是一致有界的.

2 最优控制模型

在批式流加发酵过程中, 生产者期望在终端时刻目标产物1, 3-PD的产量最大化, 同时也期望操作过程费用最小化.因此, 以甘油和碱的流加速度为控制函数, 以1, 3-PD在终端时刻的单位时间产量为性能指标, 本文提出如下最优控制模型:

在最优控制问题(OCP)中, 终端时间不是固定的而是自由变化的, 这使得系统状态对终端时刻产生隐式依赖性, 从而数值求解时滞微分方程变得非常困难.为克服这一困难, 现通过如下时间尺度变换:

t∈[0, T]映射成为s∈[0, 1].

.系统(1)可转化为如下形式:

(9)

进一步, 原来的切换时刻ti变换为si=ti/T.令转换后的系统(9)的连续解为, 则系统的状态约束(8)转化为

(10)

这样, 最优控制问题(OCP)可转化为如下等价形式:

值得注意的是:最优控制问题(EOCP)具有固定的终端时刻.

3 计算方法

对于每个pi≥1, i=1, 2, …, 2N+1, 将时间子区间[si-1, si]划分为具有npi+1个划分点的子区间, 并满足以下性质:

下面通过分段常值函数来近似控制函数:

其中: 为区间上的示性函数, 定义为

定义

则系统(9)成为

(11)

为系统(11)对应于的连续解, 这样, 约束(10)成为

(12)

应用上述控制参数化方法, 最优控制问题(EOCP)可以用如下参数优化问题来近似:

在(EOCP(p))中, 约束(12)为一个连续状态不等式约束.该连续状态约束相当于无限多个点约束, 这使得数值求解(EOCP(p))变得十分困难.为此, 令

则式(12)等价于

其中

下面定理给出了约束G(·, ·)的梯度计算公式.

定理1   对于约束G(σp, T), 其关于参数化控制σpT的梯度为

(13)
(14)

其中

满足如下协态系统:

边界条件为

应用文献[14]中第3章的方法, 易证式(13)和(14)成立, 证明略.

(EOCP(p))可视为一个非线性数学规划问题.许多优化方法, 如基于梯度的优化方法[14-15], 可以用来求解该问题.但是, 基于梯度优化的方法仅能得到问题的局部最优解.为了克服这一局限性, 本文利用粒子群优化算法(PSO)来寻找每一个子问题的最优解, PSO是一种基于群体智能的进化计算方法[16].目前, 粒子群算法在神经网络、优化等领域引起了广泛的关注.在标准的PSO(简记为SdPSO)中, 将优化问题的每一个解都称为一个粒子, 每个粒子都在搜索空间上以一定的速度飞行, 并且根据自己和群体的经验来动态调整飞行速度, 以此保证每个粒子在搜索过程中围绕着更好的解决方案, 向全局最好的位置飞行, 从而使优化问题得到最优解.

SdPSO算法用来处理无约束的优化问题, 但是本文解决的是一个带有控制和状态约束的优化问题.因此, 本文对标准的PSO提出了一些改进策略.为了方便, 后面将改进的粒子群优化算法简记为ImPSO算法.在定理1的基础上, 本文利用约束的梯度提出一个处理状态约束的策略, 同时, 介绍一种新的粒子速度和位置的更新策略.第i个粒子的位置和速度分别用 表示.在第k+1次迭代时, 第i个粒子的迭代方式如下.

1) 速度和位置迭代更新策略.

通过以下迭代公式来更新速度和位置以平衡全局和找到局部最优值:

其中: pbip=(pbi, 1p, pbi, 2p, …, pbi, kp)T是粒子历史最好的位置, gbp = (gb1p, gb2p, …, gbkp)T是全局的最优位置, ri, j1ri, j2ri, j3是在[0, 1]范围内的随机数, c1(k), c2(k)是系数, ω(k)是惯性权重.它们分别定义为

其中: itmax为最大迭代步数, ωmax为惯性权重的最大值, ωmin为惯性权重的最小值.

2) 处理控制出界策略.

假定第i个粒子在k+1迭代的位置的第j个分量违反了边界约束, 则对其重新规定, 即

其中分别表示位置的下界和上界.

3) 处理状态约束策略.

在第k次迭代时, 对于第i+1个粒子检验约束, 如果, 则为可行的参数化控制, 否则沿方向移动.

4) 终止准则.

算法达到最大迭代步数itmax时, 算法终止.

4 数值仿真

为了检验ImPSO算法, 本文通过两个数值例子验证了其有效性, 并将ImPSO算法应用到求解EOCP(p)中.

4.1 数值例子

本文选取文献[17]中Sphere函数和Generalized Rastrigrin函数进行测试, 每个函数的全局最小值为0, 它们的函数表达式如下.

1) Sphere函数

2) Generalized Rastrigrin函数

应用ImPSO算法和SdPSO算法对Sphere函数和Generalized Rastrigrin函数进行求解, 为保证结果的可靠性, 本文对两个函数进行多次求解取平均, 求解结果如表 2所示, 两种算法的收敛性见图 1.图 1中同时给出迭代步数50 ~ 99次的小图, 以便更清晰地显示收敛效果.这里, SdPSO算法参数设置为ω=0.5, c1=c2=2.0, 种群初始粒子个数为50, 最大迭代步数itmax=100, 运行次数为50次. ImPSO算法参数设置为:惯性权重的最大值ωmax=0.9, 惯性权重的最小值ωmin=0.4, π=3.14, 种群初始粒子个数为50, 最大迭代步数itmax=100, 运行次数为50次.由表 2图 1可以看出ImPSO算法的可行性和有效性.

表 2 测试结果
图 1 算法迭代结果
4.2 求解EOCP(p)问题

应用ImPSO算法求解EOCP(p), 本文采用与文献[18-19]中同样的环境设置.反应过程中生物量、甘油、1, 3-PD、乙酸、乙醇的反应初始浓度和初始发酵液体积为x0=(0.111 5 g/L, 495 mmol/L, 0, 0, 0, 5 L)T; 初始甘油流加浓度为Cs0=10 762 g/L.终端时刻的上下界为Tmin=11.00 h和Tmax=24.16 h.根据实验和实际发酵过程, 本文将批式流加发酵过程分为10个阶段(阶段I~阶段X).阶段I结束时刻为5.33 h, 阶段II到阶段X每个阶段采取的策略为每100 s中有5 s、7 s、8 s、7 s、6 s、4 s、3 s、2 s和1 s为流加模式, 其余时间为间歇模式.表 3列出了甘油的流加速度的上下界, 表 4列出了碱的流加速度的上下界.

表 3 在II ~ X阶段的甘油流加速度上下界[20]
表 4 在II ~ X阶段的碱流加速度上下界

应用控制参数化方法及ImPSO算法, 本文得到最优终端时刻T=17.653 7 h.根据批式流加过程, 该终端时刻位于第VIII个阶段, 即IX、X阶段对优化结果不产生影响, 故本文仅绘制了前8阶段甘油和碱的最优流加策略.甘油和碱在I ~ VIII阶段的最优流加策略如图 2所示.特别地, 为了更清晰地显示计算结果, 图 2中小图绘制每个阶段前10 s甘油和碱的最优流加策略.这里, 实线表示甘油的最优流速, 虚线表示碱的最优流速.应用所得的最优流加速度与最优终端时刻, 图 3~图 6分别给出了生物量浓度、甘油浓度、1, 3-PD浓度和发酵液体积随发酵时间的变化情况.

图 2 批式流加发酵过程中甘油和碱的最优流加速度
图 3 生物量浓度随发酵时间的变化情况
图 4 甘油浓度随发酵时间的变化情况
图 5 1, 3-PD浓度随发酵时间的变化情况
图 6 发酵液体积随发酵时间变化情况

应用所得的最优策略, 本文得到终端时刻1, 3-PD单位时间产量为470.483 mmol/h.本文与文献[19]中的实验结果238.33 mmol/h相比提高了约97.4 %.这里, 文献[19]中流加策略为甘油和碱分开流加, 并且它们的流加速度为常值.本文结果也比文献[20]中的结果297.786 mmol/h提高了约58 %.这里, 文献[20]中运用差分演化算法(differential evolution algorithm)对甘油的流加速度进行优化, 同时, 通过经验比例系数得到碱的流加速度.图 7给出了1, 3-PD单位时间产量随发酵时间的变化情况.由图 7可以看出, 终端时刻1, 3-PD单位时间的产量确实比文献[20]中结果有明显提高.图 8给出了本文中算法以及文献[20]中算法的迭代结果, 由图 8可看出, 在相同的迭代步数情况下, 本文设计的粒子群算法比文献[20]的算法能找到更好的目标函数值.

图 7 1, 3-PD单位时间产量随发酵时间的变化情况
图 8 算法迭代结果
5 结论

本文提出一个含有多个控制变量的时滞微分系统来描述1, 3-PD批式流加生产过程.以终端时刻1, 3-PD的单位时间产量为性能指标, 建立了时滞最优控制模型.应用控制参数化、时间尺度转化和约束转化技术, 将时滞最优控制问题转化为一系列非线性规划问题.同时, 本文提出一种改进的粒子群优化方法求解相应的非线性规划问题.数值结果表明:与文献[20]中结果相比, 终端时刻1, 3-PD单位时间产量有显著增加.

参考文献
[1]
Saxena R K, Anand P, Saran S, et al. Microbial production of 1, 3-propanediol: Recent developments and emerging opportunities[J]. Biotechnology Advances, 2009, 27(6): 895-913. DOI:10.1016/j.biotechadv.2009.07.003
[2]
Kurian J V. A new polymer platform for the future sorona from corn derived 1, 3-propanediol[J]. Journal of Polymers and the Environment, 2005, 13(2): 159-167. DOI:10.1007/s10924-005-2947-7
[3]
Kumar V, Durgapal M, Sankaranarayanan M, et al. Effects of mutation of 2, 3-butanediol formation pathway on glycerol metabolism and 1, 3-propanediol production by Klebsiella pneumoniae J2B[J]. Bioresource Technology, 2016, 214(4): 432-440.
[4]
綦文涛, 修志龙. 甘油歧化生产1, 3-丙二醇过程的代谢和基因调控机理研究进展[J]. 中国生物工程杂志, 2003, 23(2): 64-68.
(Qi W T, Xiu Z L. Progress in metabolism and gene regulation mechanism during production of 1, 3-propanediol by disproportionation of glycerol[J]. Journal of Chinese Biotechnology, 2003, 23(2): 64-68.)
[5]
袁金龙, 冯殊伦, 冯恩民. 甘油间歇发酵酶催化非线性动力系统的强稳定[J]. 控制与决策, 2014, 29(8): 1505-1508.
(Yuan J L, Feng S L, Feng E M. Strong stability of enzyme-catalytic nonlinear dynamic system in batch fermentation of glycerol[J]. Control and Decision, 2014, 29(8): 1505-1508.)
[6]
Liu C Y, Gong Z H. Optimal control of switched systems arising in fermentation processes[M]. Berlin: Springer-Verlag, 2014.
[7]
Bao B, Yin H C, Feng E M. Computation of impulsive optimal control for 1, 3-PD fed-batchculture[J]. Journal of Process Control, 2015, 34(10): 49-55.
[8]
Liu C Y, Gong Z H, Feng E M. Modelling and optimal control for nonlinear multistage dynamicalsystem of microbial fed-batch culture[J]. Journal of Industrial and Management Optimization, 2009, 5(4): 835-850. DOI:10.3934/jimo.2009.5.835
[9]
Ye J X, Xu H L, Feng E M, et al. Optimization of a fed-batch bioreactor for 1, 3-propanediol production using hybrid nonlinear optimal control[J]. Journal of Process Control, 2014, 24(10): 1556-1569. DOI:10.1016/j.jprocont.2014.08.002
[10]
Xiu Z L, Song B H, Sun L H, et al. Theoretical analysis of effects of metabolic overflow and time delay on the performance and dynamic behavior of a two-stage fermentation process[J]. Biochemical Engineering Journal, 2002, 11(2/3): 101-109.
[11]
Liu C Y. Optimal control of a switched autonomous system with time delay arising in fed-batchprocesses[J]. IMA Journal of Applied Mathematics, 2015, 80(2): 569-584. DOI:10.1093/imamat/hxt053
[12]
修志龙, 曾安平, 安利佳. 甘油生物转化为1, 3-丙二醇过程的动力学数学模拟和多稳态研究[J]. 大连理工大学学报, 2000, 44(4): 428-433.
(Xiu Z L, Zeng A P, An L J. Mathematical modelling of kinetics and research on multiplicity of glycerol bioconversion to 1, 3-propanediol[J]. Journal of Dalian University of Technology, 2000, 44(4): 428-433.)
[13]
Hale J K, Verduyn Lune S M. Introduction to functional-differential equations[M]. Berlin: Springer, 1993.
[14]
Teo K L, Goh G J, Wong K H. A unified computational approach to optimal control problems[M]. Essex: Longman Scientific & Technical, 1991.
[15]
Bryson A, Ho Y C. Applied optimal control[M]. New York: Halsted Press, 1975.
[16]
Kennedy J, Eberhart R C. Particle swarm optimization[C]. Proceedings of the 1995 IEEE International Conference on Neural Networks. Perth, 1995, 4: 1942-1948.
[17]
窦全胜, 陈姝颖. 演化计算方法及应用[M]. 北京: 电子工业出版社, 2016.
[18]
Mu Y, Zhang D J, Teng H, et al. Microbial production of 1, 3-propanediol by Klebsiella pneumoniae using crude glycerol from biodiesel preparation[J]. Biotechnology Letters, 2006, 28(21): 1755-1759. DOI:10.1007/s10529-006-9154-z
[19]
Liu C Y, Gong Z H, Feng E M. Optimal control for a nonlinear time-delay system in fed-batch fermentation[J]. Pacific Journal of Optimization, 2013, 9(4): 595-612.
[20]
Liu C Y, Gong Z H, Hou Z Y, et al. Optimal control of a fed-batch fermentation involving multiple feeds[J]. Journal of Applied Mathematics, 2012, 245315: 1-13.