控制与决策  2020, Vol. 35 Issue (10): 2535-2542  
0

引用本文 [复制中英文]

张雄涛, 蒋云良, 胡文军, 王士同. 并行集成具有高可解释的TSK模糊分类器[J]. 控制与决策, 2020, 35(10): 2535-2542.
[复制中文]
ZHANG Xiong-tao, JIANG Yun-liang, HU Wen-jun, WANG Shi-tong. Ensemble TSK fuzzy classifiers with parallel learning and high interpretability[J]. Control and Decision, 2020, 35(10): 2535-2542. DOI: 10.13195/j.kzyjc.2018.1794.
[复制英文]

基金项目

国家自然科学基金项目(61572236, 61300151, 61772198, 61771193)

作者简介

张雄涛(1984-), 男, 博士生, 从事人工智能与模式识别、机器学习的研究, E-mail: 1047897965@qq.com;
蒋云良(1967-), 男, 教授, 博士生导师, 从事智能计算、数据挖掘等研究, E-mail: jyl@zjhu.edu.cn;
胡文军(1979-), 男, 教授, 博士, 从事机器学习、模式识别等研究, E-mail: hooweujun@yahoo.com.cn;
王士同(1964-), 男, 教授, 博士生导师, 从事模式识别与机器学习等研究, E-mail: wxwangst@yahoo.com.cn

通讯作者

张雄涛, E-mail: 1047897965@qq.com

文章历史

收稿日期:2018-12-29
修回日期:2019-05-07
并行集成具有高可解释的TSK模糊分类器
张雄涛 1,2, 蒋云良 2, 胡文军 2, 王士同 1     
1. 江南大学 数字媒体学院,江苏 无锡 214122;
2. 湖州师范学院 信息工程学院,浙江 湖州 313000
摘要:针对分层Takagi-Sugeno-Kang (TSK)模糊分类器可解释性差, 以及当增加或删除一个TSK模糊子分类器时Boosting模糊分类器需要重新训练所有TSK模糊子分类器等问题, 提出一种并行集成具有高可解释的TSK模糊分类器EP-Q-TSK.该集成模糊分类器每个TSK模糊子分类器可以使用最小学习机(LLM)被并行地快速构建.作为一种新的集成学习方式, 该分类器利用每个TSK模糊子分类器的增量输出来扩展原始验证数据空间, 然后采用经典的模糊聚类算法FCM获取一系列代表性中心点, 最后利用KNN对测试数据进行分类.在标准UCI数据集上, 分别从分类性能和可解释性两方面验证了EP-Q-TSK的有效性.
关键词集成TSK模糊分类器    并行学习    最小学习机    代表性中心点    
Ensemble TSK fuzzy classifiers with parallel learning and high interpretability
ZHANG Xiong-tao 1,2, JIANG Yun-liang 2, HU Wen-jun 2, WANG Shi-tong 1     
1. School of Digital Media, Jiangnan University, Wuxi 214122, China;
2. School of Information Engineer, Huzhou University, Huzhou 313000, China
Abstract: Traditional ensemble Takagi-Sugeno-Kang(TSK) fuzzy subclassifiers face such challenges, hierarchical learning have no interpretability, because of the presence of intermediate variables, and when a new TSK fuzzy subclassifier is added to or removed from the structure of the current fuzzy classifier, boosting learning must retrain each TSK fuzzy subclassifier by appropriately assigning new weights. Therefore, An ensemble framework EP-Q-TSK of TSK fuzzy subclassifiers with parallel learning way is proposed. The proposed framework has the following distinctive characteristics: 1) Each TSK fuzzy subclassifier can be built quickly with least learning machine (LLM) in parallel; 2) As a novel ensemble learning, the proposed framework augments the original validation data space with the outputs of each TSK subclassifier in an incremental and inexpensive way, and then speed up the final classification on the validation data by using the FCM and the KNN method; 3) Enhanced classification performance by FCM & KNN is experimentally revealed, and the experimental results on benchmark datasets indicate the effectiveness of EP-Q-TSK and its parallel learning method in the sense of both enhanced classification performance and interpretability.
Keywords: ensembling Takagi-Sugeno-Kang(TSK) fuzzy subclassifiers    parallel learning    least learning machine    representative centroids    
0 引言

Takagi-Sugeno-Kang(TSK)模糊分类器[1-3]由于其良好的分类性能和高可解释性, 在金融预测、模式识别[4-5]、智能数据处理和自适应模糊控制[3, 6]等数据驱动应用中取得了广泛的成功.然而, 到目前为止, 如何在实际应用中保持较高分类精度的同时具有高可解释性仍然是一个巨大的挑战[3].为此.本文试图解决以下问题:1)模糊规则数目不当和模糊划分不当, 可能严重降低模糊规则if部分的可解释性, 或严重降低TSK模糊分类器的分类性能; 2)在传统的分层集成TSK模糊分类器[7]中, 由于中间变量的存在, 模糊分类器的中间子分类器无可解释性; 3)在Boosting集成模糊分类器[8]中, 每次增加或删除一个子分类器时, 都要对所有子分类器重新进行训练, 由此导致较高的复杂度.

现有的分层TSK模糊分类器[9-11]图 1所示, 既具有良好的分类性能, 又能够很好地克服规则组合爆炸问题[7, 9].由于中间变量的存在, 中间层和输出层中的TSK模糊子分类器很难解释每条模糊规则的语义, 随着层次TSK模糊分类器中层数的增加, 这一问题变得尤为突出.Boosting模糊分类器[8-12]]如图 2所示.由于各TSK模糊子分类器之间的相关性, 当增加或删除一个TSK模糊子分类器时, Boosting模糊分类器必须放弃每个TSK模糊子分类器已学习到的权重, 然后通过适当分配新的权重对其进行重新训练, 从而造成繁重的计算负担.

图 1 分层TSK模糊分类器
图 2 Boosting模糊分类器

为克服上述问题, 本文提出一种新的具有并行结构的集成TSK模糊分类器EP-Q-TSK.它以并行学习方式组织其所有零阶TSK模糊子分类器, 没有中间变量的存在.在EP-Q-TSK中, 每个零阶TSK子分类器的输出被扩充到原始(验证)输入空间, 以便以并行方式打开原始(验证)输入空间中存在的流形结构, 因此根据堆栈泛化原理[13-14]可以保证提高分类精度.由于EP-Q-TSK是以并行学习方式构建的, 容易增加或者删除TSK模糊子分类器.在EP-Q-TSK中采用新的预测机制FCM & KNN, 能够实现快速预测.采用经典的FCM[15]聚类算法, 以便从增强验证集上获得一系列具有标签的代表点.然后采用KNN[16]方法求出训练样本或隐含样本的k个最近代表点, 并以它们及其类标代替整个验证数据, 快速确定训练样本或隐含样本的标签.

1 EP-Q-TSK分类器 1.1 EP-Q-TSK框架

图 3为EP-Q-TSK的整体框架.图 3中:Dtr为总训练数据集; D1, D}2, …, DLDtr子集; TSK1, TSK2, …, TSKLL个零阶TSK子分类器, fTSK1(x), fTSK2(x), …, fTSKL(x)为输出函数.EP-Q-TSK包括增强验证数据生成和代表性中心点生成及预测两个阶段.本文假设数据被划分为训练数据集、验证数据集和测试数据集, 下面详述EP-Q-TSK的工作流程.

图 3 EP-Q-TSK框架

EP-Q-TSK首先从生成训练子集D1, D2, …, DL开始, Di从训练数据集Dtr中随机抽取, 并且D1D2∪…∪DL = Dtr.这些子集作为L个零阶TSK模糊子分类器的输入, 为了保证零阶TSK模糊子分类器之间的多样性[12, 17], 为每个分类器分配不同的模糊规则数.将每个输入特征等间隔划分为5个固定的模糊集, 由此相应地产生5种高斯隶属度函数, 固定中心分别为0、0.25、0.5、0.75、1.虽然每个高斯隶属函数的核宽度可能不同, 但不会显著影响模糊子分类器的语义解释, 分别是:非常小、小、中、大、非常大[18-19].基于之前的工作[20-21], 本文将随机正数作为每个隶属函数的宽度, 相应地使用LLM[22]独立学习每个子分类器的后件参数, 算法1给出了每个子分类器的学习算法.

算法1 零阶TSK模糊分类器学习算法.

输入:第l个训练数据子集X = [x1, x2, …, xNl]T, 其对应的标签集y = [y1, y2, …, yNl]TRN, xiRd, yiR, i = 1, 2, …, Nl, 模糊规则数Kl, 正则化参数C;

输出:子分类器的模糊规则及其输出函数.

step1:构造5种高斯型隶属度函数.中心点集合为{0, 0.25, 0.5, 0.75, 1}, 在每一维上从中心点集合中随机指定一个值并构造规则组合矩阵.

step2:通过给每个元素分配一个随机正数来构造核宽度矩阵.

step3:根据规则组合矩阵、核宽度矩阵和上述5种高斯隶属度函数, 利用式(1)计算各模糊规则的模糊隶属度, 有

(1)

其中:i = 1, 2, …, d, k = 1, 2, …, Kl.对于所有样本, 将模糊隶属度正则化并得到矩阵Xg, 即

(2)

从而得到第l个零阶TSK模糊分类器的所有前件参数ag.

step4:通过LLM计算后件参数

(3)

其中:IK×K单位矩阵, C为给定的正则化参数.

step5:由式(4)得到第l个零阶TSK模糊分类器的输出函数fTSKl(x), 有

(4)

对每个子分类器进行并行训练后, 将其输出函数作用在验证数据集上, 从而生成L个增强特征.通过将验证集上的原始特征和增强特征组合并生成具有d+L维的增强验证数据集, 如此可以在接下来的分类活动中将原始输入空间中的流形分开, 从而以堆栈方式实现更好的线性可分.换句话说, 根据堆栈泛化原理[13], 与原始验证数据集相比, 增强验证数据集更有助于提高分类性能.

在生成增强验证数据集后, EP-Q-TSK进入到第2阶段.为了实现对训练或隐含数据的快速KNN预测, 希望有少量且有代表性的数据样本作为代表性中心点供KNN使用.然而, 增强验证数据集有时数据量较大, 因此使用经典的FCM聚类算法找出增强验证数据集各类的代表性中心点.在运行FCM后, 所有去掉增强特征的代表性中心点及其标签都被作为数据字典, 用于KNN对训练或隐含数据的分类.整个第2阶段称为FCM & KNN预测机制, 这种机制比直接在原始验证数据集上执行KNN能够实现更快的预测.

EP-Q-TSK具有以下特点:

1) 由于每个子分类器中的每条模糊规则都是高度可解释的, 根据EP-Q-TSK的集成框架, 各子分类器以及EP-Q-TSK都是可解释的.由于三重随机性(5个固定高斯隶属函数的随机分配及其对每个特征的精确语义解释, 每个子分类器模糊规则数从不同区间随机选择, 以及训练样本的随机L份划分), EP-Q-TSK有着潜在的适应环境的潜力.

2) EP-Q-TSK可以以快速的方式实现.尽管本文使用了具有高可解释性的零阶TSK模糊分类器, 并提出了算法1, 但理论上, 任何模糊分类算法都可以被并行地应用于每个子分类器.在所提出的框架中, FCM和KNN都可以很容易地从现有的工具箱中获取.由于FCM & KNN是以单独的方式执行, 增加或删除子分类器不需要对第2阶段的编程代码进行任何更改, 只需更改作为输入的增强验证数据集即可.

3) EP-Q-TSK框架为这样一些实际应用场景提供了解决方案:需要数据隐私保护或在分布式系统中运行, 或者当足够的验证数据是昂贵的甚至很难获取.例如, 由于患者的隐私保护, 直接从医院或相关机构获取医学数据作为训练数据集是不方便甚至不切实际的.然而, 将TSK模糊子分类器的训练算法传递给每个医院或相关机构后, 在没有隐私泄露的情况下, 每个医院或相关机构可以通过在各自的数据集上运行所传递的训练算法来训练TSK模糊子分类器, 然后传递所得到的TSK模糊子分类器.此外, 当带有标签的真实医学数据作为验证数据集时, 由于其非常稀缺甚至昂贵, 可以利用医院或相关机构建立的TSK模糊子分类器, 以堆栈的方式获得增强验证数据集, 从而确保获得满意的分类性能.

1.2 EP-Q-TSK学习算法及复杂度分析

训练完各TSK模糊子分类器, 将FCM作用在增强验证数据集上, 在得到数据字典后, 对于任何训练或隐含样本, 利用KNN方法对它们进行训练和预测.基于上述算法, 将EP-Q-TSK的整个学习算法描述为算法2, 它包含两个过程:训练过程构建增强验证数据集并利用FCM生成一系列代表性中心点; 预测过程使用KNN方法对所有测试样本的标签进行预测.

算法2 EP-Q-TSK学习算法.

输入:训练数据集Dtr = [Xtr Ytr], 验证数据集Dv = [Xv Yv], XtrXv分别表示训练数据和验证数据, 对应的标签集分别为YtrYv, 子分类器数L, K1, K2, …, KL表示每个子分类器的模糊规则数;

输出:EP-Q-TSK结构及代表性中心点.

初始化:为每个子分类器从Dtr中随机抽取训练数据子集D1, D2, …, DL, 且D1D2∪…∪DL = Dtr.

step1:并行训练L个零阶TSK子分类器.

step1.1:为每个子分类器随机分配模糊规则数;

step1.2:以并行的方式通过调用算法1生成L个子分类器;

step1.3:输出L个子分类器的输出函数

step2:生成增强验证数据集.对于验证数据集的每个样本, 计算对应的输出函数fTSK1(x), fTSK2(x), …, fTSKL(x), 并将其作为原样本的增强特征, 形成增强验证数据集Dvnew = [Xv Xv Yv], 其中Xv为验证数据的增强特征集.

step3:在增强验证数据集Dvnew上对每一类分别调用FCM算法生成一系列代表性的中心点及其对应的标签, 并去掉代表性中心点的增强特征.

预测过程如下.

step1:对于任何测试样本, 利用KNN找到距离其最近的k个代表性中心点, 基于投票策略确定其类标.

step2:输出测试样本的预测标签.

下面分析EP-Q-TSK算法的时间复杂度.构造规则组合矩阵Θl和核宽度矩阵Θl的时间复杂度分别为O(5dKl)和O(5Nld2Kl), 通过LLM生成后件参数矩阵ag的时间复杂度为O(Kl3).其中:Kl为第l个子分类器的模糊规则数, Nl为第l个子分类器的训练样本数, d为维度.第2阶段, FCM的时间复杂度为

其中:d+L组合了增强验证数据集中原始特征和增强特征, Nv为增强验证数据集样本数, c为代表性中心点数, Itermax为最大迭代次数.KNN对于整个训练数据集的时间复杂度为O(NQcd), 其中N是训练样本的总数.因此EP-Q-TSK的总时间复杂度为O(5Nmaxd2Kmax + Kmax3 + Nvc2(d + L)Itermax + NQcd).其中:Kmax为最大模糊规则数, Nmax为包含最大模糊规则数的子分类器的样本数.由于NmaxKmax针对于某一个子分类器, Nv是珍贵的增强验证数据集的样本数, 它们通常都小于N, 算法的时间复杂度可以粗略地看成与训练样本的总数N线性相关.

1.3 理论分析

引理1[23] 不一致概率P(c1c2)是两个子分类器分类误差的严格上界.

当FCM & KNN作用于增强验证数据集 = [{Xv, Xv]上的任何训练或隐含样本时, FCM & KNN可以等价地看作是具有两个分类器h1h2的多任务分类方法, 即在增强验证集上的FCM可以分解为在原特征集上和增强特征集上的分类, 它们均采用相同的KNN方法.由引理1可知, 通过降低不一致概率P(c1c2), 可以提高两个任务场景中每个子分类器的分类性能, 因此本文采用两种方法:1)采用类似文献[23]式(3)的方法, 在目标函数中增加一个关于不一致概率的显式惩罚项; 2)考虑隐式的方法, 使分类器c1c2尽可能一致.FCM & KNN属于第2种方法.本质上, 本文EP-Q-TSK通过以堆栈方式将每个子分类器的输出对原始验证数据集进行扩充以生成增强验证数据集, 因此原始验证数据集中的流形结构通过增强特征相继被打开.根据堆栈泛化原理[13], 对于任何作用在该增强验证数据集上的分类器, 其分类性能肯定会高于在原始验证数据集上的结果.这意味着当要对任何训练或隐含样本进行预测时, 与原始验证数据相比, 增强验证数据有更强大的分类潜能, 即作用在增强验证数据集而不是原始验证数据集, 具有同样KNN的两个分类器c1c2, 能够有强大的能力, 以达到一致的分类结果.基于以上分析, 同时根据引理1, 所提出的EP-Q-TSK框架在理论层面上其高效性得以证明.

2 实验分析 2.1 数据集及实验设置

实验运行的硬件环境为:i7-8700K 3.70GHz CPU and 64 GB RAM, Microsoft Windows 10, Matlab 2016a.实验中所有11个数据集均来自UCI[24]和KEEL[25], 详细信息如表 1所示.

表 1 数据集

表 1可见, EP-Q-TSK在这些数据集上运行时, 实验设置应该考虑所有子分类器之间的多样性, 以及与数据集大小、维度和类别数之间的关系, 为此, 如表 2所示, 为每个子分类器设置不同的模糊规则区间.根据数据集的大小, 为6个数据集安排3个子分类器, 其余数据集安排5个子分类器.为了更具多样性, 采用两种方案设置模糊规则数:对数据集wdbc和spectfheart, 每个子分类器的模糊规则数从2~15进行网格搜索并获得3个分类器最佳的规则数组合; 对于其他数据集, 给每个子分类器分配一个不同的模糊规则数区间, 然后从预先指定的规则区间内随机抽取规则数训练每个子分类器20次.对于采用的FCM聚类中心点数, 表 2给出了搜索范围, 即每类代表性中心点的范围.KNN中的最近邻k搜索区间范围设置为{3, 5, 7}.

表 2 EP-Q-TSK参数设置

本实验中, 每个数据集被随机抽取70%作为训练数据集, 20%作为验证数据集, 10%作为测试数据集.组织4组分类器进行比较:第1组为集成分类器, 它们是GFS-LogitBoost-C和Ensemble-C; 第2组为基于深度学习的分类器(即DBN[26]); 第3组包括经典的零阶(zero-order-TSK-FC)和一阶TSK模糊分类器(first-order-TSK-FC); 第4组为常规分类器(即KNN[16]).由于GFS-LogitBoost-C和Ensemble-C来自于KEEL工具箱并用Java实现, 其他分类器均在Matlab中实现, 因此, 实验中只给出平均训练/测试分类精度及标准方差、平均模糊规则数.

2.2 实验结果与分析

表 3为EP-Q-TSK和7个比较分类器在10个数据集上的实验结果, 实验比较了平均训练和测试精度及其标准方差以及平均模糊规则数, 其中最好的结果用粗体表示.稍后给出关于数据集wdbc更详细的实验结果.注意到, KEEL中比较分类器的结果没有给出模糊规则数, 因此不为每个数据集提供相应的值, 在表 3中将它们表示为“-”.

表 3 各数据集在比较分类器上的性能对比结果

1) 从分类精度角度看, 与其他分类器相比, EP-Q-TSK在平均训练和测试分类精度方面表现出满意的结果.具体而言, EP-Q-TSK在10个数据集中的7个数据集具有最高的平均训练精度和/或平均测试精度.此外, EP-Q-TSK在多数情况下比Ensemble-C和GFS-LogitBoost-C、零阶TSK模糊分类器和KNN具有更好的性能.一阶TSK模糊分类器胜出3次, DBN胜出2次.其原因在于, 根据堆栈泛化原理[13], EP-Q-TSK中FCM得到的增强特征能够帮助打开原始验证数据中的流形结构, 从而更好地实现对数据的分类.

2) 在采用的数据集中(如spectfheart、air、chess和spambase), EP-Q-TSK的性能比其他分类器略差.然而, 当DBN、KNN、Ensemble-C、GFS-LogitBoost-C不具有可解释性, 一阶TSK模糊分类器中的模糊规则可解释性低时, EP-Q-TSK及其每个子分类器都具有高可解释性.此外, EP-Q-TSK中的每个子分类器比零阶TSK模糊分类器在大多数情况下平均需要较少的模糊规则数, 这是因为每个子分类器的输出仅作为鉴别信息来形成一个增强特征, 从而依次打开验证数据集中的流形结构, 进而提高EP-Q-TSK的性能.通常情况下, 较少的规则数意味着更强的可解释性.

3) 通过仔细观察发现, EP-Q-TSK在多分类数据集(如pendigits, penbased, landsat, satimage)上优于其他分类器.一般而言, 由于多类数据集的流形结构比两分类数据集更为复杂, 这一发现实际上表明在EP-Q-TSK中采用多个子分类器生成相应增强特征的帮助下, EP-Q-TSK具有打开更复杂数据集的流形结构的能力.

为了更加详细地阐述EP-Q-TSK, 以数据集wdbc为例, 从分类性能和模糊规则的可解释性两个方面对其进行详细展示.wdbc数据集由569个样本组成, 包括两个类别, 该数据集的特征由乳腺肿块细针抽吸物(FNA)的数字化图像计算生成, 描述了图像中细胞核的特征.任务是要确定发现的肿瘤是良性还是恶性(分别表示为+1和-1).EP-Q-TSK在wdbc上采用3个子分类器, 每个子分类器中模糊规则数目的网格搜索范围均为2~15.表 4列出了所有分类器在数据集wdbc上的最大训练和测试精度、平均规则数、平均训练和测试精度及其方差、平均训练和测试时间的实验结果.由于GFS-LogiBoost-C和Ensemble-C由Java实现, 不给出训练和测试时间, 用“-”表示.如表 4所示, EP-Q-TSK在最大和平均训练精度、最大和平均测试精度方面不及其他分类器, 但是平均每个子分类器需要的模糊规则数最少.

表 4 wdbc数据集在分类器上性能比较

表 4可见, EP-Q-TSK与其他分类器相比, 训练时间最少, 测试时间令人满意.由于篇幅有限, 本文没有给出这些比较分类器在所有数据集上的训练和测试时间, 但实验记录表明所有其他数据集在各分类器上的训练和测试时间的结果与表 4中列出的wdbc的结果几乎一致.这是因为EP-Q-TSK对所有的模糊子分类器都采用并行学习方式, 增强验证数据集的规模要远远少于训练数据集, 在其上运行的FCM和KNN时间都很短.为了展示EP-Q-TSK的可解释性, 在某一次取得最优值的运行结果中列出每个子分类器相应模糊规则的前件和后件参数.如表 5, 对于本次运行, 得到最优规则组合为(2, 3, 4), 这表明第1、第2和第3子分类器分别具有2、3、4条模糊规则.根据表 5, 虽然所有5个高斯隶属度函数在不同规则的特征中可能具有不同的宽度值, 但它们总是将其中心保持在{0, 0.25, 0.5, 0.75, 1}中, 因此具有各自的语义解释:非常小、小、中、大、非常大, 简记为VL、L、M、H、VH.因此每条模糊规则都是可解释的.

表 5 wdbc在3个分类器上的规则展示
3 结论

本文提出了一种并行集成具有高可解释的TSK模糊分类器EP-Q-TSK, 以解决现有集成TSK模糊分类器可解释性差和计算复杂度高等问题.根据该框架, 通过并行学习方式快速构建多个具有高可解释性的零阶TSK模糊子分类器, 然后利用每个子分类器的输出值作为增强特征对验证数据集进行扩充, 从而形成增强验证数据集.通过在增强验证数据集上执行经典的模糊聚类算法FCM, 获得代表性中心点, 使用KNN对预测样本或未知样本的标签进行快速预测, 实验结果验证了EP-Q-TSK及其学习算法的有效性.

未来的工作将主要集中在理论和应用方面.在理论方面, 虽然从实验上验证了增强验证数据集上的FCM & KNN比在原始验证数据集上直接使用KNN要好, 但应该设法从理论上加以证明.在实际应用中, 可以开发EP-Q-TSK在医疗信息学或众包建模等实际应用场景中的应用[27].

参考文献
[1]
Wang L. Fuzzy systems are universal approximators[C]. Proceedings of IEEE International Conferences Fuzzy Systems. San Diego: IEEE, 1992, 10: 1163-1170.
[2]
Jang J S. ANFIS: Adaptive-network-based fuzzy inference systems[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1993, 23(3): 665-685. DOI:10.1109/21.256541
[3]
Takagi T, Sugeno M. Fuzzy identification of systems and its application to modeling and control[J]. IEEE Transactions on System, Man, and Cybernetics, 1985, 15(1): 116-132.
[4]
Pedrycz W, Gomide F. Fuzzy systems engineering: Toward human-centric computing[M]. Hoboken: Wiley, 2007: 85-101.
[5]
杭文龙, 梁爽, 刘解放, 等. 贝叶斯L2型TSK模糊系统[J]. 控制与决策, 2017, 32(10): 1871-1878.
(Hang W L, Liang S, Liu J F, et al. Bayesian L2-norm-Takagi-Sugeno-Kang fuzzy system[J]. Control and Decision, 2017, 32(10): 1871-1878.)
[6]
邓赵红, 张江滨, 蒋亦樟, 等. 基于模糊子空间聚类的0阶岭回归TSK模糊系统[J]. 控制与决策, 2016, 31(5): 882-888.
(Deng Z H, Zhang J B, Jiang Y Z, et al. Fuzzy subspace clustering based 0-order ridge regression TSK fuzzy system[J]. Control and Decision, 2016, 31(5): 882-888.)
[7]
Wei C, Wang L. A note on universal apprxomation by hierarchical fuzzy systems[J]. Information Science, 2000, 123(3): 241-248.
[8]
Kuncheva L. "Fuzzy" versus"Nonfuzzy" in combining classifiers designed by boosting[J]. IEEE Transactions on Fuzzy Systems, 2003, 11(6): 729-742. DOI:10.1109/TFUZZ.2003.819842
[9]
Torra V. A review of the construction of hierarchical fuzzy systems[J]. International Journal of Intelligent Systems, 2002, 17(5): 531-543. DOI:10.1002/int.10036
[10]
Chung F L. On multistage fuzzy neural network modeling[J]. IEEE Transactions on Fuzzy Systems, 2000, 8(2): 125-142. DOI:10.1109/91.842148
[11]
Wang Shitong, Chung F L, Shen H B, et al. Cascaded centralized TSK fuzzy system: Universal approximator and high interpretation[J]. Applied Soft Computing, 2005, 5(2): 131-145. DOI:10.1016/j.asoc.2004.03.014
[12]
Kuncheva L I, Whitaker C. Measures of diversity in classifier ensembles[J]. Machine Learning, 2003, 51(2): 181-207. DOI:10.1023/A:1022859003006
[13]
Wolpert D H. Stacked generalization[J]. Neural Networks, 1992, 5(2): 241-259.
[14]
Bishop M. Pattern recognition and machine learning[M]. New York: Springer-Verlag, 2006: 128-145.
[15]
王骏, 王士同, 邓赵红. 聚类分析研究中的若干问题[J]. 控制与决策, 2012, 27(3): 321-328.
(Wang J, Wang S T, Deng Z H. Survey on challenges in clustering analysis research[J]. Control and Decision, 2012, 27(3): 321-328.)
[16]
Nicolás García-Pedrajas, Juan A Romero del Castillo, Gonzalo Cerruela-García. A proposal for local k values for k-nearest neighbor rule[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(2): 470-475. DOI:10.1109/TNNLS.2015.2506821
[17]
Zadeh L A. Fuzzy sets[J]. Information Control, 1965, 8(3): 338-353. DOI:10.1016/S0019-9958(65)90241-X
[18]
Zhang Y, Ishibuchi H, Wang S T. Deep takagi-sugeno-kang fuzzy classifier with shared linguistic fuzzy rules[J]. IEEE Transactions on Fuzzy Systems, 2018, 28(3): 1535-1549.
[19]
Cordon O, Herrera F, Zwir I. Linguistic modeling by hierarchical systems of linguistic rules[J]. IEEE Transactions on Fuzzy Systems, 2002, 10(1): 2-20. DOI:10.1109/91.983275
[20]
Deng Z, Jiang Y, Chung F L, et al. Knowledge-leverage-based fuzzy system and its modeling[J]. IEEE Transactions on Fuzzy Systems, 2013, 21(4): 597-609. DOI:10.1109/TFUZZ.2012.2212444
[21]
Jiang Y, Chung K F L, Ishibuchi H, et al. Multitask TSK fuzzy system modeling by mining intertask common hidden structure[J]. IEEE Transactions on Cybernetics, 2015, 45(3): 534-547. DOI:10.1109/TCYB.2014.2330844
[22]
Wang S T, Chung F L. On least learning machine[J]. Journal of Jiangnan University, 2010, 9: 505-510.
[23]
Gu X, Chung F L, Ishibuchi H, et al. Multi-task coupled logistic regression and its fast implementation for large multi-task datasets[J]. IEEE Transactions on Cybernetics, 2015, 5(9): 1953-1966.
[24]
Bache K, Lichman M. UCI machine learning repository 2015[DB/OL]. (2015-10-08)[2018-01-15]. http://archive.ics.uci.edu/ml.
[25]
Alcal-Fdez J, Fernndez A, Luengo J, et al. KEEL data-mining software tool: Data set repository integration of algorithms and experimental analysis framework[J]. Journal of Multiple-Valued Logic and Soft Computing, 2011, 17(2): 255-287.
[26]
Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554. DOI:10.1162/neco.2006.18.7.1527
[27]
Raykar V, Yu S, Zhao L, et al. Learning from crowds[J]. Journal of Machine Learning Research, 2010, 11(2): 1297-1322.