中国图象图形学报:机器视觉表面缺陷检测综述(下)

Posted By: Dz Optics In: 行业资讯 On: Wednesday, May 30, 2018 Comment: 0 Hit: 569

  中国是一个制造大国,每天都要生产大量的工业产品。用户和生产企业对产品质量的要求越来越高,除要求满足使用性能外,还要有良好的外观,即良好的表面质量。但是,在制造产品的过程中,表面缺陷的产生往往是不可避免的。人工检测是产品表面缺陷的传统检测方法,该方法抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大,而基于机器视觉的检测方法可以很大程度上克服上述弊端。本文带来机器视觉表面缺陷检测综述(下)。

  2、表面缺陷检测图像处理和分析算法

  2.4 表面缺陷目标识别算法

  统计模式识别(statistical pattern recognition)和句法(结构)模式识别(syntactic pattern recognition)是两种基本的模式识别方法。前者是模式的统计分类方法,即结合统计概率的贝叶斯决策系统进行模型识别的技术,又称为决策理论识别方法;后者的基本思想是把一个模式描述为较简单的子模式的组合,子模式又可进一步描述为更简单的子模式的组合,最终得到一个树状结构描述,利用模式与子模式分层结构的树状信息完成模式识别任务。数字图像的识别问题通常适用于统计模式识别,而句法模式识别主要用于遥感图像识别、文字识别等,目前,基于机器视觉的表面缺陷识别主要涉及统计模式识别。

  统计模式识别按其实现方式又分为有监督学习的模式识别和无监督学习的模式识别。前者是在已知类别标签的特征集(即训练集)基础上进行分类器构建;后者也称为聚类,该方法不需要已知类别的训练集,分类器直接根据特征向量之间的相似性,将待分类的特征向量集合分为若干个子集。

  2.4.1 有监督学习的模式识别

  监督模式识别主要有基于概率统计的分类器、线性分类器、人工神经网络分类器和支持向量机等。

  1) 基于概率统计的分类器。基于概率统计的分类方法主要有基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策。使用贝叶斯决策首先需要得到有关样品的总体分布知识,包括各类先验概率及类条件概率密度函数,计算出样品的后验概率,并以此作为判别函数的必要数据,设计出相应的判别函数及决策面。贝叶斯分类器可给出数学上的严格证明,在给出某些变量的条件下使分类的平均损失最小或是分类决策风险最小。尽管贝叶斯决策规则从理论上解决了最优分类器的设计问题,但其实施时样本特征空间的类条件概率密度形式一般很难确定,而利用Parzen窗等非参数方法估计分布又往往需要大量的样本,所以贝叶斯决策规则更多是具有理论上的指导意义,一般适用于有统计知识的场合,或是能利用训练样品估计出参数的场合。

  张宏杰等人[111]基于贝叶斯图像模式识别技术的点焊质量评估,利用主成分分析消除图像特征间的互相关性,建立了基于最小风险贝叶斯图像识别技术的焊点质量分类器,有效地评判焊点质量;苏芳等人[112]通过贝叶斯理论进行多通道SAR图像测量级数据融合,充分利用像素的从属信息并获得单通道分类无法获取的分类结果,有效保留各通道有用信息并抑制图像中的斑点噪声。

  2) 线性分类器。在实际应用中,往往不去求类条件概率密度,而是利用样本集直接设计分类器,即给定某个判别函数,利用样本集确定判别函数中的未知参数,即判别函数分类法。判别函数分类方法按其判别函数的形式可分为线性分类法和非线性分类法。前者主要有Fisher分类算法、感知算法LMSE分类算法等;后者主要有分段线性判别函数法(如近邻分类法、最小距离法)、基于核的Fisher分类算法、势函数法和支持向量机方法等。线性分类器算法简单,在计算机上实现容易,在模式识别中得到了广泛应用;对于模式识别的非线性问题,则用非线性分类器。

  K最近邻(KNN)分类算法是最简单的机器学习算法之一,其核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。Lopez等人[113]使用KNN分类方法提取各通道的颜色特征进行瓷砖表面质量的分类;Mandriota等人[114]采用KNN算法结合和小波系数对轨道表面质量进行检测;Wiltschi等人[115]则基本最小距离分类方法对钢板图像进行表面质量检测;Pernkopf等人[116]采用耦合隐马尔可夫随机场合进行似然计算,结合贝叶斯网络分类器进行了钢坯表面缺陷检测。

  3) 人工神经网络。人工神经网络(ANN)是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型,是在现代神经科学研究成果的基础上提出的,试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。

  ANN是由大量处理单元互联组成的非线性、自适应信息处理系统。1943年,心理学家McCulloch和数理逻辑学家Pitts建立了神经网络和数学模型,称为MP模型。60年代,人工神经网络得到了进一步发展,更完善的神经网络模型被提出,其中包括感知器和自适应线性元件等。20世纪80年代,美国加州工学院物理学家Hopfield提出了Hopfield神经网络模型,为神经计算机的研究做了开拓性的工作。不久,Rumelhart, Hinton, Williams发展了BP算法,迄今,BP算法已被用于解决大量实际问题。继而,Broomhead和Lowe用径向基函数(RBF)提出分层网络的设计方法。20世纪90年代初,Vapnik等提出了支持向量机(SVM)和VC(Vapnik-Chervonenkis)维数的概念。目前,已有近40种神经网络模型。

  人工神经网络具有非线性、自适应、自组织、自学习能力、非局限性、非凸性和容错性等一系列特点,故在信息处理、模式识别和智能控制等领域有着广泛的应用前景。与其他技术的结合取长补短,以及由此而来的混合方法和混合系统,已成为一大研究热点。目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗糙集理论、分形理论、证据理论和灰色系统等的融合,并取得了一定的成果。

  4) 支持向量机。人工神经网络方法具有一系列的优点,但有时也存在泛化能力不强、算法耗时较多、往往需要有较多训练样本等问题。支持向量机(SVM)是Vapnik根据统计学习理论于1995年提出的,它采用结构风险最小化(SRM)而非经验风险最小化(ERM)原理,通过将样本点所在的输入空间映射到高维的特征空间,以达到线性可分或者线性近似可分的目的。

  所谓支持向量是指那些在间隔区边缘的训练样本点,支持向量机与神经网络类似,都是学习型的机制,但与神经网络不同的是SVM使用的是数学方法和优化技术,而且在传统的最优化问题中提出了对偶理论,主要有最大最小对偶及拉格朗日对偶。

  支持向量机是一种有坚实理论基础的小样本学习方法,其最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目而不是样本空间的维数。SVM的关键在于核函数,低维空间向量集通常难于划分,解决的方法是将它们映射到高维空间,只要选用适当的核函数,就可以得到高维空间的分类函数,这在某种意义上避免了“维数灾难”;而且少数支持向量决定了最终结果,这样可以剔除大量冗余样本,所以算法简单而且具有较好的鲁棒性。支持向量机理论在解决小样本、非线性及高维模式识别中表现出许多特有的优势,在表面检测、模式识别、故障诊断等方面有成功的应用,并表现出很高的有效性和鲁棒性。

  2.4.2 无监督学习的模式识别

  无监督学习的模式识别的训练样本没有类别标签,主要以聚类分组来揭示模式结构,也称聚类。聚类是一个将数据集划分为若干组或簇的过程,使得同一类的数据对象之间的相似度较高,而不同类的数据对象之间的相似度较低。

  目前出现了大量的聚类算法,其选择取决于数据的类型、聚类的目的。主要的聚类算法可以划分为如下几类:划分方法、层次方法、密度方法、网格方法以及模型方法。

  1) 划分方法。划分法(partitioning methods)是聚类分析中最为常见的一种方法,其目的是将给定的数据对象集通过划分操作分成若干分组,每一个分组表示一个聚类。划分时需要预先指定聚类数目或聚类中心,通过反复迭代运算,逐步降低目标函数的误差值,当目标函数值收敛时,得到最终聚类结果。常用的划分法有:K-means、K-medoids、CLARA、CLARANS、K-prototypes等。

  K-means算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。将K-means方法与其他技术结合可以提高K-means方法的聚类能力,文献[117]结合遗传算法一定程度上解决了全局最优或近似最优解的问题;文献[118]将免疫算法与K-means聚类相结合,提出了基于免疫规划的K-means聚类分析方法;文献[119]利用用窗口技术提高了K-means方法的聚类分析能力;文献[120]在聚类分类数据中应用禁忌搜索技术;此外,文献[121]提出了一种模糊K-prototypes算法,该算法融合了K-means和K-modes对数值型和分类型数据的处理方法,能够处理混合类型的数据;文献[122]中将模糊数学理论与K-means算法融合,对K-means算法进行了有效改进。

  2) 层次方法。层次法(Hierarchical Methods)也称为树聚类算法,层次聚类是将数据对象集分解成几级逐级进行聚类,递归地对给定的数据对象集进行合并或分解,直到满足限制条件为止,其聚类结果最终以类别树的形式显示。层次方法根据分解方式的不同可以分为凝聚式(agglomerative)和分裂式(division)。层次算法不需要预先指定聚类的数目,但是在凝聚或分裂的层次聚类算法中,用户可以预先定义希望得到的聚类数目作为算法的结束条件,当该条件达到满足时,算法将终止。其代表算法有:BIRCH、CURE、CHAMELEO N、 ROCK、SBAC和BUBBLE等。

  层次聚类的优点体现在算法能得到不同粒度的多层次聚类结构,缺陷在于没有全局优化的目标函数,合并或分裂点的选择比较困难,对噪声、孤立点数据比较敏感,不适于非凸型分布的数据对象集等。为此,研究者们给出了一些改进算法,如将层次聚类和其他的聚类分析技术进行集成,形成多阶段聚类等。

  3) 密度方法。密度方法(density-based methods)的指导思想是,只要一个区域中的点的密度大于某个阈值,就把它加到与之相近的聚类中去,即通过数据密度(单位区域内的实例数)来发现任意形状的类簇。该方法与其他方法的一个根本区别是:它不是基于距离的,而是基于密度的,这样就能克服基于距离的算法只能发现“类圆形”的聚类的缺点。其代表算法有:DBSCAN、OPTICS、DENCLUE、GDBSCAN、FDC算法等。

  基于密度的聚类算法的优点是一遍扫描,并可以很好的过滤噪声和孤立点数据,发现任意形状、不定个数的类;其缺点是算法复杂度较高,对于密度分布不均的数据集聚类效果不佳。

  4) 网格方法。基于网格的方法采用一个网格数据结构,该结构具有多分辨率,通过这个数据结构可以将对数据对象的处理转化为对网格空间的处理。这种方法首先将数据空间划分成为有限个单元的网格结构,然后通过算法对网格空间进行分割进而实现聚类的目的。此聚类算法常常与其他方法相结合,特别是与基于密度的聚类方法相结合。其代表算法有:在高维数据空间中基于网格和密度相结合的聚类方法(CLIQUE算法),基于小波变换的聚类方法(Wave-Cluster算法),利用存储在网格中的统计信息的STING算法。

  基于网格的方法的主要优点是执行速度快,它的时间复杂度仅依赖于量化空间中每一维上的单元数目;但该算法因网格单元的数目随着维数的增加而呈指数的增长故不适于高维数据,而且高效率以聚类结果的精确性为代价。

  5) 图论算法。图论分裂聚类算法的主要思想是:构造一棵关于数据的最小生成树,通过删除最小生成树的最长边来形成类.基于图论的聚类算法主要包括RANDOMWALK、CHAMELEON、AUTOCLUST等。

  6) 模型算法。基于模型的方法给每一个聚类假定一个模型,然后去寻找能够很好的满足这个模型的数据集。这样一个模型可能是数据点在空间中的密度分布函数或者其他。该方法基于目标数据集由一系列的概率分布所决定这一假设,通过构造反映数据对象空间分布的密度函数来进行聚类。该算法通常分为两种:基于统计学的方法和基于神经网络的方法。前者主要有以分类树的形式创建层次聚类的COBWEB算法及其扩展COBWEB算法;后者主要有竞争学习型和自组织特征映射型(SOM)等[123]。

  以上传统的聚类方法都具有各自的优点,在各自的适用领域取得了较大的成功。但是,这些聚类方法也存在以下问题:在进行聚类之前都需要事先确定要得到的聚类的数目,然而在现实数据中,聚类的数目往往是未知的;处理大规模数据和高维数据的能力、计算效率、有效的消除噪声的影响等方面都有待于提高;此外,有的聚类算法对输入参数的取值十分敏感,而且参数的取值没有成熟的理论依据,只能依靠用户的经验来确定。除上述聚类方法外,学者们还研究了其他大量的聚类方法,下面列出了几类:

  1) 模糊聚类方法。1969年,Ruspini首次提出了模糊聚类算法(FCM)。FCM是一种以隶属度来确定每个数据点属于某个聚类程度的算法,能保留初始图像的更多信息。然而,FCM没有考虑图像上下文中的空间信息,对噪声较敏感。学者们围绕FCM算法开展了大量研究,比如,李洁等人[124]采用ReliefF算法[125]确定各维特征的权重,提出了基于特征加权的模糊聚类新算法NFWFCA;Cai等人[126]结合局部空间和灰度信息,提出快速通用FCM聚类算法FGFCM,该算法计算简单,适合大幅灰度图像和有噪声和无噪声的多种类型图像;唐利明等人[127]结合变分水平集方法和模糊聚类,提出了一个基于变分水平集的图像聚类分割模型,该模型引入了一个基于图像局部信息的外部模糊聚类能量和一个新的关于零水平集的正则化能量,使得该模型对噪声图像的聚类分割更具鲁棒性;王雪等人[128]提出一种多相水平集模型协同空间模糊C-均值聚类(SFCM)的图像多目标分割算法, 即SFCM-MLS算法,用空间模糊聚类获取图像多目标粗分割结果,然后用粗分割结果定义多相水平集模型的初始水平集函数对图像做精分割,SFCM-MLS算法对初始位置不敏感,提高了图像多目标分割的准确性。

  2) 迭代自组织数据分析算法。迭代自组织数据分析算法(ISODATA)的主要思想是首先根据最小距离准则获得初始聚类,再判断初始聚类结果是否符合要求。若不符合,则将聚类集进行分裂和合并处理,得到新的聚类中心,再判断聚类结果是否符合要求。如此反复迭代直到完成聚类操作。ISODATA与K-MEANS一样,聚类中心的位置通过样本均值的迭代运算决定,但ISODATA聚类中心数目不是固定的,而且反复修正,在迭代过程中可将一类一分为二,也可以两类合并,即“自组织”。ISODATA具有启发性、计算并不复杂,适用于识别致密聚类。时静洁等人[129]将ISODATA与蚁群算法(ACO)算法相结合,建立相关模型对有机化合物的黏度进行QSPR研究,解决了小样本、非线性和维数灾难等问题。

  3) 模拟退火聚类算法。模拟退火算法(SA)最初由Metropolis等人于20世纪80年代初提出,其思想源于物理中固体物质退火过程与一般组合优化问题之间的相似性,通过模拟高温物体退火过程的方法来找到优化问题的全局最优或近似全局最优解。SA是一种启发式随机搜索算法,具有并行性和渐近收敛性,目前已广泛应用于图像识别、机器学习、神经网络等优化问题。如张引、潘云鹤[130]采用模拟退火技术求解最大似然聚类用于图像分割,解决了用迭代方法求解最大似然聚类只能得到局部最优解的问题.获得的图像分割效果优于迭代方法和著名的Otsu方法;Neethirajan等人[131]基于模拟退火算法对储粮害虫进行了识别分类。

  4) 粗糙集方法。粗糙集理论是波兰科学家Pawlak提出的,它是一种新型的处理模糊和不确定知识的数学工具,揭示潜在的规律能有效地分析和处理不精确、不一致、不完整等各种不完备信息,并能从中发现隐含的知识和揭示潜在的规律[132-133]。它提供了一套比较完备的从小样本数据中寻找规律的系统方法,用其可找到描述正常模型的最小预测规则集,其不仅有利于提高检测速度,而且可应用于系统的实时检测。

  目前,粗糙集理论已经在数据的决策和分析、模式识别、机器学习等方面有着成功的应用,已成为信息科学最活跃的研究领域之一。如文献[134]基于RS理论对带钢表面缺陷图像进行了识别分类,并同BP算法进行了对比,验证了基于粗糙集的分类识别算法的有效性。

  此外,蚁群聚类算法、粒子群聚类算法、基于遗传算法的聚类方法、基于核的聚类算法等得到应用,广大学者们正致力于具有聚类能力强、自适应、效率高等特点的聚类算法研究,并注重将不同的聚类思想进行融合以形成新的聚类等新算法。如,王孙安等人[135]提出一种混沌免疫模糊聚类算法,该算法把混沌变量加载于免疫算法的变量群体中,利用混沌搜索的特点对群体进行微小扰动并逐步调整扰动幅度,提高了基于人工免疫进化算法的模糊聚类算法的搜索效率;吴一全等人[136]提出了一种利用核模糊C均值聚类和正则化的图像稀疏去噪方法,更有效地去除图像噪音,保留图像细节,改善图像视觉效果;Nunes应用一种人工免疫进化网络用于聚类[137]。

  3、 机器视觉表面缺陷检测的主要问题和发展趋势

  基于机器视觉的表面缺陷检测将是未来研究和发展的主要方向,目前,基于机器视觉的表面缺陷检测理论研究和实际应用等环节均有可喜的成果,但仍存在下面主要的问题和难点:

  1) 受环境、光照、生产工艺和噪声等多重因素影响,检测系统的信噪比一般较低,微弱信号难以检出或不能与噪声有效区分。如何构建稳定、可靠、鲁棒的检测系统,以适应光照变化、噪声以及其他外界不良环境的干扰,是要解决的问题之一。

  2) 由于检测对象多样、表面缺陷种类繁多、形态多样、复杂背景,对于众多缺陷类型产生的机理以及其外在表现形式之间的关系尚不明确,致使对缺陷的描述不充分,缺陷的特征提取有效性不高,缺陷目标分割困难;同时,很难找到“标准”图像作为参照,这给缺陷的检测和分类带来困难,造成识别率尚有待提高。

  3) 机器视觉表面缺陷检测,特别是在线检测,其特点是数据量庞大、冗余信息多、特征空间维度高,同时考虑到真正的机器视觉面对的对象和问题的多样性,从海量数据中提取有限缺陷信息的算法能力不足,实时性不高。

  4) 与机器视觉表面检测密切相关的人工智能理论虽然得到了很大的发展,但如何模拟人类大脑的信息处理功能去构建智能机器视觉系统还需要理论上的进一步研究,如何更好的基于生物视觉认识、指导机器视觉得检测也是研究人员的难点之一。

  5) 从机器视觉表面检测的准确性方面来看,尽管一系列优秀的算法不断出现,但在实际应用中准确率仍然与满足实际应用的需求尚有一定差距,如何解决准确识别与模糊特征之间、实时性与准确性之间的矛盾仍然是目前的难点。

  随着计算机技术、信息技术、电子技术、传感器技术和仿生技术等的发展,机器视觉检测方法也必将得到迅速的发展。技术和市场需求等因素决定了机器视觉表面缺陷检测的发展趋势为:

  1) MARR理论对计算机视觉发挥了巨大作用,其核心是将视觉理解为3D重建的过程。但是,从3D场景到2D图像是一个多对一的映射,在映射的过程中损失了深度信息;灰度是对场景的惟一的测量值,诸如光照、材料特性、朝向和距离等信息都无法反映;成像中由于噪声及环境等因素的干扰,都会使图像产生失真。为此,需要研究视觉检测新理论和新方法,如发展主动视觉、增强视觉系统的智能学习能力等。

  2) 从生物视觉得到启发,吸收来自心理学、生理学等其他学科中生物视觉的最新研究成果,基于生物视觉机制为视觉检测提供研究新思路,模仿生物视觉多尺度、层次性的视觉特点,结合视觉任务,引入先验高级知识的指导,同时将机器视觉、机器听觉、机器嗅觉、机器触觉等多信息相互融合,突破单一视觉信息的局限性,也将成为机器视觉检测的发展方向之一。

  3) 研究更具鲁棒性的图像处理和分析算法,提高图像处理的有效性和和执行效率,降低算法的复杂度,提高识别的准确性。在在线检测系统中,要特别注重实时性,视觉本身具有内在的并行性,为此,还在要理论、算法和技术等多方面研究视觉并行计算,提高视觉计算的速度。同时,进一步研究算法性能的评价方法,以对算法的效率和性能作了科学、准确的刻化和评价。

  4) 研究完整3维场景重建方法。现有3维场景重建理论和算法基本都局限于对目标“可视”部分的重构,如果用Marr视觉计算理论来说,还主要停留在2.5维表达上,这种表达仅提供了物体可见轮廓以内的3维信息。如何恢复物体完整表面的信息,即包括物体表面不可见部分,是一个复杂但也亟待解决的问题。

  5) 采用统一而开放的标准,构建标准化、一体化和通用化的解决方案,标准化与个性化的进一步统一,研发可靠性高、维护性好、便于不断完善和升级换代、网络化、自动化和智能化更高的机器视觉系统是今后的发展趋势。

  4 结论

  机器视觉系统的研究和应用范围涵盖了工业、农业、医药、军事、交通和安全等国民经济的各个领域,基于机器视觉的产品表面质量检测在现代自动化生产中得到了越来越多的重视和应用。

  机器视觉表面缺陷检测系统中,图像处理和分析算法是重要的内容,通常的流程包括图像的预处理、目标区域的分割、特征提取和选择及缺陷的识别分类。每个处理流程都出现了大量的算法,这些算法各有优缺点和其适应范围。如何提高算法的准确性、执行效率、实时性和鲁棒性,一直是研究者们努力的方向。

  机器视觉表面检测比较复杂,涉及众多学科和理论,机器视觉是对人类视觉的模拟,但是目前对人的视觉机制尚不清楚,尽管每一个正常人都是“视觉专家”,但难以用计算机表达自己的视觉过程,因此构建机器视觉检测系统还要进一步通过研究生物视觉机理来完善,使检测进一步向自动化和智能化方向发展。

  【东正光学机器视觉检测镜头优势】

  深圳市东正光学技术有限公司(DZOptics,简称DZO)是一家主要针对机器视觉自动化领域、摄影、电影等行业定向的自主研发和生产的科技型企业,客户分布全球各地。

12K线扫描远心镜头

  通过持续创新,东正光学的机器视觉工业镜头(线扫描镜头、远心镜头、微距镜头等)已经广泛使用在印刷检测、液晶屏检测、玻璃检测、太阳能检测、锂电池检测、电路板检测等诸多领域。

  东正光学的大靶面机器视觉镜头及全系列线扫描机器视觉镜头,支持2K到16K的几乎所有类型的工业线阵相机。具有较高的解析度,最高可达200lp/mm、超低畸变、以及良好的色差矫正能力。可满足AOI、印刷检测、无纺布检测、皮革检测、铁路轨道检测、筛选及色选等各种线阵检测的需求,并且能为客户提供更优秀的镜头产品选型服务,协助客户更好的完成项目。

Comments

Leave your comment