简介
机器视觉是一项综合技术,包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。
机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉。同时,在大批量重复性工业生产过程中,用机器视觉检测方法可以大大提高生产的效率和自动化程度。
发展
如今,中国正成为世界机器视觉发展最活跃的地区之一,应用范围涵盖了工业、农业、医药、军事、航天、气象、天文、公安、交通、安全、科研等国民经济的各个行业。其重要原因是中国已经成为全球制造业的加工中心,高要求的零部件加工及其相应的先进生产线,使许多具有国际先进水平的机器视觉系统和应用经验也进入了中国。
经历过长期的蛰伏,2010年中国机器视觉市场迎来了爆发式增长。数据显示当年,中国机器视觉市场规模达到8.3亿元,同比增长48.2%,其中智能相机、软件、光源和板卡的增长幅度都达到了50%,工业相机和镜头也保持了40%以上的增幅,皆为2007年以来的最高水平。
2011年,中国机器视觉市场步入后增长调整期。相较2010年的高速增长,虽然增长率有所下降,但仍保持很高的水平。2011年中国机器视觉市场规模为10.8亿元,同比增长30.1%,增速同比2010年下降18.1个百分点,其中智能相机、工业相机、软件和板卡都保持了不低于30%的增速,光源也达到了28.6%的增长幅度,增幅远高于中国整体自动化市场的增长速度。电子制造行业仍然是拉动需求高速增长的主要因素。2011年机器视觉产品电子制造行业的市场规模为5.0亿人民币,增长35.1%。市份额达到了46.3%。电子制造、汽车、制药和包装机械占据了近70%的机器视觉市场份额。
概述
视觉系统工作原理简图
机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;同时在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成,是实现计算机集成制造的基础技术。
工作原理
机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号,图像处理系统对这些信号进行各种运算来抽取目标的特征,如面积、数量、位置、长度,再根据预设的允许度和其他条件输出结果,包括尺寸、角度、个数、合格 / 不合格、有 / 无等,实现自动识别功能。
机器选型
在机器视觉系统中,获得一张高质量的可处理的图像是至关重要。系统之所以成功,首先要保证图像质量好,特征明显。一个机器视觉项目之所以失败,大部分情况是由于图像质量不好,特征不明显引起的。要保证好的图像,必须要选择一个合适的光源。
光源选型基本要素:
对比度:对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度,从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。
亮度:当选择两种光源的时候,最佳的选择是选择更亮的那个。当光源不够亮时,可能有三种不好的情况会出现。第一,相机的信噪比不够;由于光源的亮度不够,图像的对比度必然不够,在图像上出现噪声的可能性也随即增大。其次,光源的亮度不够,必然要加大光圈,从而减小了景深。另外,当光源的亮度不够的时候,自然光等随机光对系统的影响会最大。
鲁棒性:另一个测试好光源的方法是看光源是否对部件的位置敏感度最小。当光源放置在摄像头视野的不同区域或不同角度时,结果图像应该不会随之变化。方向性很强的光源,增大了对高亮区域的镜面反射发生的可能性,这不利于后面的特征提取。
好的光源需要能够使你需要寻找的特征非常明显,除了是摄像头能够拍摄到部件外,好的光源应该能够产生最大的对比度、亮度足够且对部件的位置变化不敏感。光源选择好了,剩下来的工作就容易多了。具体的光源选取方法还在于试验的实践经验。
应用案例
在布匹的生产过程中,像布匹质量检测这种有高度重复性和智能性的工作只能靠人工检测来完成,在现代化流水线后面常常可看到很多的检测工人来执行这道工序,给企业增加巨大的人工成本和管理成本的同时,却仍然不能保证100 %的检验合格率(即“零缺陷”)。对布匹质量的检测是重复性劳动,容易出错且效率低。
流水线进行自动化的改造,使布匹生产流水线变成快速、实时、准确、高效的流水线。在流水线上,所有布匹的颜色、及数量都要进行自动确认(以下简称“布匹检测”)。采用机器视觉的自动识别技术完成以前由人工来完成的工作。在大批量的布匹检测中,用人工检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。
特征提取辨识
一般布匹检测(自动识别)先利用高清晰度、高速摄像镜头拍摄标准图像,在此基础上设定一定标准;然后拍摄被检测的图像,再将两者进行对比。但是在布匹质量检测工程中要复杂一些:
1. 图像的内容不是单一的图像,每块被测区域存在的杂质的数量、大小、颜色、位置不一定一致。
2. 杂质的形状难以事先确定。
3. 由于布匹快速运动对光线产生反射,图像中可能会存在大量的噪声。
4. 在流水线上,对布匹进行检测,有实时性的要求。
由于上述原因,图像识别处理时应采取相应的算法,提取杂质的特征,进行模式识别,实现智能分析。
Color检测
一般而言,从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红(R)绿(G)蓝(B)三个成分组成,来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似,在颜色空间中也不尽相同。基于上述原因,我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。
Blob检测
根据上面得到的处理图像,根据需求,在纯色背景下检测杂质色斑,并且要计算出色斑的面积,以确定是否在检测范围之内。因此图像处理软件要具有分离目标,检测目标,并且计算出其面积的功能。
Blob分析(Blob Analysis)是对图像中相同像素的连通域进行分析,该连通域称为Blob。经二值化(Binary Thresholding)处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标,并可计算出目标的数量、位置、形状、方向和大小,还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析,而是对图形的行进行操作。图像的每一行都用游程长度编码(RLE)来表示相邻的目标范围。这种算法与基于象素的算法相比,大大提高处理速度。
结果处理和控制
应用程序把返回的结果存入数据库或用户指定的位置,并根据结果控制机械部分做相应的运动。
根据识别的结果,存入数据库进行信息管理。以后可以随时对信息进行检索查询,管理者可以获知某段时间内流水线的忙闲,为下一步的工作作出安排;可以获知内布匹的质量情况等等。
应用领域
机器视觉的应用主要有检测和机器人视觉两个方面:
⒈ 检测:又可分为高精度定量检测(例如显微照片的细胞分类、机械零部件的尺寸和位置测量)和不用量器的定性或半定量检测(例如产品的外观检查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测)。
⒉机器人视觉:用于指引机器人在大范围内的操作和行动,如从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上(即料斗拣取问题)。至于小范围内的操作和行动,还需要借助于触觉传感技术。
此外还有:
1自动光学检查
2人脸识别
3无人驾驶汽车
4产品质量等级分类
5印刷品质量自动化检测
6文字识别
7纹理识别
8追踪定位
......
等机器视觉图像识别的应用。
【机器视觉特点】
⒈摄像机的拍照速度自动与被测物的速度相匹配,拍摄到理想的图像;
⒉零件的尺寸范围为2.4mm到12mm,厚度可以不同;
⒊系统根据操作者选择不同尺寸的工件,调用相应视觉程序进行尺寸检测,并输出结果;
⒋针对不同尺寸的零件,排序装置和输送装置可以精确调整料道的宽度,使零件在固定路径上运动并进行视觉检测;
⒌机器视觉系统分辨率达到2448×2048,动态检测精度可以达到0.02mm;
⒍废品漏检率为0;
⒎本系统可通过显示图像监视检测过程,也可通过界面显示的检测数据动态查看检测结果;
⒏具有对错误工件及时准确发出剔除控制信号、剔除废品的功能;
⒐系统能够自检其主要设备的状态是否正常,配有状态指示灯;同时能够设置系统维护人员、使用人员不同的操作权限;
⒑实时显示检测画面,中文界面,可以浏览几次不合格品的图像,具有能够存储和实时察看错误工件图像的功能;
⒒能生成错误结果信息文件,包含对应的错误图像,并能打印输出。
应用实例
⒈ 基于机器视觉的仪表板总成智能集成测试系统
EQ140-Ⅱ汽车仪表板总成是中国某汽车公司生产的仪表产品,仪表板上安装有速度里程表、水温表、汽油表、电流表、信号报警灯等,其生产批量大,出厂前需要进行一次质量终检。检测项目包括:检测速度表等五个仪表指针的指示误差;检测24个信号报警灯和若干照明9灯是否损坏或漏装。一般采用人工目测方法检查,误差大,可靠性差,不能满足自动化生产的需要。基于机器视觉的智能集成测试系统,改变了这种现状,实现了对仪表板总成智能化、全自动、高精度、快速质量检测,克服了人工检测所造成的各种误差,大大提高了检测效率。
整个系统分为四个部分:为仪表板提供模拟信号源的集成化多路标准信号源、具有图像信息反馈定位的双坐标CNC系统、摄像机图像获取系统和主从机平行处理系统。
⒉ 金属板表面自动控伤系统
金属板如大型电力变压器线圈扁平线收音机朦胧皮等的表面质量都有很高的要求,但原始的采用人工目视或用百分表加控针的检测方法不仅易受主观因素的影响,而且可能会绘被测表面带来新的划伤。金属板表面自动探伤系统利用机器视觉技术对金属表面缺陷进行自动检查,在生产过程中高速、准确地进行检测,同时由于采用非接角式测量,避免了产生新划伤的可能。其工作原理图如图8-6所示;在此系统中,采用激光器作为光源,通过针孔滤波器滤除激光束周围的杂散光,扩束镜和准直镜使激光束变为平行光并以45度的入射角均匀照明被检查的金属板表面。金属板放在检验台上。检验台可在X、Y、Z三个方向上移动,摄像机采用TCD142D型2048线陈CCD,镜头采用普通照相机镜头。CCD接口电路采用单片机系统。主机PC机主要完成图像预处理及缺陷的分类或划痕的深度运算等,并可将检测到的缺陷或划痕图像在显示器上显示。CCD接口电路和PC机之间通过RS-232口进行双向通讯,结合异步A/D转换方式,构成人机交互式的数据采集与处理。
该系统主要利用线阵CCD的自扫描特性与被检查钢板X方向的移动相结合,取得金属板表面的三维图像信息。
⒊ 汽车车身检测系统
英国ROVER汽车公司800系列汽车车身轮廓尺寸精度的100%在线检测,是机器视觉系统用于工业检测中的一个较为典型的例子,该系统由62个测量单元组成,每个测量单元包括一台激光器和一个CCD摄像机,用以检测车身外壳上288个测量点。汽车车身置于测量框架下,通过软件校准车身的精确位置。
测量单元的校准将会影响检测精度,因而受到特别重视。每个激光器/摄像机单元均在离线状态下经过校准。同时还有一个在离线状态下用三坐标测量机校准过的校准装置,可对摄像顶进行在线校准。
检测系统以每40秒检测一个车身的速度,检测三种类型的车身。系统将检测结果与人、从CAD模型中撮出来的合格尺寸相比较,测量精度为±0.1mm。 ROVER的质量检测人员用该系统来判别关键部分的尺寸一致性,如车身整体外型、门、玻璃窗口等。实践证明,该系统是成功的,并将用于ROVER公司其它系统列汽车的车身检测。
⒋ 纸币印刷质量检测系统:
该系统利用图像处理技术,通过对纸币生产流水线上的纸币20多项特征(号码、盲文、颜色、图案等)进行比较分析,检测纸币的质量,替代传统的人眼辨别的方法。
⒌ 智能交通管理系统
通过在交通要道放置摄像头,当有违章车辆(如闯红灯)时,摄像头将车辆的牌照拍摄下来,传输给中央管理系统,系统利用图像处理技术,对拍摄的图片进行分析,提取出车牌号,存储在数据库中,可以供管理人员进行检索。