(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210848397.4 (22)申请日 2022.07.19 (71)申请人 中航沈飞民用飞机有限责任公司 地址 110169 辽宁省沈阳市中国 （辽宁） 自 由贸易试验区沈阳片区创新 二路33号 (72)发明人 卢刚　黄朝晖　杨五兵　陈晓永　 王环　赖庆文　冯双芹　宋立滨　 (74)专利代理 机构 大连理工大 学专利中心 21200 专利代理师 李晓亮 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06T 5/00(2006.01) (54)发明名称 一种基于机器视觉的流水线上零件定位与 点云获取方法 (57)摘要 一种基于机器视觉的流水线上零件定位与 点云获取方法， 属于电子信息技术领域。 步骤为： 1)在流水线某托盘上随意摆放各种零件， 通过二 维视觉、 三维扫描相结合的方式， 计算获取零件 的位置和点云图像； 2)托盘中摆放零件的形状、 种类、 颜色无限制， 零件 可任意摆放姿态， 零件大 小小于托盘大小； 3)二维视觉测量先于三维扫 描， 二维相机坐标系、 三维扫描仪坐标系通过沿 流水线运动的托盘坐标系建立联系。 本发明操作 简便、 可实现性强， 具有很 大的工程应用价值， 本 发明输出的结果可应用于工业机器人在线轨迹 规划进行打磨、 喷涂等场景， 减少人力并保证工 人人身安全。 权利要求书2页 说明书4页 附图2页 CN 115187556 A 2022.10.14 CN 115187556 A 1.一种基于机器视觉的流水线上零件定位与点云获取方法， 其特征在于， 当在流水线 托盘上任意摆放零件后， 托盘随流水线依次经过二维检测工位、 三 维扫描工位， 最 终输出该 托盘上各零件的点云数据和位置坐标， 整个过程包括以下几个步骤： 第一步， 标定二维相机图像坐标系、 三维扫描点云坐标系、 托盘空间坐标系的关系； 二 维相机与三 维扫描仪均完成内参标定， 采集图像已完成矫正； 托盘上摆放矩形标定板， 依据 矩形标定板标定各坐标关系， 其中： 1)二维相机图像中标定板左上点作为二维图像坐标系原点O2D， 沿标定板图像横 边向左 为二维相机图像横坐标X2D正方向， 沿标定板图像纵边向下为二维相机图像纵坐标Y2D正方 向， 垂直二维相机图像平面向下为Z2D正方向； 2)三维扫描仪获取点云中标定板左上点作为三维点云坐标系原点O3D， 沿标定板点云横 边向左为三维点云横坐标X3D正方向， 沿标定板点云纵边向下为三维点云纵坐标Y3D正方向， 垂直标定 板三维点云向下为Z3D正方向； 3)托盘空间坐标系中以标定板左上点作为空间坐标系原点OW， 沿标定板横边 向左空间 坐标系XW正方向， 沿标定 板纵边向下为空间坐标系YW正方向， 垂直标定 板向下为ZW正方向； 矩形标定板放置在当前托盘上， 随流水线运动至二维相机下端， 二维相机随机拍摄托 盘图像， 并识别二维图像中的矩形标定板； 依据公式 计算出二 维图像坐标与托盘空间坐标的RT2D转换关系， 其中： ZWc表示相机平面到矩形标定板平面的 深度坐标， 表示二维相机内参矩阵， P2D表示矩形标定板点的图像坐标， 表示矩形标 定板点的空间坐标； 托盘随流水线继续移动至三维扫描工位， 扫描仪拖动机构带动扫描仪从多方位、 多角 度对当前托盘进行拍摄， 获取整个托盘的完成点云数据， 并从 中识别出矩形标点板， 依据公 式 计算出三维点云坐标与托盘空间坐标的RT3D转换关系， 其中： 表示三维相 机参数矩阵， P3D表示矩形标定板点的三维坐标， 表示矩形标定板点的空间 坐标； 标定完成后， 记录二维相机 图像坐标系与托盘空间坐标、 三维扫描点云坐标系与托盘 空间坐标系的转换矩阵， 进而得到二维 图像坐标与三维点云坐标 的关系； 标定操作在系统 初始搭建时进行； 第二步， 承载零件的托盘运动至二维检测工位 时， 二维相机拍摄当前托盘图像， 经过图 像处理后， 提取零件的二 维轮廓信息， 表现形式为轮廓各点的像素坐标； 将 轮廓各点像素坐 标转换到二维图像坐标系O2D‑X2DY2DZ2D下， 进而依据第一步的标定结果， 将轮廓各点坐标转 换到托盘空间坐标系OW‑XWYWZW下， 此信息 便为系统输出的零件位置信息； 第三步， 承载零件的托盘运动至三维扫描工位时， 三维相机依次从多角度对托盘及零 件进行扫描， 多次扫描的结果通过 组合拼接、 剔除明显的离群点数据、 点云预 处理后形成托 盘及零件完整的三维点云图像； 依据第二步输出 的零件位置信息， 将零件轮廓的空间坐标 转换到三维点云坐标系下， 将 轮廓坐标内部的点云保留， 剔除轮廓外部点云， 输出各零件点 云数据。 2.根据权利要求1所述的一种基于机器视觉的流水线上零件定位与点云获取方法， 其权　利　要　求　书 1/2 页 2 CN 115187556 A 2特征在于， 第二步所述的图像处理方式包含但不限于图像滤波、 亮度调整、 灰度 处理、 二值 化、 轮廓提取。权　利　要　求　书 2/2 页 3 CN 115187556 A 3