在卷烟生产加工线上，基于可见光摄像机的视觉非烟物质检测，非烟物质的去除通常采用风力、磁力等方法，但风力、磁力去除方法都依赖自动的非烟物质检测算法。但这些模型的识别性能不尽人意，表现在虚警率和漏检率均较高。随着烟草行业对除杂系统准确性、可靠性要求的提高，传统去非烟物质检测方法无法满足卷烟“除杂”的需求。当前，高光谱成像技术飞速发展，高光谱成像器件的性能显著提升得到了广泛关注。以线性推扫式高光谱成像仪为例，其能够在水平方向上同步获取光谱信息，精确定位光谱像素的空间位置，从而实现被测物体的实时可视化成像与空间分布表征。与此同时，高光谱相机的谱段范围持续扩展，分辨率和采集速度亦得到同步保障。得益于此，高光谱成像技术在烟草领域的应用日益广泛，涵盖烟叶水分含量检测、烟草花叶病毒识别及成熟度判定等多个方面。

卷烟生产线

但是，利用高光谱技术对烟草脱粒和复干过程中的烟叶和杂质进行识别和分类的研究较少，常用检测方法是基于随机森林法，先对高光谱图像进行预处理，再对烟叶和杂质的感兴趣区域进行建模和分析，最后，利用随机森林算法对烟叶和杂质进行分类，实现了非烟物质的检测。基于高光谱的非烟物质检测和识别模型的准确率仍有很大提升空间。

莱森光学iSpecHyper-VS200 高光谱相机

于是，我们提出了一种新的基于高光谱的非烟叶杂物检测方法。该方法以U-NET语义分割模型为骨架，适配高光谱三维张量数据输入。采用中心差分卷积、快速傅里叶卷积和标准卷积三类不同卷积，分别嵌入U-NET 模型的降采样段，中间段和上采样段，较好地提取了高光谱的空谱联合特征；进一步给出了与该模型相适应的组合损失模型，以保证模型的训练充分稳定，设计与实现的非烟物质检测系统。

黑色电线杂物实物图

黑色电线上六个不同像素光谱曲线差异

(光谱峰值在60到250范围变动，噪声强度差异大)

采用莱森光学iSpecHyper-VS200系列高光谱相机构建图像采集系统。该相机光谱范围为400~1000 nm，光谱分辨率优于2 nm，点列斑直径小于0.5像元。系统光源选用覆盖400~2500 nm全光谱的卤素灯，光学镜头焦距为12.5 mm。整套设备架设于烟叶传送带上方1.5 m处，镜头光轴与皮带垂直，以确保宽度方向上覆盖皮带上的全部烟叶区域。采集数据采用反射率格式，原因在于反射率主要取决于材料自身特性，与光场变化无关，同一材料在不同光照条件下反射率保持稳定。

采集的600 幅高光谱烟叶图像数据，图像空间尺寸为 300 * 480，每个像素有 300 个光谱维度，该数据集包含了电线、捆扎带、工布胶皮、PE、麻绳、PVC、胶片、螺丝共 8 类不同颜色和材质的烟草生产环境中的常见杂物。

非烟物质与正常烟叶的光谱曲线对比

利用训练数据集及前述加权损失函数对MCFnet (Multiple Convolution Fusion U-NET)模型进行充分训练，并通过验证集优化模型超参数，最终确定的最优模型用于测试图像的分割与非烟物质识别，以评估其性能。针对MCFnet的输出结果，进一步开展杂物区域后处理：按非烟物质类别分别进行连通域分析，再将所有类别的连通区域合并。该步骤旨在避免两类不同非烟物质相互靠近时被误判为单一目标。随后，将各连通域面积与预设阈值进行比较，滤除面积小于或等于该阈值的噪声区域，剩余区域即判定为非烟物质。

MCFnet模型完整架构图

同时，也选用随机森林方法和YOLOv5 实例分割模型与MFCnet做比较，8 类非烟杂物检测结果如表所示，可以看到，MFCMne 的检测虚警率和漏检率分别为 1.12%和 0.45%，三者中最低，随机森林和 YOLOv5 的综合性能不如 MFCMnet，其中，随机森林虽具有较强的单个像素光谱特征表示和学习能力，但像素之间在图像空间上的语义关系建模并不强，导致较高的虚警率(5.82%)和漏检率(4.47%)。相比之下，YOLOv5 不会出现较多虚警(1.79%)，但受其模型本身对小目标的检测能力制约，特别是只有几个像素的非烟杂物的检测，容易出现漏检(漏检率达到 3.80%)。MFCMnet 在抑制虚警和漏检两方面较为平衡，两种错误发生的更少些。

八种非烟物质检测结果

采用中心差分卷积、快速傅里叶卷积和标准卷积三类不同卷积，分别嵌入U-NET 模型的降采样段，中间段和上采样段，较好地提取了高光谱的空谱联合特征；进一步给出了与该模型相适应的组合损失模型，以保证模型的训练充分稳定；设计与实现的非烟物质检测系统，并在实际复烤烟厂进行了测试。测试结果表明所提模型及方法对杂物检测的具有较低的虚警率和漏检率。

备注：文章部分内容来源于《基于多型卷积混合的高光谱非烟物质检测方法》，作者：黄振军，陈晋，谭格，符再德，刘波兰，陈实，许文武，刘承钧，如有侵权，请联系我们删除