【概要描述】

工业异常检测是工业出产中不成或缺的一部门，但是现有的工业异常检测方式凡是只能为测试样本供给异常分数，需要人工设定阈值以辨别正常和异常样本，这限制了这些方式的现实利用场景。另外，现有的年夜模子在图象理解方面揭示了出色的能力，可是缺少特定范畴常识，并且爱游戏对图象中局部细节的理解较弱，这致使这些年夜模子不克不及直接用在工业异常检测使命。

近日，中科视语和中国科学院主动化研究所的研究团队针对该问题提出了异常检测年夜模子AnomalyGPT。AnomalyGPT操纵年夜模子的壮大语义理解能力，经由过程精心设计的图象解码器和提醒嵌入微调方式，可以或许让年夜模子充实理解工业场景图象，判定此中是不是含有异常部门并指出异常位置，在少样本和无监视工业场景中获得了业内最好机能，有益在根本年夜模子的行业落地。

AnomalyGPT为领会决现有年夜模子缺少特定范畴常识和局部细节理解较弱这两个问题，设计了提醒进修器和图象解码器两个模块，对现有的年夜模子进行练习调剂，方式布局以下图所示：

1. 图象解码器：该模块参考多模态年夜模子的特点对齐思绪，经由过程若干个线性投影层，将图象编码器所提取的由浅至深的中层特点与别离代表正常和异常语义的文本特点对齐。该布局可以或许供给异常区域朋分的留意力求，经由过程将该留意力求输入到年夜模子中，可以或许指点年夜模子存眷图象中异常几率较高的局部区域，为年夜模子供给视觉细节信息。

2. 提醒进修器：该模块包括一个6层的卷积神经收集，用在将图象解码器输出的留意力求转化为年夜模子可以或许理解的提醒嵌入向量，经由过程提醒嵌入的体例对年夜模子进行微调，可觉得年夜说话模子供给异常检测所需的范畴常识，同时有用避免年夜模子发生灾害性遗忘问题。

另外，为了对年夜模子进行练习，研究团队还提出来利用基在泊松图象编纂的异常摹拟方式来发生摹拟异常数据，以下图所示，比拟在传统的剪切拼接方式，泊松图象编纂摹拟发生的异常加倍天然，这进一步提高了AnomalyGPT方式的机能。

基在上述方式布局，AnomalyGPT研究团队在两个最权势巨子的工业异常检测数据集 MVTec-AD和VisA长进行了尝试，与现有少样本异常检测方式比拟，AnomalyGPT获得了业内最早进的机能，尝试成果以下表所示：

在无监视设置下，AnomalyGPT也获得了业内最高的机能，成果以下表所示：

下图展现了AnomalyGPT在一些实例上的异常检测和定位成果，与现有的年夜模子比拟，AnomalyGPT在图象内容理解和异常检测与定位使命上都具有更好的表示：

AnomalyGPT 论文已被人工智能顶级会议 AAAI 2024领受，论文预印版已发布在 Arxiv 上，并开源了相干代码和演示页面。

研究团队认为，现有的年夜模子在通用范畴表示出色，可是在工业、医学等专业范畴的表示相对较弱，若何设计响应布局和方式，提高峻模子的行业利用能力，是一个值得深切研究的问题。

• 分类： 博鱼新闻
• 作者：博鱼
• 来源：集团新闻
• 发布时间：2024-08-17
• 访问量： 0