近日, 自然語言處理領(lǐng)域全球頂級(jí)學(xué)術(shù)盛會(huì)ACL 2025-計(jì)算語言學(xué)協(xié)會(huì)年會(huì)（The 63rd Annual Meeting of the Association for Computational Linguistics）于維也納落幕。理光中國研究院繼去年奪得ACL 2024競(jìng)賽桂冠后，再次在“ACL SemEval-2025 任務(wù) 9：食品危害檢測(cè)挑戰(zhàn)賽(The Food Hazard Detection Challenge)”的語義任務(wù)中拔得頭籌，并在ACL 2025會(huì)議上通過線上參會(huì)的方式向與會(huì)人員展示了解決方案。
隨著生成式AI技術(shù)的突破性發(fā)展，當(dāng)前LLM（大語言模型）與NLP競(jìng)賽的重點(diǎn)已轉(zhuǎn)向評(píng)估模型的泛化能力或專業(yè)深度。作為國際頂級(jí)賽事，本次挑戰(zhàn)賽要求參賽者運(yùn)用LLM從粗粒度和細(xì)粒度兩個(gè)層面識(shí)別食品事件報(bào)告中的危害類型與相關(guān)產(chǎn)品，其特殊性在于：該領(lǐng)域尚無專用專家級(jí)LLM，需使用提供的訓(xùn)練集對(duì)模型進(jìn)行微調(diào)；同時(shí)面臨類別分布極度不均衡、目標(biāo)標(biāo)簽量龐大（涉及超100種危害類型和1000余種產(chǎn)品）的雙重挑戰(zhàn)。
針對(duì)這些難題，理光創(chuàng)新性地提出"外部注意力機(jī)制"解決方案：通過優(yōu)化標(biāo)簽知識(shí)的利用方式，突破傳統(tǒng)方案中將所有標(biāo)簽直接拼接至提示詞（prompt）的長度限制與標(biāo)簽順序敏感性缺陷。
標(biāo)簽嵌入生成模塊的功能是：
通過參考LLM生成所有標(biāo)簽的嵌入向量，該過程可理解為利用參考LLM解析并表征所有標(biāo)簽的語義信息。
標(biāo)簽注意力模塊的設(shè)計(jì)目標(biāo)是：
整合目標(biāo)LLM處理的樣本數(shù)據(jù)嵌入與參考LLM生成的標(biāo)簽嵌入。該模塊通過對(duì)齊兩類嵌入向量，將全部標(biāo)簽信息注入目標(biāo)LLM生成的表征中。
外部注意力機(jī)制的實(shí)現(xiàn)主要包含兩大模塊：“標(biāo)簽嵌入生成模塊”和“標(biāo)簽注意力模塊”。
憑借這一突破性方法，我們的系統(tǒng)在細(xì)粒度檢測(cè)任務(wù)中以顯著優(yōu)勢(shì)超越其他參賽團(tuán)隊(duì)。據(jù)悉，此次理光中國研究院的競(jìng)爭對(duì)手包括香港科技大學(xué)、大連理工大學(xué)、德國圖賓根大學(xué)、意大利都靈理工大學(xué)等世界知名大學(xué)及研究機(jī)構(gòu)。
理光中國研究院始終致力于前沿科技的研發(fā)。未來，我們將以此為契機(jī)，進(jìn)一步加大對(duì)人工智能與大語言模型（LLM）等核心技術(shù)的研發(fā)投入, 力爭不斷突破技術(shù)邊界。
理光深知，技術(shù)的意義在于賦能行業(yè)、服務(wù)客戶。我們將持續(xù)推動(dòng)創(chuàng)新技術(shù)轉(zhuǎn)化為切實(shí)可行的行業(yè)解決方案，致力于為每一位客戶提供更智能、更可靠、更具前瞻性的產(chǎn)品與服務(wù)，幫助客戶在數(shù)智化浪潮中贏得先機(jī)。
