操欧美大逼-操榴视频-操操网址-不卡一区二区在线观看-亚洲人成在线中文字幕-亚洲人成在线免费观看

首頁 > 汽車技巧 > 汽車技巧 > 多模態對齊在小紅書推薦的研究及應用

多模態對齊在小紅書推薦的研究及應用

發布時間:2024-09-24 16:52:42來源: 13041198719

在 CIKM 2024 上,小紅書中臺算法團隊提出了一種創新的聯合訓練框架 AlignRec,用于對齊多模態表征學習模型和個性化推薦模型。本文指出,由于多模態模型與推薦模型在訓練過程中存在步調不一致問題,導致聯合訓練被推薦信號主導,從而丟失大量多模態信息。AlignRec 通過分階段對齊的方式,設計了三種針對性的優化損失函數,使得聯合訓練能夠同時兼顧多模態信息和推薦信息。實驗結果表明,AlignRec 在多個數據集上的性能超過了現有的 SOTA(state-of-the-art)模型。此外,AlignRec 還提供了在當前廣泛使用的公開數據集亞馬遜上的預處理特征,這些特征的效果顯著優于現有的開源特征。


最近多模態是個非常熱門的話題,尤其是在大模型以及 AIGC 領域,多模態基建和技術是走向未來商業化的奠基石。在過去的多模態大模型研究方向上,模態的“對齊”已經被驗證非常重要,分布的不一致損害不同模態的理解,我們此次要討論的核心問題是多模態在推薦中的對齊問題;

 

在具體介紹論文工作之前,我們先來介紹下我們過去在推薦和電商中的實踐工作:

 

推薦實踐


上述方法是我們對 BM3論文進行改進 上線的方案,該方案實際上做的是通過損失函數來實現“對齊”工作。我們的對模型的期望也是保留個性化的同時,能夠對齊行為和多模態的空間,進一步增加長尾的個性化分發能力。先說效果:

 

該模型實驗在推薦發現頁取得時長、曝光、點擊等核心指標收益,除此之外,在長尾分發上,0 粉作者筆記點擊和曝光獲得大幅增長,整個召回路增加了全局可分發筆記數 6%,分發筆記集中在 1k-5k 的筆記曝光集合;同時,我們的方法也被復用在了電商場景,分發長尾同時,獲得 DGMV 等核心指標收益。

 

很顯然,從上述可以看出,“對齊”的效果立竿見影,在業界應用上我們已經取得實質性進展,但本質上這樣的設計方案依然并沒有完全解決多模態推薦問題,因為我們的多模態模型和推薦模型是相對割裂的,等同于直接拿表征來使用,這樣的設計打通了應用范式,卻無法判斷多模態模型本身能力對效果的上限,對于選擇合適多模態表征存在一定的難度。但如果我們引入文本/圖等 Encoder(Transformer)等進行聯合訓練,會引入如下的問題:

 

在大規模的數據下,分布式訓練引入圖文 Encoder 會造成資源和性能問題,尤其是注重高時效性的 Streaming Data;
訓練步調不一致,往往多模態模型需要大量數據甚至多個 Epoch 才能收斂,但推薦模型通常采取單輪訓練,這也導致多模態模型訓練不充分;

所以我們設計聯合訓練模型,通過設計分階段對齊的方式和中間指標評估,解決上述聯合訓練問題,并且引入了三種針對性的優化損失函數,使得聯合訓練能夠同時兼顧多模態信息和推薦信息,解決聯合訓練中的“對齊”問題,提升效果上限。

 

下面我們從相關工作,核心挑戰,模型設計介紹整體工作。

 

我們在這里通過 (a), (b), (c) 描述了在過往的學術界目前多模態推薦方向的相關工作,總結主要的發展路徑:

圖(a),直接利用,比如把 embedding,多模態特征作為信號輸入網絡;
圖(b),利用圖等方式聚合,希望能得到更豐富的多模態信息表達,這本質上也是增加多模態側信息的召回率;
圖(c),聯合優化,把模態損失和行為損失共同優化,但這忽略了本身筆記側的多模態學習。
在工業界,現階段推薦系統主要還是依賴于 ID 特征的學習, 大多數多模態推薦把多模態信息作為 sideinfo 去輔助 ID 特征的學習。但是, 多模態之間以及 ID 模型與多模態之間都存在著語義鴻溝, 直接使用甚至可能適得其反。

 

核心挑戰

為了貼合業界實際,設計一款有效的多模態與推薦聯合訓練模型會遇到如下的挑戰:

 

挑戰1: 如何對齊多模態表征。包括內容模態之間(如圖文)的對齊,以及內容模態與 ID 模態之間的對齊;
挑戰2: 如何平衡好內容模態和 ID 模態之間的學習速度問題。內容模態可能需要超大規模的數據和時間去訓練, 而 ID 模態的學習更新可能只需要幾個 epoch。
挑戰3: 如何評估多模態特征對推薦系統的影響。引入不合適的多模態信息可能需要更多的精力去做糾正, 甚至可能影響推薦系統的性能。

我們所提出的方法命名為 AlignRec,整體框架如下圖所示, 主要包含3個模塊: Multimodal Encoder Module, Aggregation Module, 以及 Fusion Module, 下面分別進行介紹。


Multimodal Encoder Module

 

汽車技巧更多>>

Gartner預測:2025年電動汽車出貨量將增長 17% 奇瑞風云A9即將盲訂:超5米混動四驅中大型車 加拿大電動汽車退稅計劃提前終止,資金耗盡促車企自補 騰勢Z9GT第1萬輛正式交付:最快交付破萬的新能源豪華轎車 委員談AI+教育,“不怕學生用得多,怕他們不會用” 運動與生活早已密不可分,他是身體力行的“體育人” 春運開啟,昆明長水機場應對即將到來的出入境客流高峰 深圳二手房交易量重新站上6萬套關口,樓市新政后連現5個“日光盤” 點燃數字引擎,加大場景創新,蘇州工行打造數字人民幣生態體系新篇章 他從上海到西藏定日,希望一點點平息孩子們心中的“余震” 比亞迪唐L插混版的全新升級,如何重新定義家用SUV? 小米YU7純電SUV來襲,3040萬價位能否引領新潮流? 堅守駕駛樂趣 進階數字智能 寶馬集團以堅實市場表現邁向新世代 阿斯頓·馬丁Vantage Roadster來襲,6.8秒敞篷開合,性能與顏值并存! 換裝新發動機并增加ABS,新大洲本田NS125LA升級 多項功能升級 長安啟源E07迎1.1版本OTA升級 比亞迪夏入局MPV,GL8、塞納、夢想家等曾經的優勢車型該如何應對 敞篷開/關只要6.8s?兄弟們先看看!沒準今年就開上了! 2025年溫州市財稅會計學校招聘公告 2025年杭州市第三人民醫院招聘工作人員公告 2025年江蘇鑫財國有資產運營有限公司招聘工作人員公告 2025年辰溪縣潭灣鎮潭灣社區關于招聘城鎮公益性崗位的公告(1人) 2025年玉林市福綿區農業機械化服務中心招聘見習生的公告(2人) 2025年貴港市覃塘區財政信息中心就業見習人員招募公告(2人) 2025年東莞市樟木頭實業控股集團有限公司招聘工程師的公告(1人) 2025年湛江市坡頭區社會保險基金管理局面向社會招聘編外工作人員公告(1人) 16年前“未完待續”的話劇《鹿鼎記》,有了全新版本 踏上幸福回家路!2025年春運今日開啟 時間淘洗經典,湖南文藝出版社“原創之春”走過二十周年 東南亞旅游降溫:游客“虧錢”退訂泰國旅游產品,春節期間上海往返曼谷機票降價近四成
主站蜘蛛池模板: 黄片毛片一级片 | 亚洲欧美精品一区 | 嫩草成人影院 | 国产精品久久久久久久久久久久久久 | 久久不卡一区 | 福利在线不卡 | 欧美黄色片免费看 | 国产精品久久久久久小说 | 欧美video粗暴高清免费 | 又色又爽又黄的视频女女高清 | 亚洲国产精品一区二区久久hs | 国产成人高清视频免费播放 | 91精品免费久久久久久久久 | 亚洲久优优色优在线播放 | 伊人网色| 成年人黄色网址 | www.黄色毛片 | 成人短视频| 日本视频在线免费看 | 成人免费看片网站 | 444kkk视频在线观看国产 | 久久www免费人成精品 | 2018天天干天天射 | 日本红怡院在线 | 一二三四视频社区5在线高清视频 | 日韩情爱 | 欧美日韩国产欧美 | 91国内外精品自在线播放 | 亚洲高清国产拍精品影院 | 五月天六月婷婷 | 3344亚洲| 九九国产精品九九 | 亚洲看片 | 性欧美性欧美 | 亚洲不卡中文字幕 | 福利在线观看视频 | 国产亚洲综合一区二区在线 | 中国日韩欧美中文日韩欧美色 | 国内精品视频在线播放一区 | 四虎影视库永久在线地址 | 国产一区二区精品久久 |