環球聚焦：多任務學習最新：基于神經元級共享的 CTR、CVR 多任務聯合預估方法

導讀 本文將介紹一種基于神經元級共享的 CTR、CVR 多任務聯合預估的方法。分享分為兩大部分：第一部分介紹多任務學習相關發展；第二部分具體介紹我們提出的一種多任務聯合預估的方法。

全文目錄如下：

(相關資料圖)

1. 多任務學習的背景介紹

2. 多任務經典模型結構

3. 一種基于神經元級共享的 CTR、CVR 多任務聯合預估的方法

分享嘉賓｜陳華斌 阿里巴巴 算法工程師

編輯整理｜劉曉濤 深圳大學

出品社區｜DataFun

01

多任務學習的背景介紹

Stein 悖論是探索多任務學習（MTL）（Caruana，1997）的早期動機。很多東西看起來表面上是不相關的，但其實它們會服從一個潛在的相似的模式，這就是多任務學習在統計學上的基礎。

在機器學習領域中，多任務學習是一種學習范式，其中來自多任務的數據被用來獲得優于獨立學習每個任務的性能。即便是真實世界中看似無關的任務也因數據共享的過程而存在一定的依賴性或者相關性。

1. 多任務學習中的 CTR、CVR

在電商行業中，經常會聽到點擊率（CTR，Click-Through-Rote）與轉化率（CVR，Conversion Rate）這兩個詞，都是代表某種行為轉化，同時它們也是業務分析的重要指標。 CTR 和 CVR 的區別在于兩者表示著不同的廣告投放指標， 可以從一定程度上反映廣告投放的效果。在廣告和推薦場景中，用戶首先會看到平臺給他生成的推薦結果，稱為曝光（impression），用戶會有一定的概率做點擊 CTR，公式是 CTR=（點擊量/展示量次數）* 100%。如果滿意就會購買產品，稱為 CVR，公式是 CVR =(轉化量/點擊量)*100%。

上圖是典型的推薦系統的示意圖， 候選池->召回->精排。很多公司會在精排之后增加重排機制最后給出推薦展示。展示之后會有點擊和觀看。在視頻推薦領域中，CVR 會根據觀看視頻時長來確定，即表示視頻觀看的完成度。CTR 預估和 CVR 預估是推薦系統中的經典目標。

多任務學習能夠減少資源壓力（計算成本和時間成本），充分利用各個任務的潛在關系校準單任務（樣本選擇偏差、樣本稀疏）。但是可能會引入一些共享沖突問題。典型的粗粒度任務共享可能會引入共享沖突，用戶可能存在細粒度的內容興趣偏好。比如一個用戶在電商平臺上因為標題或者封面因素點擊了一個商品但是并沒有購買，那么在 CTR 任務中它是一個正樣本，但在 CVR 任務中就可能是一個負樣本。很多時候 CTR 跟 CVR 存在一定的潛在興趣沖突。那沒有很好地去解決這些沖突，多任務帶來的效果可能是 CTR 和 CVR 都會下降。當然我們這個工作主要是利用 CTR 來優化 CVR，所以本篇也會重點把這個討論放在 CVR 的優化上。

2. 多任務學習的潛在優勢

① 隱式數據增強

每個任務都有自己的樣本，使用多任務學習，模型的樣本量會提升很多。而且數據都會有噪聲，如果單學 A 任務，模型會把 A 數據的噪聲也學進去。因此可以學到一個更精確的嵌入表達。

② 注意力聚焦

如果任務的數據噪聲非常多，數據很少且非常高維，模型對相關特征和非相關特征就無法區分。多任務學習可以幫助模型聚焦到有用的特征上，因為不同任務都會反應特征與任務的相關性。

③ 特征信息竊取

有些特征在任務 B 中容易學習，在任務 A 中較難學習，主要原因是任務 A 與這些特征的交互更為復雜，且對于任務 A 來說其他特征可能會阻礙部分特征的學習，因此通過多任務學習，模型可以高效地學習每一個重要的特征。

④ 表達偏差

MTL 使模型學到所有任務都偏好的向量表示。這也將有助于該模型推廣到未來的新任務，因為假設空間對于足夠多的訓練任務表現良好，對于學習新任務也表現良好。

⑤ 正則化

從機器學習角度來看，對于一個任務而言，其他任務的學習都會對該任務有正則化效果。

02

多任務經典模型結構

推薦領域中經典的多任務模型包括 ESMM 系列和 MMOE 系列 。

1. ESMM 模型

ESMM 系列使用點擊信號（CTR）和點擊后信號（如點 贊、收藏等）來解決轉化率樣本稀疏問題。該系列主要是 share bottom 的結構，底層的基礎特征 user embedding 和 item embedding 都是共享學習的。常規的 share bottom，分別學習 CTR 和 CVR 任務，而作者認為是 CTR 跟 CVR 不在一個樣本空間，CTR 是從曝光到點擊，CVR 是從點擊到轉化，那 CTR 和 CVR 就不是在同一個樣本空間，這樣整個學習可能會帶來一定的偏置。而 ESMM 的改進方式就是同時學 CTR 和 CVR，這樣就轉變成了一個是曝光到點擊，一個是曝光到轉化，整個的樣本空間是一致的，可以保證推薦系統的離線訓練和線上推理兩個過程樣本空間的一致性。整個模型比較大的收益就是來自于這樣一個 share bottom，即底層 embedding 的共享。

2. MMOE 模型

MMOE 系列，與 SNR 和 PLE 都屬于一大類，它們使用專家子網絡的多門混合對多任務學習進行建模，在子網絡的粒度上提供有限程度的共享。比如對于任務 A 和 B，它們在 Export 0 上共享得更多，Export 1 上共享得更少等類似這樣的操作。

03

一種基于神經元級共享的 CTR、CVR 多任務聯合預估的方法

1. 模型結構

本文的工作啟發來自于彩票假設理論，即一個隨機初始化的網絡包含一個小的子網絡（中獎彩票），當迭代訓練時可以與原始大型網絡的性能相當（2019 ICLR 最佳論文）。我們在 base model 上通過迭代幅度剪枝， 自動提取 CTR 和 CVR 的 mask，每個任務的 mask 僅用于自身任務，也就是說交替訓練 CTR 子網絡和 CVR 子網絡，每個任務只更新其對應子網的神經元權重。最后通過原始模型（左圖）和 mask（中間）之間的哈達瑪乘積生成最終模型（右圖）。

這種共享和任務特定表征的方式準確響應了典型的多任務學習范式，它試圖最大化共享特征，同時減少沖突。由于自動地學習了掩碼/子網絡，避免分析網絡的哪一部分應該共享，哪一部分有沖突。

2. 訓練推理

我們的 CTR 和 CVR 任務擁有相同的 base 網絡 sNET ，利用這個 base 網絡來進行迭代訓練，獲得每個任務（不同 task_id）特定的子網絡。對于 CTR/CVR 任務：

① 在初始階段， 我們給 weight 矩陣設計對應的 mask 矩陣 mask[task_id][0]，初始化為全 1 矩陣。

② 接著 我們進行迭代訓練，將 weight 和 mask 做 mask 運算。每訓練一個 epoch，我們將 weight 元素按照絕對值進行排序，減去最小的 p% 權重，即將對應 weight 位置的 mask 設置為 0。

③ 繼續 訓練一個 epoch，由于這部分 weight 的 mask 設置為 0，該部分 weight 便沒有激活。使得前饋和反向傳播階段該 weight 失效。在剩余的 weight 中減去 %p 的權重，直到達到設置的迭代次數和剩余參數率。

④ 根據每輪選代完的測試結果，我們選擇性能最好的 masks[task id][best]。

得到這樣一個 best mask 之后，就可以開始正式地去進行 CTR、CVR 的一個訓練。重新初始化 sNEt，根據 task_id（CTR 或 CVR），然后加載對應的 mask，就得到了對應的子網絡，再訓練這個子網絡。

在訓練剪枝過程中，我們發現并不是用很寬很大的網絡效果就更好，適當減少神經元的數量對于 CTR、CVR 任務都是有提升效果的。當然如果刪減得太多，效果自然也會下降。

3. 實驗結果

本文使用的損失函數是 CTR 損失函數和 CVR 損失函數的加權融合，其中權重是超參數；

線上打分公式主要是 CTR、CVR 和視頻時長的乘積，其中 α、β 等均是超參數；

數據集使用的是一個較小的短視頻場景，用戶量一千萬左右，視頻一千一百萬左右。

對于離線實驗，其中 hardsharing model 這是最經典的 share bottom，對于 CVR 任務 MSE 大概是 ，它大概能讓 MSE 下降 %；我們工作的一個基本結構是 S_weight，它能讓 CVR 在 MSE 下降 3% 。

線上實驗，包括 4 組實驗：

① 單任務的 CTR * 單任務的 CVR* 時長；

② 單任務的 CTR * share bottom 的結構學 CVR* 時長；

③ 單任務的 CTR * S_weight 的 CVR（就是我們的工作）* 時長；

④ S_weight 的 CTR、CVR * 時長。

從瀏覽效果來看，單任務的 CTR * S_weight 的 CVR 效果是最好的，這也是符合預期的一個結果，因為 CTR 的樣本一般是比較充足的。但是如果用 S_weight 的 CTR、CVR 聯合上線，可以看到它的 CTR 還有 CVR 的指標上效果會有一點提升。我們的推斷是這兩個任務有一定的協同性。

我們的方法與單任務模型和經典的層級共享模型進行了比較，分別證明了 CVR MSE 的相對減少 % 和 %。

04

總結

① 我們是業界第一個嘗試應用神經元連接級共享來解決 CVR 多任務學習的工作，緩解了共享沖突問題，自動學習共享的神經元權重，與之前的粗粒度子網絡/層級共享方法相比，這是一種范式轉變。

② 我們的方法部署到了某億級用戶視頻線上系統中，實現了比單任務方法顯著的性 能改進。證明了其在實際工業應用中的價值。

③ 該方法可以很容易地推廣到推薦系統中的其他任務中，例如點贊率、評論率等。

④ 相關工作已經加入 onerec 項目： /xuanjixiao/onerec 。

以上就是本次分享的內容，謝謝大家。

今日推薦

零距離對話全球頂尖技術專家、學者、業界領袖，與國內外技術同行探討：大模型、生成式AI、敏捷數據分析、智能湖倉、數據安全與合規等熱門話題

? 活動時間：6/27-28 9:00-17:00

?? 活動地點：上?！な啦┲行?

活動亮點：

31個主題論壇，覆蓋當下熱點與前沿技術 覆蓋汽車、金融、游戲、醫療、電商等行業 多個互動項目，現場體驗類ChatGPT應用的快速構建

點擊鏈接報名參會：

關鍵詞：