双方向の表示順バイアスを考慮したランキング指標

概要

• リクルートと東工大中田研究室との共同研究。KDD2023採択。
• 発表スライド：https://speakerdeck.com/recruitengineers/kdd2023

• Implicit Feedbackの課題であるポジションバイアスなを取り除く手法として知られるInverse Propency Weighting (IPW)という評価指標を拡張。
• IPWはランキング指標において、アイテムの観測確率の逆数をラベルに重み付けする手法
• 観測確率はユーザモデリングなどで決める場合もあるが、基本的に順位の逆数

• IPWをジョブマッチングプラットフォームやデーティングアプリのような双方向プラットフォームに拡張した。

• 手法
• ユーザをProactive sideとReactive sideに分ける
• Proactive sideに推薦する場合Reactive userの並び順は、以下が理想
1. Proactive/Reactive user双方が嗜好するアイテム
2. Proactive userのみが嗜好するアイテム
3. それ以外
• ただし、それだけではなくReactive user側でどのように並べられているかも重要

• Reactive側のアクションはそもそもProactive側からのアクションがないと始まらない

• 結局nDCGにおいては、Proactive側のnDCG (の部分)に対して、双方向のポジションを考慮したをかける以下のような式にする。
• はそれぞれの観測確率

• 人工データセットで、Proactive側のみを考えるIPWよりも優れた性能を持つことを証明した。