生成エンジン最適化(GEO)におけるランキング操作攻撃を評価するベンチマーク「GEO-Bench」
原題: GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization
背景
GEO対策が広がるにつれて、正当な最適化と不正なランキング操作の境界が曖昧になりつつある。本論文は、LLMを用いたランキング操作攻撃を統一的に評価するベンチマーク「GEO-Bench」を提案し、どのような手法がAIの推薦順位を不当に操作しうるかを体系的に検証している。
結論
- ブラックボックス型(内部を知らずに攻撃)とホワイトボックス型(内部構造を利用する攻撃)の複数の手法を統一的な基準で評価するベンチマークを構築した。
- 5つのデータセットと固定のLLMランカーを用いた実験により、有効性と発覚しにくさのトレードオフを定量的に分析した。
- ブラックボックス型のコンテンツ改変が、より高度なホワイトボックス型の手法と同等かそれ以上の効果を持つ場合があることを示した。
メッセージ
この研究が示すのは、AIの推薦順位を不正に操作する手法が、必ずしも高度な技術を要するとは限らないという点である。GEO対策と称して行われる施策が、実は不正な操作と紙一重になっていないか、自社の取り組みを一度点検する視点として参考になる。