同型検索のための特徴量ランキング

ISOMにおける検索は、単なるキーワード問題ではなく、ランキング問題である

トークンに一致するものが有用性を判断せずに表面化するだけでは、リサーチ検索体験は失敗する。人々はISOMに、どの論文を開く価値があるか、今シーズンどの会議が重要か、あるいはまだ知らない手法をどの分析が最もよく説明しているかといった質問に答えるために来る。それは、ランキングがテキストの一致だけでなく、編集上の信頼性、ソースの質、新しさ、そして研究者の実際の意図を反映する必要があることを意味する。

関連性は最低限の基準であり、システム全体ではない

最初のレイヤーは依然として意味的な関連性である。不確実性キャリブレーションに関するクエリは、一般的な機械学習の投稿ではなく、不確実性キャリブレーションの論文を検索すべきである。しかし、純粋な類似性だけでは十分ではない。リサーチ検索では、多くの論文が同じバズワードを共有しながらも、深さ、明瞭さ、そして下流での有用性において大きく異なる。ISOMは、語彙的および意味的な一致を、ドキュメントが考慮されるための最低限の基準として扱い、トップの座を獲得する最終的な理由とはしない。

編集上の信頼性が重要である

ISOMはまた、結果が読書先としてどれほど完全で信頼できると感じられるかを反映する方法を必要とする。強力な要約、明確なメタデータ、検証済みのソースリンクを持つ公開された英語の分析は、同じ用語が含まれているというだけで、より弱いページよりも一般的に上位にランクされるべきである。これは関連資料を隠すことではない。検証が容易で、使用が迅速な結果を評価することである。

新しさは混乱を引き起こすことなく役立つべきである

新しさはリサーチにおいて有用であるが、ランキングを不安定にするべきではない。昨日公開された論文が、先月からのより深い分析よりも自動的に価値があるわけではない。したがって、ISOMは新しさを支配的なルールとしてではなく、制御されたブーストとして使用する。品質が同等であれば、最近の資料はより早く表面化するべきであり、強力な古いリソースはクエリに引き続きうまく答えるならば発見可能であり続けるべきである。

ソースの質と構造もシグナルである

検索ランキングは、クリック後に読者が認識しやすいシグナルからも恩恵を受ける。結果には著者、会場情報、出版時期が含まれているか？論文、DOI、または発行元のページにリンクバックしているか？要約は、曖昧なフレーズを繰り返すのではなく、その研究がなぜ重要なのかを説明しているか？これらのシグナルは関連性を置き換えるものではないが、薄い結果と有用な結果を区別するのに役立つ。

なぜ不透明なブーストスタックを避けるのか

検索品質を損なう最も簡単な方法の1つは、ランキングが説明不可能になるまで隠されたブーストを積み重ねることである。結果が上位にランクされた場合、チームはその結果がトピックによりよく一致したためか、より新しかったためか、より強い編集上の信頼性を持っていたためか、あるいはより良いソースレコードから来たためかと言うことができなければならない。解釈可能なランキングシステムは、デバッグが容易で、改善も容易である。なぜなら、各シグナルには明確な目的があるからである。

ランキングは異なる結果タイプを尊重すべきである

ISOM検索は、論文分析、オリジナル投稿、会議データを組み合わせる。これらのタイプは、同一であるかのように競合するべきではない。会議の締め切りが1つのクエリに対する最良の回答であるかもしれない一方、深い論文分析が別のクエリに対する最良の回答であるかもしれない。したがって、ランキングレイヤーは、一致するすべてのアイテムが1つのフラットリストに1つのスコアリングルールで属すると仮定するのではなく、タイプを認識した判断を必要とする。

私たちが目指す基準

良いランキングシステムは、最新のページへのクリックを最大化するものではない。それは、読者が最も少ない労力で最も有用な次のドキュメントに到達するのを助けるものである。ISOMにとって、それは関連性、新しさ、ソースの質、そして編集上の信頼性を、チームにとって理解可能で読者にとって有用なままであるランキングモデルに組み合わせることを意味する。