Scoring ruleがproperであるとは？
スコアリングルール（scoring rule）がproperであるということは、そのスコアリングルールが正確な情報提供を奨励し、誤った情報提供をペナルティとして扱う性質を持っていることを指します。Properなスコアリングルールは、情報の正確性を最大化するように参加者やエージェントに刺激を与え、誤った情報を提供することがリスクを伴うという仕組みを提供します。
具体的には、properなスコアリングルールでは、次の2つの条件が満たされています：
- Truth-Tellingが最適戦略である：スコアリングルールにおいて、自分の真実の情報を提供することが最も高い期待値をもたらす戦略であることです。つまり、正直に情報を提供することが最も報酬を得られる戦略であるため、参加者は自分の知識や信念に基づいた情報を提供する傾向があります。
- 嘘をつくことがコストになる：スコアリングルールにおいて、誤った情報を提供した場合、それが明らかになるか、結果が判明した際に、ペナルティが課されることです。このペナルティは、誤った情報提供を非効率化し、参加者にとって嘘をつくことがリスクを伴うものとなります。
Properなスコアリングルールの例として、予測市場（prediction markets）や評価尺度（scoring metrics）が挙げられます。これらのルールは、情報の正確性を重視し、参加者に真実の情報を提供することを奨励します。一方、Improperなスコアリングルールでは、誤った情報提供が報酬を増加させる可能性があるため、情報の品質が低下する可能性があります。
スコアリングルールがproperであることは、情報の収集や意思決定プロセスにおいて信頼性と正確性を向上させるために重要です。
CRPS（Continuous Ranked Probability Score）は、予測の評価に使用される一般的なスコアリングルールの1つです。CRPSは、予測分布と実際の観測値との一致度を測定するために使用されます。CRPSはproperなスコアリングルールであり、以下のような特性を持っています：
- Truth-Tellingが最適戦略：CRPSを最小化するために、予測者はできる限り正確な予測分布を提供する必要があります。つまり、予測者は真実の不確実性を適切に反映する予測を行う傾向があります。
- 嘘をつくことがコストになる：CRPSは、誤った予測分布を提供した場合に、その誤差がスコアに影響を与えるため、誤った情報提供はコストになります。したがって、予測者は誠実に予測を行うことが奨励されます。
CRPSは、特に気象予測や確率的予測の評価によく使用されます。このスコアリングルールは、予測の品質を評価し、予測者に正確な情報提供を促すために役立ちます。そのため、CRPSはproperなスコアリングルールと見なされます。
想像してみてください、ある気象予報者が明日の降水確率を予測しています。この気象予報者がCRPSを使用して評価される場合、CRPSは予測された降水確率分布と実際の降水量との一致度を測定します。
- Truth-Tellingが最適戦略：気象予報者は、降水確率を最も正確に予測するために、利用可能な情報を使用し、正直に予測を行う必要があります。真実に近い確率分布を提供することが、CRPSを最小化するための最適戦略となります。
- 嘘をつくことがコストになる：気象予報者が誤った降水確率を提供すると、実際の降水との差異がCRPSに反映され、スコアが悪化する可能性があります。したがって、気象予報者は誤った情報提供を避け、精度の高い予測を行うことが奨励されます。
CRPSを使用することで、気象予報の品質を客観的に評価し、予測者に正確な情報提供を促す仕組みが提供されます。つまり、CRPSは気象予報においてもproperなスコアリングルールとして機能し、正確な予測の提供が重要視される状況で役立ちます。
つまり、CRPSは、予測された確率分布と実際の観測値との差を評価するスコアリングルールです。CRPSは、確率分布と観測値の一致度を測定するために使用され、予測の品質を評価する際に役立ちます。