/note/tech

【論文紹介】統計学の過去50年における最も重要なアイディアとは?

  1. 反事実(counterfactual)に基づく因果推論
  2. ブートストラップとシミュレーションに基づいた推論
  3. オーバーパラメータ(overparameterized)モデルと正則化(ガウス過程,Lasso, horseshoe, ベイズnonparametric priorなど)
  4. ベイズマルチレベル(階層)モデル
  5. 汎用的な計算アルゴリズム(EM, MCMC, SMC, HMC, 変分法など)
  6. 適応的決定分析(ベイズ最適化,強化学習など)
  7. ロバスト推論(MM-openの世界など)
  8. 探索的データ分析(データ分析の諸ステップでの視覚化)

  1. 反事実の枠組みは,因果推論を統計的または予測的な枠組みの中に置くことで因果推論の対象を正確に定義し,観察されていないデータとして統計モデル内で表現できるようになりました.その結果,サーベイサンプリングや欠損データの代入のアイデアにつながりました.
  2. ブートストラップはノンパラメトリック・モデリングの第一歩となりました.
  3. オーバーパラメータモデルと正則化は,データからパラメータを推定する能力に基づいてモデルのサイズを制限するという既存の慣習を形式化・一般化したもので,交差検証や情報量規準と関連しています.
  4. マルチレベルモデルは,データから事前分布を推定する「経験的ベイズ(empirical Bayes)」の手法を定式化したもので,このような手法をより広範な問題において計算上および推論上の安定性を持って使用することができるようになりました.
  5. 汎用的な計算アルゴリズムにより,因果推論,マルチレベル分析,強化学習など,様々な分野の高度なモデルを応用実践者が迅速にフィットさせることが可能となり,統計学や機械学習のアイデアをより広い範囲に適用させることができます.
  6. 適応的決定分析は,古典的な実験計画を超えて最適制御の工学的問題を統計的学習の分野に結びつけることができます.
  7. ロバスト推論は,推論の安定性に関する直感を定式化したもので,外れ値やモデルの誤特定などの漠然とした懸念を処理するための様々な手順を評価し,モデル化する枠組みを提供しました.またロバスト推論の考え方はノンパラメトリック推定の考え方に影響を与えました.
  8. 探索的データ解析は,データに適合する新しい複雑な確率モデルの問題の理解・診断のために使用されてきています.