★ [SilverSackの自画自賛] SilverSackの書斎から
本書の副題は、「Why so many predictopns fail - But some don't(なぜ、これほど多くの予想が外れ、その中でいくつかはそうではないのか)」ですが、本書の内容を一番端的に言い表しているのはこの副題でしょう。当たる予想と外れる予想について、なぜそうなるのか、を語り、当たる予想を行うためにどうすればいいのか、を書いた本です。ここで取り上げられたのは、「証券、債権の格付け(リーマンショックのもととなったもの。失敗例。)(第一章)」、「野球のスカウトの有望選手の予想(成功例)(第三章)」、「天気予報(成功例)(第四章)」、「地震予測(失敗例)(第五章)」、「経済予測(失敗例)(第六章)」、「流行するインフルエンザの予測(失敗例)(第七章)」といったところです。この後、「チェス(第九章)」、「ポーカー(第十章)」、「株価の変動(第十一章)」、「温暖化(第十二章)」、「テロのリスク(第十三章)」を題材に、どうデータを集めてどう考えたら、予想は当たるのか、について検討します。ちなみにこのネイト・シルバーさんは、「ニューヨーク・ブルックリン在住の統計専門家。『マネーボール』で有名になった野球データ分析会社ベースボール・プロスベクタス社の予測モデル『PECOTA』の開発者。2008年の米大統領選の結果を予測し、ほぼ完璧に(50州のうち49州)的中させたことで一躍脚光を浴びた(2012年の大統領選は50州すべて的中)。タイム誌の『世界でもっとも影響力のある100人』(2009年)にも選出された。政治予測ブログ『FiveThirtyEight.com』を主催し、各種の選挙結果の予測を始め、政治、経済、スポーツなど幅広い分野の話題について統計学の視点から独自の見解を提示し、世界的に注目を集めている。」(カバーの著者紹介より)という人です。
本書の内容については、ネイト・シルバーさん自身に語っていただきましょう。
第一章から第三章では、(中略)予測の問題の根本にかかる基本的な問題について考える。(中略)
第四章から第七章では、動的システムを取り上げる。(中略)
第八章から第十章では解決方法に目を向ける。(中略)
ベイズの定理は現実的で重大な問題にも使える。第十一章から第十三章では、地球温暖化、テロ、金融市場のバブルについて考える。(後略)(「序章」18～19ページ)
極めて高い的中率を誇る予測システムを作り上げた人間が予測について語る本なので、皆「私たちも的中する予測ができるようになる方法を語ってくれるのだろう」と思って読むのでしょうが、そこら辺は裏切られます。ちょっと、印象の強かった部分を引用してみます。
5つの住宅ローン(中略)を組み合わせて、いくつかの投資商品を作るとしよう。(中略)ローンがそれぞれ独立しているとしよう。(中略)(すべてのローンがデフォルトするのは)320万分の一の確率だ。(中略)(一方、)一つ一つのローンが独立せずに、全て同じ動きをする場合(中略)確率は5%で(中略)リスクは最初のシナリオに比べて16万倍に跳ねあがる。(29～30ページ)
サブプライムローンは、難しい確率計算によって極めて高い格付けがなされていたわけですが、そこら辺は確率を計算する上での前提が間違っていたということですね。
専門家の成績は総じて悪かったが、正答率の低かった専門家は、メディアに登場する回数の多い人たちだった。(58ページ)
テレビ受けのする発言は、実態と乖離していることが多い、ということを意味しているんでしょうね。
あなたが予測者として優秀であるかどうかは、情報を多くてにするほど予測が当たるようになるかによってわかる。情報が増えたのに予測の的中率が下がるようなら、あなたの姿勢に問題がある。
(112ページ)
スポーツ業界なように競争が激しいところでは、予測は常に進化しなければならない。(中略)新しいアイデアは、他の人間が面倒くさがって取り組まない問題の細部にやどっているものだ。(中略)重要なことは、ツールや習慣を改善して、あるべき場所にあるアイデアや情報を積極的に探すことだ。そして、一旦それを見つけたら、利用して勝利につなげるためのスキルを磨くことである。(119ページ)
予測の精度を上げたいのなら、試行錯誤しなさい、ということですね。
メイフィールドの指揮のもと、国立ハリケーンセンターは、予測の開示方法を工夫するようにした。(中略)また、予測の不確実性を示すことにも気を使っている。「不確実性は気象予報の基本要素だ。不確実であることを明記しないと予測は完全なものにはならない。(153ページ)
カトリーナから得た教訓の一つは、予測者にとって正確さを追求することが最善の策であるということだ。(中略)ハリケーンセンターの予測が25年前より350%も正確性を増していることは、偶然ではないだろう。(155，156ページ)
第三章、第四章は、予測が精度を向上させている領域を取り扱っていますが、やはり、そのためには試行錯誤なんですね。
地震の頻度と規模を調べてみると、規模が大きくなるにつれて回数が減ることがわかる。(中略)グラフの表示方法を変えると、驚くような規則性が明らかになる。(中略)マグニチュードごとの地震の頻度をあらわす縦軸を対数メモリに変え(横軸をマグニチュードにすると)グラフはほとんど直線になる。(166ページ)
この後、この本では、3.11の地震の震源地付近の1964年から巨大地震の直前までのデータをこのグラフにします。グラフは直線にならず、M7.2あたりが盛り上がって、逆にM7.7以上は直線から下に外れていきます。これをどう見たらいいのかが取り上げられるわけですが、なかなか考えされられます。
ビッグテータの時代にあっては、このような考え方が次第に一般的になってきている。たくさんの情報に囲まれているときに、誰が理屈など必要とするだろうか。しかし、予測をするときの姿勢として、これは絶対に間違っている。特にノイズの多いデータを扱う経済の分野では致命的だ。統計的な推論は、理論に裏付けされたときに強固なものとなる。(216ページ)
シグナルとノイズを分別するのは理論だ、と。で、理論が正しければ、予測の精度は上がり、間違っていれば、予測の精度は下がる、と。
よいモデルは、たとえ予測が当たらなくても役に立つ。「どんな予測もたいてい間違うことが分かる。すると、なぜ間違うのか理解しようとする。そして間違ったときにどうするのか、間違ったコストを最小にするにはどうしたらいいのかを考える。」とオゾノフは言った。
心にとめておいてほしいのは、モデルは世界の複雑さを理解するためのツールであって、世界そのものの代用品にはならないという点だ。(253ページ)
モデルは、世界のあるデータを捨象して、単純化したものな訳ですが、捨象するデータによってその善し悪しが変わってくるということですね。
|
|
||||||||||||||||||||||||||||||||||||||||||
(271～272ページ)
人間は誰でも信念とバイアスを抱えている。その人の経験、価値観、知識、そして恐らくは政治的、職業的な考え方が混ざり合って出来上がったものだ。ベイズ的な視点の長所は、新しい証拠の解釈を左右する信念を誰もが持っていることを踏まえた上で、世界の変化に対する私たちの反応を説明しようとしている点だ。(282ページ)
事前確率、事後確率という考え方が出てきますが、感覚的には新しい事象、情報が出てきた場合にそれでどう状況判断を修正していったらいいのか、ということを取り上げているように思います。そういう意味では、学習機能の数式化ともいえるのではないかと思います。日々の思考をこういう数式に基づいて行うのは流石に無理でしょうが、こういう感覚で行うことは、より早く正解に近づく助けになるだろうと思います。
2005年、ChessBase.comというウェブサイトが、"フリースタイル"のチェストーナメントを開催した。プレーヤーは、どんなプログラムを使ってもいいし、ネット上でアドバイスを求めてもいい。トーナメントにはグランドマスターも何人か参加したが、優勝したのは人間のプレーヤーでも、最強のソフトウェアでもなく、ニューハンプシャー州のスティーブン・クラムトンとザッカリー・スティーブンという20代のアマチュアのプレーヤー2人だった。彼らは、手を決めるのに3つのコンピュータ・プログラムを組み合わせて使った。勝因は、2人がテクノロジーに支配されなかったことだろう。それぞれのプログラムの長所と短所を理解し、プレーヤーというより、コーチとして行動したのである。(320ページ)
機械と人間、どちらかがどちらかを一方的に凌駕するものではない、それぞれに得手不得手があり、協力する方がよい結果が出る、と。
ポーカーをプレーするとき、判断を下すプロセスはコントロールできるが、どのカードが来るかはコントロールできない。たとえ相手のブラフを見抜いたとしても、相手に都合のよいカードが開いて負けるかもしれない。(中略)皮肉なことだが、結果へのこだわりがなくなるにつれて、よい結果が出るようになるだろう。(中略)予測が大きく外れたとしても、それが自分の責任なのかどうか、つまりモデルに欠陥があったのか、それともただ不運だったのかは完全には分からない。解決策に最も近い方法は、ノイズとシグナルがこの世界からなくならないことを認識し、あるがままに評価するように努めることだ。(362ページ)
結局は、データの意味するところを読み解くのは人間で、この時、より正しく読み解くためには先入観をなくすこと、より具体的には結果へのこだわりをなくすことだ、ということですね。
2006年までの運用成績を、その後の5年間の成績と比較すれば、そこには何の相関もないことが分かる。(中略)5年という比較的短い期間で見ても、ファンドが一貫してよい成績を上げ続けることはできないのである。(374ページ)
短期的な成績にもとづいてトレーダーが評価される限り、株価が長期的な価値から逸脱するバブルは起こりうる。というより、避けられないと言ったほうがいいかもしれない。(393ページ)
確かなのは、「市場は絶対確実で価格は常に正しい」という前提からスタートすればバブルは発見できないということだ。市場は、私たちの欠点を隠し、相殺してくれる有益な存在だが、将来の予測が難しく、ときとして間違った価格を示して我々を混乱させる、やっかいな相手でもあるのだ。(408ページ)
株取引で利益を上げ続けることができるかというテーマです。市場が極限までに合理的であれば、価格は瞬時に調整され、安く買って高く売るなどということは起こりえない、しかし、市場はそんなに合理的ではないので、利益を上げること(合わせて損することも)ができる、しかし、その非合理性は予想できないので、利益を上げ続けることはできない、ということです。
予測の限界を知ることは戦いの半分を占める。その点では、気候予測はかなり検討している。(中略)気候予測の不確実性は3つに分けて分析することができる。(中略)1つ目は、シュミットが言う「初期状態の不確実性」である。これらの現象が温室効果というシグナルを覆い隠すのは、せいぜい1年か10年で、それ以上の期間で見れば影響はほとんどなくなるからだ。一方、シュミットが「シナリオの不確実性」と呼ぶ不確実性は時間とともに増加する。(中略)最後に、モデルのなかには「構造的な不確実性」がある。(中略)シュミットによれば、これら3つの不確実性が最小になるのは、20年後から30年後の予測をするときだという。大気中のCO2の量がある程度確実にわかるくらい近い将来であり、ENSOや火山、太陽周期の影響をならすことができるくらい遠い将来である。(430～434ページ)
温暖化に関する予測については、その不確実性も含めて「かなり検討している」と評価されています。政治は、それを受けてどう対応しているのか、あたりも、この章で語られるのですが、これまで語られてきた失敗例と同様の理由で、失敗していると断じられます。
9.11を事前に察知できなかったことを責めるのであれば、ブッシュ政権とオバマ政権がそれ以降、攻撃を受けていない - 11年前には予測しなかった事態だ - ことを褒めるべきだ。野球の審判と同じで、情報アナリストは間違ったときには責められるが、うまくやったときにはほとんど気づいてもらえない。私はこの分野を、予測が全く機能しない分野だとは思っていない。直面としている問題の大きさを思えば、成功していると言ってもいいかもしれない。
事前に攻撃を見抜けなかった原因で一番大きいのは想像力の欠如なのだろう。予測をするときは、好奇心と猜疑心のバランスが大切だ。両者は共存できる。自分の理論を詳細に調べれば調べるほど、世界が不確実であることが受け入れられるようになり、完璧な予想など不可能であることがわかり、予想が外れることに対する心配が減り、もっと自由に考えることができるようになる。知らないことを知ることで、私たちは予測の精度を上げることができる。(491～492ページ)
予測の精度を向上させる魔法のツールなどない、シルバーさんが2012年の大統領選の結果を50州すべて当てたのも、それまでの積み重ねの結果だ、というのが、結論です。ただ、そこに至るために必要な要素についても書かれています。
といったところでしょうか。
しかし、500ページを超える本で、情報量は格段に多く、更にそれらはきわめて具体的で、抽象論に陥るところはほとんどないので、非常におもしろいし示唆に富む本であります。おすすめです。
後半2つの書評は、結構おもしろいです。特に最後のは簡潔に要点を突いていて、私の長々した文章を読むよりも参考になります。
(2015年 2月14日 記)