Average citizens can be much better than CIA at forecasting world events, study finds

A small group of psychologists working with the intelligence community set out to see if the average person could predict world events better than experts with inside information. It turns out, they often can － and they’re now known as superforecasters.

Three years ago, 3,000 people were chosen to participate in the Good Judgment Project, which pitted average people from a wide variety of backgrounds with the intelligence analysts. They were asked a number of questions of importance to the intelligence community, and it turned out that the best forecasters (the top one percent) predicted geopolitical events with 30 percent better accuracy than those with classified information, NPR reported.

“I’m just a pharmacist,” Elaine Rich, a pharmacist, told NPR. “Nobody cares about me, nobody knows my name, I don’t have a professional reputation at stake. And it’s this anonymity which actually gives me freedom to make true forecasts.”

Ms. Rich is one of the most accurate participants in the study, otherwise known as a “superforecaster.”

Ms. Rich uses Google to do a bit of research on the question at hand, but told NPR that was about it. She is asked questions like “Will Russian armed forces enter Kharkiv, Ukraine, by May 10?” and then rates her forecasts on a number scale.

“Everyone has been surprised by these outcomes,” Philip Tetlock, one of the three psychologists who came up with the idea for the Good Judgment Project, told NPR.

Mr. Tetlock believes that the study’s findings will validate the belief that there is wisdom in crowds, meaning that although the educated guesses of many people will often produce erroneous predictions, on average groups of people can hone in on the truth.

“There’s a lot of noise, a lot of statistical random variation,” Tetlock told NPR. “But it’s random variation around a signal, a true signal, and when you add all of the random variation on each side of the true signal together, you get closer to the true signal.”

By tracking the results, scientists can find out who is best at zeroing in on truth, and then work on ways to make them even better.

Jason Matheny, a member of the intelligence community who helped get the Good Judgment Project off the ground, was surprised by the results.

“They’ve shown that you can significantly improve the accuracy of geopolitical forecasts, compared to methods that had been the state of the art before this project started,” he said.

Asked by NPR whether he thought the study would put a dent in the need for professional intelligence analysts, he said no. “I think it’s a complement to [existing] methods rather than a substitute,” he said.

In the near future, the scientists behind the Good Judgment Project plan on recruiting new people to continue their work, NPR reported.

April 2, 2014

普通の市民がＣＩＡより高い精度で世界を予測－調査

　心理学者の小グループが情報機関と協力して、普通の市民が、内部情報を持つ専門家よりも世界の出来事をよく予測することができるかどうかを調査した。その結果、一般人が専門家よりもよく予測できることはよくあり、普通の市民は優れた予測者でもあることが分かった。

　３年前、３０００人を選出し、「的確な判断力プロジェクト」に参加させた。このプロジェクトは、さまざまな背景の平均的な人々を情報アナリストらと対比するためのものだ。ＮＰＲによると、情報機関にとって重要な問題に関する質問をした結果、上位１％の人々の地政学的出来事に関する予測の精度は、極秘情報を知る人々の予測よりも３０％高かった。

　エレーヌ・リッチさんは「私はただの薬剤師です。私のことを気にかける人などいないし、誰も私の名前は知らない。この分野で知られてもいない。匿名で調査が行われたために、楽な気持ちで予測でき、的中した」とＮＰＲに語った。

　リッチさんの予測精度は調査参加者の中でもトップクラスで、非常に高く、「スーパーフォーキャスター（優れた予測者）」と言ってもいい。

　リッチさんはグーグルを使い、与えられた質問について少し調べたが、ＮＰＲには、できることはそれくらいしかなかったと語っている。質問は「ロシア軍は、５月１０日までにウクライナのハルキフに侵入するか。スケール上の数字で予測を示してください」というようなものだ。

　このプロジェクトのアイデアを出した３人の心理学者の一人、フィリップ・テッドロック氏は「この結果には皆驚いている」とＮＰＲに語った。

　テッドロック氏は、調査結果によって群衆の知恵の正しさが立証される、つまり、教育を受けた人々の予測が間違うこともあるが、普通の人々が真実に迫ることができることもあると考えている。

　同氏はＮＰＲに「いろいろ言われているし、統計上のランダム変動も多くある。しかし、データ、真のデータ周辺にはランダム変動があり、真のデータの両側のランダム変動すべてを合わせると、真のデータに近づくことができる」と語った。

　調査結果を追跡すれば、真実に一番迫ることができるのは誰かが分かり、さらに精度を上げる方法を模索することができるようになる。

　情報機関の一員であり、グッド・ジャッジメント・プロジェクトの立ち上げにかかわったジェイソン・マセニー氏は、調査結果に驚いている。

　「プロジェクトを始める前には最先端だった方法と比較して、地政学的予測の精度を大幅に向上させることができることが分かった」

　調査結果によって専門的な情報アナリストの必要性は減少すると思うかとのＮＰＲの問いにマセニー氏はその可能性を否定し、「現在の手法の代わりとなるというよりも、現在の手法を補完するものだと思う」と指摘した。

　ＮＰＲによると、このプロジェクトにかかわる科学者らは近々、違う人々を募り、調査を続ける。

（４月２日付）