RandomThoughts

RandomThoughts

実験経済学の手法に関する議論

Contents:
  1. 実験経済学の手法と長所、短所
    1. 自分がここで議論したい短所
    2. 長所
    3. 実験と実社会の結果の違い
    4. 実験経済学の批判に対する議論
  2. 短所に対する批判があまり有効でない理由
  3. 強すぎる主張の問題点

【書籍】「学力」の経済学のAmazonレビューで批判的なものを幾つか見た時に思った事。

実験経済学の手法と長所、短所

実験経済学の手法とは、いわゆるLaboratory experimentと経済学で言われている物で、経済学の問題でもrandomized double blindの実験を行う、というもの。

もちろん経済全体には行えないので、小さな規模で知りたい事を試せるような実験をデザインする訳だ。

自分がここで議論したい短所

短所はいろいろ考えられている。ただ、ここでは倫理とか法的な話は除外したい。自分かあまり関心が無いので。 良くある批判で上記書籍の批判レビューと関連が深いものとして自分が思うのは以下。

  1. 実験として示された事と実際の社会で起こる事にギャップがあり、しばしば異なる結論が出る
  2. 適切な実験をデザインするのは難しく、だいたいは問題がある実験になっている
  3. 規模が小さすぎる
  4. 実験を行うコストが高くて、その時まさに知りたい事を実験してくれている事が少ない(から少し関係ない実験の結果をもとにせざるを得ない)
  5. 問題が多いにも関わらず、正しい物と扱い過ぎる
  6. 上と関連して、反論にコストが掛かりすぎる
  7. 過度に一般化しすぎる

規模の問題は割と改善も進んでいるし過度に一般化するのは良くないというのはそれなりにコンセンサスが生まれていると思うが、過度な一般化は実際に良くやられている。

長所

いろいろと短所があり、どれももっともに思う。 だが、その代替となる従来手法にも問題は多く、実験経済学の手法の方がマシなのでは無いか?というのもかなりの説得力はある。 少なくとも他の手法と組み合わせて使うに値する力はあると思われているだろう。

  1. 追試や反証が出来る
  2. 仮説をかなり直接的に試す事が出来る
  3. 因果関係を(限定的ではあるが)調べる事が出来る
  4. バイアスは他の手法よりはずっと少ない(ただし医学とかのlab experimentよりはずっと大きい)

結局問題は多くて制約が多くても、主張や見解の違う人同士で同意出来る前提としては、これよりマシな物は無い、と自分は思っている。

実験と実社会の結果の違い

短所のうち、実験の結果と実際の社会の結果が異なる、という批判は良くなされるし上記レビューでも見かけるが、 これはそんなに有効では無いと思う。

社会の結果を観察しても、因果関係を特定するのは難しい。実験の主張する要素が同じでも他の要因により結果が違うという事は当然起こり得るが、それを否定するのが難しいからだ。 観察では因果関係は分からない。

だがこの手の実験と実際の環境の違いは当然大きいので、その違いが原因で結果が違う事も当然起こりうるし、その場合にはその実験はあまり有効では無い事になる。 問題はそれを示す手段だ。 これもやはり観察では難しい。

だから結局、こうした問題を特定するには、別のlaboratory experimentを実施する、という、実験経済学のやり方に沿った反論をするしか無いのでは無いか、という気がする。 そうしたやり方で議論できる範囲は凄く狭いので、大きな社会の問題に適応するには不適切な方法である可能性はある。 だが、やっぱり観察で導き出される結論は反論に使うにはあまりにも脆弱で、コンセンサスのある事を確認する事は出来ても意見の異なる人と何かの結論に到達するのには使えないのでは無いか。


過度の一般化が良くないので言い方には問題があるかもしれないが、 実験の結果について、「XXだ」と断言をするのは態度として正しくて、 主観で好きに程度を決めて留保を置いてしまう方が良くないだろう。

それに対して実験の内容の制限や問題点が重要だと思うなら、それを否定する実験で返すのがあるべき姿で、 それは是非やっていくべき事に思うし、そうして否定された事はアップデートされるべきだろう。 そしてきっと否定される主張は本書に多く含まれていると思う。

こうした実験につきまとう不完全さ、制約の大きさや問題設定の本当に試したい事からの乖離や実験の数の少なさは、 初期の段階では一人の教員などが経験を元に主観的に話す方法論より劣るものとなる事は十分考えられるし、 だからこそ政策を決める時に実験結果を単純にすべて真理として採用すべきとも思わないのだけれど、 こうした手法には積み重ねていけるというメリットがあるので、自分は正しいやり方だと思う。

この本の批判として、実験の制限とか実験以外の実際の社会の状況との矛盾を指摘するのはあまり効果は無くて、 それはこの本では無く近年の実験経済学的な手法の批判をすべき、という話になると思う。ちょっと長くなりそうなので別項目にする。

実験経済学の批判に対する議論

実験経済学についての話題は以前unrepresented agent先生がちょくちょく話題にしていたのを見ていた事がある程度の知識だが、 現時点でのまとまった議論があったら読みたい所だよなぁ。 結局個々の問題点を指摘する事は出来ても、もっとマシな物は誰も出せていないというのが自分の理解だが。

ちょっとぐぐってみたら Promise and Success of Lab–Field Generalizability in Experimental Economics: A Critical Reply to Levitt and List - Oxford Scholarship とかが良さそうだけど、この本読むほどの関心はないなぁ。

さらにググってたら、Critiques of Experimental Economics, Spring 2009, Al Rothというのを見つけて、これはまさに求めているものなのだが、ちとリンク切れとかが多い。 でもここから幾つか飛んで見るのがいいかもしれない。

短所に対する批判があまり有効でない理由

短所を指摘するのがいまいち批判として弱いのは、他の手法がもっと酷いからと思う。 結局現状は、「欠陥の多い実験経済学の手法」vs 「実際に近いが反証も証明も出来ず因果関係も分らない手法」という、どっちも酷いがどっちがマシか?という状態になっている。

この時に前者の欠陥を指摘するのは、特にそれが既に良く知られて議論されてる事の場合はあまり響かない。 実験経済学シンパはそれを知らないのでは無く、後者の酷さを知っている、と思っているから。 だから後者がお前が思うよりマシだ、という方が良い。 自分もだいたいにおいて後者の欠点は過小評価されていると思う。

自分は当初は実験経済学はあまりのもおもちゃ過ぎて大した結論は出せないのでは無いかと思っていたが、批判にこたえて実験の内容が改善されていくのを見て、批判が出来て改善出来るというのは強い性質だなぁ、と思うようにはなった。

社会科学全般で、主観を排するのは実験経済学も含めて出来ないとは思うけれど、見解が異なる人が合意に至るのに、実験経済学は既存の手法よりはずっとマシだとは思う。 その代わり、それで議論出来る範囲は凄く狭い。

既存の手法は、その不備を指摘するのは難しい事が多い。それは不備が無いのでは無く、証拠が無い事を主張しているからだ。 例えばマスクをしている国がCovid-19に感染している患者数が少ないとしても、その因果関係は分らないので、それが効果がある、と言っても、それを否定するのは難しい。効果がある事が分らないからだ。

実験経済学の手法で実験の問題点を批判するのは、まさに実験経済学の手法の利点を強調してしまっている。問題点を指摘出来る、というのが実験経済学の手法の強みだからだ。 もちろん実験の内容は改善されるべきだが、ある実験の問題点を指摘するだけでは「その実験よりマシな手法を示せた」事にはならない。

その実験を弱めたいのでは無く否定したいなら、もっとマシな物を出さないといけない。この時に実社会の相関を示すだけではあまり意味が無い。因果関係がありそうに見えると同意出来る事なら意味があるが、反論したい時はだいたい同意が無い事に対して言いたいのだから、これではあまり反論になってない。 多くのケースで見られるとか、もうちょっと正しそうにみえる事があれば否定になる事もあるけれど。

一番直接的な批判は欠点を改善した実験で違う結果を示す事だが、これはまさに実験経済学の土俵で戦う事になるので、実験経済学を批判したい時に取りたい方法では無い。 でも、実験経済学の手法以外でもっとマシな根拠を提出するのは、かなり難しい。

強すぎる主張の問題点

実験経済学が有害となるのは、結果が強く受け入れられ過ぎる事に思う。 制約の強い実験の結果の一般化が正しくない事があるのは明らかで、でもそれはとても頻繁に行われる。 特に政策に実際に適用されてしまうと、大きな被害を生む場合もある。

保守的に適応していこう、というのと、他の観察研究などの手法も併用して最終判断はしていこう、というのは、たぶん多くの実験経済学シンパの認める所と思う。けれど実際には行われていない事にも思う。

ただ実験経済学により制約の多い実験から過度に強い主張をしている時に、では実験経済学以外はそれをしてないのか?というのは良く考えられるべきに思う。 特に批判者が、特定の相関の観察から因果関係を主張する時は、制約が多い実験を一般化するよりもさらに酷い一般化をしている事になるが、その事には無頓着で実験経済学の側だけ一般化を否定するのはフェアじゃない。そしてこの批判は良く行われている。

本来は、双方が良く分らないという事を表明するべきなのだよな。 実験経済学が既存のまずいやり方に対抗する為にまずい主張をしているというのが現状では無いか。