統計の「お教室」をしておりまして。まじめな教えごさんと話をしていると、うーん、やっぱりな、と思わされるところがある。
心理系、福祉系、社会系で社会調査をしたデータを使って論文を書くことが多いが、そのデータって、ちゃんとしたデータでしょうか。入力ミスは絶対にない？分析方法は適切？
初心者って、やっぱり「本当はやっては行けない分析」をするとか、「本当はまともじゃない尺度」を使っちゃう、というコトがあると思うのです。教え子さんはそういう過誤を犯していないか、とヒヤヒヤらしい。俺は理想論ばかり言うからね(笑)教える側としては当然なんだけど。
もちろん、論文は掲載される前に査読者のチェックがあるんだけど、査読者が全員必ずしも統計解析技術に優れたる人ではない。となると、論文として掲載される前に、専門的な第三者機関がデータのチェックをする、というルールを作るべきだと思うのだ。行動計量学会あたりが音頭をとってやらないかな？
データチェック機構が数名の審査者をつけ、そこでオッケーがでたデータであれば、初めて分析や内容の議論に入れる、というぐらいの公平性がいるんじゃないか。
心理・福祉・社会系の学会が共同して、そのデータチェック機構にお金を出して依頼し、そこで太鼓判を疲れたら話を進めることができる、というようなルールはどうしてできないんだろう。
「専門家がそんな面倒なことしている時間がない」というのであれば、1.チェックにお金を払う、2.基本的なチェックリストを作り、院生がアルバイトとしてチェックをする(もちろんそのチェックリストは公開)、といった対応はあり得ると思うのよな。
データの著作権？守秘義務？という問題があるかもしれないが、そのへんはまぁちゃんと契約する形にして。
普通の論文を見ていても、何でこんな分析したのよとか、このデータ本当にまともか、とかものすごく疑問がわくことがある。仮にも科学で、正しいという知見を積み上げていくという作業をみんなでやるのであれば、データのもっともらしさが何より重要ではないか。間違いのデータの上に理論を構成しても、科学的には全く無意味だからね。後になって、あれ間違えてました、ということになったら、「心理テストはウソでした」に書かれるぞ(笑)
こわいのは、ヘタレが変なデータを使い、しかもその入力ミスに気づかず、無理矢理変な分析をして、それっぽい答えを出してしまうこと。こういう危険性が統計的有意差以上にあるに違いないのに、基本的には著者を信用しているだけ、ってのはなぁ。
なんだかダラダラと書きましたが、そういう「データチェック機構」の設立を昔から夢見ている、というお話しでした。