後期に入って，学生や院生が指導を求めてやってくることが増えた。
指導していて嫌になるのは，「ある概念AとBを思いついた，尺度集を見たら尺度があったので，それを両方いれて調査票を作った」という計画の場合だ。
これで有意差が出るでしょうか，関係があると思うのですがどうでしょうか，と相談されると辛い。辛いを通り越して，立腹することもあるし，憤死しそうになることもある。ちなみに，最も困るのは「やったのですけどどうでしょうか」と調査データがある場合だ。やっちゃったらどうもこうもねえよ。
関係があるか，といわれたら，個人内の反応である限り完全に独立していることは少ないだろうから，どこかに有意なパスぐらいひける。Nが多ければなおさらだ*1。
何が困るのか，というと，それが明らかに研究計画と実際のデータに整合性がない，ということがほとんどだからだ。
研究の相談に来られると，まず研究計画を聞く。どういう概念を重要視していて，それらがどのような関係になると考えているのか，を問う。ここが明確に答えられない場合は，問い詰める。俺は調査屋と思われているようだが，質問紙調査は始める前に，デザインの段階で九割方成功するかどうかが決まっている。もちろん実験でもなんでもそうだけど。
心理学的な構成概念というやつは，目に見えないものだけに，しっかり定まったかどうかの判断ができるかどうかがキーになる。多くのつまらない研究は，構成概念的な妥当性がないものを追い求めていることに起因している。
たとえば自尊心，ストレス，対人相互作用という初歩的な？一般的な？概念一つとっても，本当にそんなモンを想定する必要があるのかどうかは議論が分かれるところだ*2。専門性のレベルがあがると余計にその存在基盤を明確にしなければならない。
専門性の高い＝聞き慣れない構成概念は，なんだかすごいことを言っているような気がするみたいである。「あ，これだ！」と思わせる力があるようだ。それでその概念をどうやってはかるのか？を調べてみたら，なんと心理尺度集という本が出ていて，そこに測り方を書いてある。あぁ，先行研究があるんだ，測定法まで確立されているんだ，じゃあ間違いない，と思いこむ。で調査票をつくる・・・。
でも実際に研究計画を聞いてみると，考えている概念Aは本来A’あるいはBとも言うべきものであって，Aを測るらしいと持ってきた尺度はαを測るもので・・・というズレが重なり，研究計画ではA’→B’がしたいようなのに，調査票に載っているのはα，β，γである*3，という状況になっていたりする。
原因は色々あるだろうけれども，一つは「尺度集を見たら載っていたので正しいと思う」という箇所だろう。
心理尺度集は使わない方が良い。理由の一つは，質が悪いから，である。
根拠の一つは，分析方法が古いことだ。主因子法バリマックス回転してでた結果に基づき，確認できたので，下位因子ごとに項目の素点を足して因子得点とする，こんなやり方もう古いぜ。多次元項目反応理論ぐらいつかえ。間隔尺度水準が仮定できなさそうなのもある。
さらにいえば，論拠・出典が登校論文レベルでないものがあるからだ。概念的妥当性が怪しいのもある。少なくとも，特定の文脈を離れると怪しい概念がある。
それのに，それっぽい名前がついているので，ついつい手が出てしまうんだろう。
社会学者の(故)木村洋二先生は，概念(や因子)に命名するときはすごく慎重になるように，とよく言っていた。一度命名してしまうと，今度はその名前をつかって考えるようになるからだ。名が体を表していなかったら，思考全体が間違ったことになるからだ。これは本当に大事なことだ。
心理尺度集をつかってはいけない第二の理由は，このラベルにミスリードされる可能性が高いからである。
研究はよくよく考えてから始めなければならない。調査であれ実験であれ，協力してくれる人がいるのだから，その人達の善意をこちらの無能で無にするのは，反社会的行為ですらある。
当たり前のことだが，「勢いでチョイチョイ」と研究してはいけないし，そんな学生を認めない。