信頼性は、全分散に占める真分散の比率、と定義できる。
古典的テスト理論の文脈では、
であり、このとの比率が信頼性係数とされる。
この関係を因子分析モデルから考えよう。因子分析モデルは
であり、この式から(いくつかの仮定を必要とするが)
とすることができる(因子分析の第一定理)。
ここで共通因子であるとおくと、
となり、項目の相関が二つの分散の比率で表現されることになる。ここで共通因子の因子負荷量であるが真分散、が誤算分散と考えると、これはまさに信頼性係数の表現であり、因子分析は真分散を共通因子の分散の和で表現するモデルであると考えることができる。
例えばアルファ係数に代表される内的整合性信頼性係数も、項目の相関係数を基盤に置いた信頼性係数であり、それが共通因子負荷量の総和で表されることからも、因子分析モデルが信頼性と深く関わっていることが読み取れる。
妥当性は信頼性係数を上限とした測定概念の確からしさを示すものである。
因子分析の第二定理が示すことは、
であり、項目間相関が因子負荷量の積和で等しいことである。言い換えれば、共通の意味的基盤を有しない項目は相関係数が低くなることであり、信頼性の内側には因子という潜在変数、複数の下位概念が一つの尺度を構成していることを、モデル的に表現しているとも言える。
弁別的妥当性は、因子が下位概念に該当する尺度にのみ負荷しているかどうかによって検証できる。因子分析は単純構造の原則と呼ばれる弁別的妥当性を重視する。
また、因子的真実性の原則によれば、因子負荷量が0.3以上の係数を持った、大きく寄与する項目から概念が構成されている必要があるとされる。
これらのことから因子分析モデルは古典的テスト理論における信頼性・妥当性の概念を、潜在的な下位概念による説明力という形で表現し直したものであるといえる。