Kosugitti's BLOG

アンドロイドは正規分布の夢を見るか

この画面は、簡易表示です

研究メモ

集団とは人間関係行列の固有値である

先日の飲み会で少し漏らした,ちょっとおかしな話を書いておきます。

人間関係の強さを行列で表したとします。なんとなくだけど,関係の強さが-1〜1に標準化されているとして,弱い3人集団だったら,こんな感じ。

第一固有値が0.6で,これは1よりも小さい。ガットマン基準で考えると,固有値1に満たない因子は因子として認めないから,これは有意味な因子がない行列。

強い関係の集団だとします。例えば0.7ぐらいの強さ。

今度は2.1なので,これで意味のある因子がひとつ得られたというところでしょうか。

もちろんこれは全部の要素が同じ行列だから,強さが0.333…であれば固有値1.0を出すことはできるんです。
数学的には何も面白くない。

でも,人の関係というのは強弱があるので,多少事情は違います。非対称行列になるし,対角項はどのように考えるか(自尊心?)についても諸説あるでしょう。でも,基本的な考え方は関係が強くなると共通因子として抽象的なものの実体が固まってくるというもので,まさに集団は人間関係行列における固有値であるということができるのではないでしょうか。

ちなみに細かい説明は省きますが,非対称行列から得られる固有値は複素数になり,そのままだと寄与率をうまく計算できないので,Chino’s HFMで分析する必要がありましょう。

Chino’ HFMは非対称成分を虚数にした複素行列での非対称行列にしてから固有値分解すると,固有値が実数で得られるよという話で,Rで簡単に実行できます。

この時の第一固有値の寄与率は,

これぐらいですから,十分な大きさでない。これが比較的強い関係だと,

となります。

要素間の関係の強さがある一定の基準を越えると,抽象的な関係が像を結ぶ,これが集団だと私は考えています。

人間の面白いところは,例えば今3人集団でやっているので関係行列は3by3ですが,その固有値が1をこえて実体として把握できるようになると,それを変数として4by4の行列に増えて考える,というところです(「みんな」という要素を考える)。

逆に弱まると消えます。随時,像を結んだり結ばなかったりする,そういう対象を追い求める集団力学は,そもそもこういうところから考えていかないと成果を上げられないと思います。



測れていると思うなよ

今日のゼミでの話をまとめておく。

今日はとある尺度間の相関を見るような論文を読んでいたんだけど,少なくとも一方の尺度がそもそも何を測っているかわからない話であった。妥当性の低い尺度だった,と一言で切って落としてもいいんだけど,そもそもソレが尺度で測れていると思うのがどうかしてるぜ?という話になった。

心理尺度で測定するものは,多因子を仮定するとしても,対象としては一つの潜在変数である(だから尺度全体としてのアルファ係数が計算されるし,構成概念妥当性が大事という話になる)。その潜在変数は個人の中にあると仮定され,個人間で共通するものであるはずだ。例えば性格は,個人差はあるにせよ,五つの共通因子からなるとしているし,社会的態度も,その向きや大きさに個人差はあるにせよ,構造は共通しているのである。因子分析は,そういう個人間で共通した静的な構造を取り出す技術である。

さて,その個人間で共通しているという考え方が,実は重要だ。

例えば「東京タワー」とか「富士山」という対象にたいして個人が持つ印象や行動意図,情緒的反応は,個人差はもちろんあるにせよ,ある程度共通している(「どっしりしている」「好きだ」「登りたい」など)と想定するのは,ほとんど無理のない仮定であろう。そのパターンを取り出して尺度化(あなたの個人差はこの程度です,と数値化する)ことは可能である。これは,誰にとっても東京タワーや富士山ははっきりした対象だからであって,例えば誰も知らない地方のゆるキャラを対象に尺度化しても「わからないから何も思えない」となるから測定できないのだ。対象がはっきりと共通した認識をされること,が重要なのである。

そうした具体的対象物でなくても,心理尺度を作ることはできる。例えば社会的事件や出来事に対する態度や,政治や政党に対する態度だ。少年犯罪や地球温暖化に対する態度,というのは誰しもが「あぁあのことか」と思えるし,思っているものに違いがない(と考えられる程度に社会的共通理念がある)ので,その反応についての心理的モデルを作ることができる。政党も,中には色々な人がいるのだろうけど,その政党が持つ理念や方向性がある程度まとまっているので,評定してもらうことが可能だ。もし想定の程度が怪しいようであれば,教示の際に,「〜といった問題になることが多い少年犯罪ですが」といったプライミングをかますことで,同じ指示対象を想定させることが,ある程度はできるだろう。

こうした対象としてのまとまりがゆるくなる,あるいは個々人の中で想定されるものが違ってくると,測定はできずにcase-by-caseとしか言えなくなっていく。それでも例えば,「両親に対する態度」というのはある程度,共通した構造をもっていると想定できるかもしれない。だから,測定できるかもしれない。

私の父親,母親に対する私の態度と,あなたの父親,母親に対するあなたの態度は,違う人に対するものだから,例えば印象とかのレベルでは全然一致するものではないだろう。しかし,「何かあったら自分が面倒見ないといけない」とか「子どもの頃はとても優しく接してくれたと思う」,「自分の子どもには自分が親にしてもらったようなことをしてやろうと思う」という言葉で表現される心理的反応は,ある程度,社会文化的通念のようなものとして,共通した態度空間を想定しても良いかもしれない。

それではさらに個別事例に分かれやすい話であればどうだろう。例えば,恋人に対する態度である。個人的には,このレベルでの反応はギリギリ認められるかどうか,である(だって私はロマンチストだから)。恋仲になった二人がすること,思うこと,というのは結局のところ,誰だって同じようなことをしている・思っているのかもしれない。それでも,私が私の恋人に対して抱く感情や行動意図が,あなたがあなたの恋人に対して抱くそれと同じ構造を持っているかというと,ちょっと違うんじゃないかなあ,と思う。まあこの辺は,議論の多いところだろう。実際,Rubinのlove-liking尺度というのがあるわけだから,冷めて考えてみると恋愛的好意というのは個人間で共通する構造を持つのだ!と言うのであれば,まあ認めなくはないけどさ。

ただし,恋人に対する態度を測定する時に,調査対象者の中には交際相手がいない人,交際をしたことがない人というのはいる可能性があるわけで,「そういうときは,いるものと思って回答してください」といった教示をするのはやりすぎだろうと思うのである。交際をしたことがない人が,恋人とはきっとこういうものだろうと想定して回答したとして,その回答と実際に恋人がいてその人を思って回答するのとでは,対象が違うこと以上に実質的な違いもあるだろうと思うからだ(思いません?)。もちろん,実際にやってみて検証しろよ,という向きもあるかもしれないが,そこで差が出なかったとしても社会的望ましさによるものであり,社会通念としての「恋人」についての反応だから共通構造が出たと考えられる。

だから,家族のあり方や恋人のあり方が多様化していく中で,こうした調査は色々注意しなければならない。例えば「お父さんについてお答え下さい」といっても,同居していないお父さん,血の繋がっていないお父さん,三人目の育ての父,など様々なパターンが考えられて,中にはお父さんのことについては聞いて欲しくない,という人もいるかもしれない。そういう人に,「いわゆるお父さんであればなんでもいい」みたいな聞き方は失礼だし,そんなやり方でなんのデータが得られるというのだ。

 

さて。さらに問題になるのは,例えば「友人に対する態度」や「教師に対する態度」といった,対象の枠組みが明確でなく,かつ,対象の中での分散が大きいと思われる場合,である。「あなたは友人にたいして,なんでも相談できますか」というような項目があったとして,まず私の友人に対する私の態度と,あなたの友人に対するあなたの態度に共通するところはあるだろうか。さらに,その友人として,私やあなたは,誰を想定するのだろうか。

私の友人の中には,なんでも相談できる人もいれば,そうでない人もいる。この項目で思い描いた友人は「なんでも相談できる人」だったが,その次の項目でも同じ人を想定し続けて答え続けるだろうか?教示が「友人」だけであれば,様々に揺れ動くことの方があり得る話だろう。つまり,項目ごとに個人の中でも違う友人を想定していて,個人間でも当然違う友人が想定されているなかで,共通した心理構造がとりだせるだろうか?私は,これは無理だろうと思うのである。

いわんや測定の方法が,回顧を含むものであれば,なおさら悪い。すなわち「あなたは今までの友達になんでも相談できましたか」,というような聞き方は最悪である。思い出している時点で,かなり記憶の歪みが入り込んでいると考えられる。いわゆる貴様は今まで食ったパンの枚数を覚えているのか?問題である。そして「〜はあるか」と聞かれても,そうであったこともそうでなかったこともある,という場合,どう答えていいのかわからない。10年間の友人Aには相談したが,5年前の友人Bには相談する機会がついぞなかった,という場合に,私の友人一般は相談しやすい相手と私に認識されていたのだろうか?

こんな尺度(項目)からは,なんら実体的で有意義な情報は得られないだろう。得られることがあるとしたら,一般的に想定される<友人>に対する一般的な<態度>を持つであろうという想定に想定を重ねた架空の反応であって,隔靴掻痒,測りたいものが測れていないのである。そんなもんで測れていると思うなよ!

 

難しいことに,人間は断片的な情報から抽象化・概念化・対象化することが可能であるという認識メカニズムを持っているので,「今までの多くの様々な友人共通の<友人らしさ>」というのを抽出し,想定し,考えることができてしまう。できるのだが,そこに実際の友人は存在しないのである。

困ったことに,人間はそういう能力があるからか,五段階の目盛りのどこかに丸をつけろと言われると,なんとなく付けられてしまうのである。抽象概念としての<友人>について語ることは難しくても,その友人が「どちらかといえば仲良くしたいと思う」といった反応に丸を付けることは可能だ。なんなら,何も考えなくても丸をつけるだけならつけられるのだ。

さらに面倒なことに,複数の項目に対して付けられた段階的反応が山のように集まると,因子分析をすることでなんらかの傾向=因子を取り出すことができるのだ。この因子を取り出す手続きがルーチン化されてしまっているから,一定の基準で客観的に取り出せた,と思ってしまう。そうして取り出せたものの解釈をするときに,あら不思議,何か意味が通るようなまとまりをしているのである。なぜならそれは,自分が関係あるだろうという項目を並べたからであるし,回答者の方も文意になんとなく感じる共通性に従って反応しているだけだからだ。

本当に心の反応を測ろうとするのであれば,迂闊になんでも測れると思ってしまわないことが肝要である。あなたが測ろうと思っているものは,本当に思うようなものでしょうか?



春の方法論セミナーに参加してきました

社会心理学会の春の方法論セミナー、GLMMスペシャルに参加してきました。

行動計量学会の春セミナーでも久保先生のお話を聞いてきたけど、同じ人から違う切り口で繰り返し聞くってのも大事だね。わかり方ってのも一通りじゃないから、あーやはりそれは大事だなとか、あーそういう説明の仕方もあるか、とか。

とにかくデータは図にしろという強いメッセージは、よくわかりました。要は、GLMMってのは様々な要因、データの相と元に関する添え字一つひとつについて、データ生成モデルから考えなさい、分布に配慮しなさいという事なんだよな。図示するというのも、相ごとに切り分けて考えると自然に出てくる考えだし、図にすると今まで考えてなかった=考えられてなかった所も無視できないってのが如実に明らかになるのよね。

そういう文脈で行くと、従来の方法論は仮定でガッチガチ、緩めたいところはパッチを当ててシステム維持、という堅苦しさがあることに気づく。

清水くんが、分散分析をWindowsXPに喩えて、Windows7,8があるのにまだそれ使いますか?と言い表したのは、言い得て妙だな。カンシンシタヨ。

じゃあもうベイズで=Macで、という決心がつかない人でも、GLMMはできるようになっておいたほうがいいな。そのうち分散分析はオワコンという認識が心理学界にも遠からず訪れるだろうからね。

帰路では今日の刺激的な話を踏まえ、これをどう教育に生かしていくか、というのは難しい問題だなあと悩みながら、書くべき本の目次を考えましたとさ。



採点の祭典と項目遊び

講義でIRTを教えているもんですからね,自分のテストの項目が良問だったかどうか,当然チェックしたいわけです。

内容が重複する二つの講義が毎年あって,片方は100人超の大講義なので,普通紙マークシートに回答してもらっています。おかげさまでほとんど読み取りミスもなく,マークシート読取君3FUJITSU ScanSnap S1500 FI-S1500で集計は一気に終了。ここからRを使っての項目分析(採点の祭典)となるわけです。

毎年のデータをマージして,共通の項目で等価。二年経った今でも300ケースないので項目母数は安定しないけど(そんなときはMCMCで推定してみたりして)。まあ基本的に,ltmパッケージのltm関数でやります。

で,項目母数を見ながら考えるのです。あー,この項目は難しかったか,これは簡単すぎるなあとか。今回のテストのピークはどの変だったろうか,と言ったことを。

これを見ていると,サンプルサイズがまだまだ小さいということはあるにせよ,項目母数の中にはひどいものがあるわけです。というか,ひどい方が多いかなあ。

まあしっかり能力推定,というより合格してもらうために,基礎的な知識を問う客観テストにしているし,何より持ち込み可でやるもんだから,精度を求めるもんではないんですが。

そんな中でも,これは綺麗なICCだなあというベスト3がこちら。

RplotICC

Qid7は「次の統計量を表す数式を数式群の中から選び,数式に付与された数字をマークしなさい」という問いのひとつ。

「妥当性」

で,数式群のなかに正解がないから,答えは「(8) 該当するものがない」です。

識別力がかなり緩やかで,困難度も低いけど,これでダメだったらダメだね,ってのがよく分かる問題じゃないかしら。

同様に困難度がもう少し低いのがQid43で,「プロクラステス回転は直交回転の一つである。正しければ1,間違っていれば2にマークせよ」です。綺麗なS字ですね。

お手本のようなS字カーブはQid105「因子分析の基本モデルについて,次の記号は何を意味するか。該当する番号を語群から選びマークしなさい」という問いで,u_{ij}は?というやつ。正解は「独自因子の因子得点」なんですけど,識別力3.11,困難度-0.184ぐらい。ちょうどええ。

 

こういう良問は残していって,悪問(識別力が負になるのが結構ある(´Д` ))を駆逐していく。項目はプールしてあって,Qidという統一のIDが振られているから,従来のデータに基づいて困難度を適当に選びつつ問題を構成してます。

 

被験者母数を線形変換して採点するんだけど,結局小数点は丸めるし,なにより合計点(正答数の総和)との相関が0.9以上になるんだけどね。

ええ,ただの趣味ですよ。ええ。

 



全情報分析のコード

ということで,なんで双対尺度法のコードまで作っちゃったかというと,全情報分析がやりたかったから。

すでに掲載した私流の双対尺度法コードの返り値をつかって,全情報分析に使う距離行列を算出するのが次のコード。

ちなみに全情報分析とは,双対尺度法で最適な重みをつけられた行・列の空間の距離を計算することで全ての次元における全ての最適重みをつかって行・列データの分類を行う方法で,この関数で算出された距離行列に対して例えばk-means法を使うことを提案している。

もちろん,k-means法に限らなくても,改良k-means法や自己組織化マップ,MDSなどを使っても良いだろう(因子分析など次元圧縮を行うのは,せっかく全部の情報を使おうとしているこの手法の哲学に沿わないだろうからふさわしくないと思われるが)。

テキストの例を次のように入れてみたら,きちんと結果は再現された。もっとも,k-means法は乱数アルゴリズムを使っているから,必ず同じ結果が再現されるとは限らないが。

皆さんもぜひ遊んでみてください。

出典;行動科学のためのデータ解析―情報把握に適した方法の利用

追記 関数名に誤記がありましたので直しました。前記事のDualScaling関数の戻り値をTIA.dist関数に渡すと距離行列が返ってきます。



双対尺度法を自作してみた

前回の続き。
交互平均法で出てくるのは第一成分だけなので,複数の次元を出すために残差行列を計算してさらに交互平均法をする,という作業を繰り返す必要がある。

実装してみたコードがこちら。このコードの中に交互平均法のアルゴリズムも含まれています。

ちなみに,青木先生のサイトにも双対尺度法のコードがあって,こちらはRの固有値分解関数などをつかっているので,より安心安全にお使いいただけます。こっちのコードは交互平均法による習作ですから。

あと,西里先生の研究チームによる双対尺度法のRパッケージ,dualScaleというのもある。

dualScale: Dual Scaling Analysis of Multiple Choice Data

これは多肢選択法にdual scalingをするdsMC,強制分類法をするdsFCという二つの関数しかないけれども,どちらもとても魅力的な手法なので,パッケージで供給されているのはとてもありがたい。今後このパッケージがどんどん発展してくれるといいですね。

dsMCをつかって5件法でデータ取ってる研究全部やり直したいぐらいだよ,ほんとに。



交互平均法のコード

西里先生のこの本を見ていると,自分でコードを書いてちゃんと理解したくなった。

[amazonjs asin=”4563052183″ locale=”JP” title=”行動科学のためのデータ解析―情報把握に適した方法の利用”]

ということで,2章にある双対尺度法の基本アルゴリズム,交互平均法についてのコードがこちら。

 

関数名はrecipro_aveで,クロス集計表のデータを渡してやれば結果を返すようになっている。
オプションとして,収束基準eps(デフォルトは1e-10),回転上限iter.max(デフォルトは1000),最初につける列重みベクトルstart.vec(デフォルトはNULLで,正規乱数を入れるようになっている),各ステップを出力するかどうかproc(デフォルトはFALSE)が決められるようになっている。
授業などでデモンストレーションするときは,start.vecにc(1,2,3)などを渡してproc=Tとすると,一手ずつ計算結果が出力されるのでよろしいかと。



全情報分析!

行動計量学会2日目は、西里先生のご講演から。

学生の頃に集中講義を受けたことがあり、また博士論文を面白いことをなさってますね、とわかってくださったので、尊敬するというかなついているというか、素敵な人なのです。

分散共分散行列をもとに分析をするのが王道の統計解析業界にあって、非線形性を考慮することの大切さをとき、歪んだリッカート尺度の使い方を批判しつつ、双対尺度法という解決策の提示もされている方。心理学畑出身のメトリシャンというところも共感するなぁ。

さて、講義は歪んだ分布なのに間隔尺度と言い張る問題点の指摘、ご自身の双対尺度法のお話から始まって、あーいつものだな、と思っていたが。

なんと10年ぐらい前に聞いた話から少し変わっていて、「やはり射影するのは良くないですね」とか「双対尺度法って名前が良くないな」とか、エッと思わせる発言もあったのだが、何より驚いたのは、近年も論文を出し続けていること。

中でも、全情報分析はすごく面白い!双対尺度法を愚直に調査データに当てはめると、行列がでかくなりすぎて解釈できないレベルになるから実用的ではないなぁ、と思っていましたが、それを乗り越える分析法を提案されていたのだ!ウワォ!
(文献はこちら)

初めて双対尺度法を習ったときは、これで世の中の尺度は全部やり直しだ!と思ったもんだが、この分析法なら、尺度→因子分析の流れも全部これに取って代わるレベルの大問題だと思うぜ!

御年78歳と伺ったが、なおまだお元気で、最近は同僚とRのパッケージ提供も始めたそうな(dualScaleパッケージ)。
一つのことをずっとずっと追い求めて、一歩一歩進んで行く、学者魂は本当に素晴らしい。
物腰も柔らかい、優しい人でもあるんだこれが。
勝手に西里先生の思想を引き継ぐのは俺だ!と決心させてもらいましたよ。心の中の弟子入り(15年ぶり2度目)。

勉強になりました。

夜の懇親会では美味しい日本酒をたくさんいただき、いろんな人とお知り合いになれたのだが、大学から駅まで4-50分ほどS先生とプラプラ歩いたのも楽しかったなぁ。おかげで帰って直ぐに眠れましたよ。

この学会を第一学会にしてる人たちの仲間に、私も入れてもらいましょう。



なめらかなゼミ合宿とその敵

ゼミ合宿に行ってまいりました。今年の課題図書はこれ。

[amazonjs asin=”4326602473″ locale=”JP” title=”なめらかな社会とその敵”]

この本,課題図書として適切なのかどうか,判断に最後まで迷ったのだ。難易度としては軽めで,二年生もいるゼミだから,ちょうどいいと思うのだけど,学術理論的な話だけでもないし,実践的な話だけでもない,悪く言えば中途半端な本。

話のテーマは,Fiskeの言う尺度水準と社会文化の対応を,貨幣や投票のレベルで比率尺度水準に上げましょうという提案。それに外在主義的哲学や,オートポイエティックな社会観などを混ぜ込んだり,乗冪法による固有値分解で社会貢献度を評価するあたり,理論的な話のようである。しかし,その使い方が,読者を煙に巻くためだけに使っているようなんだよね。マルコフ過程とか固有値とかいう単語を「宝物見つけた」と言わんばかりに宣伝して,ビビらせようとしているだけちゃう?という印象。

一方で,実践するためのソフトやワークショップ報告なんかもあって,実務的にもできますよってな感じを見せている。よくわからなくても,動くということは説得力がなくはない。でも語尾は必ず「これからの情報技術が進めばきっと何とかなるさ」という言い方で,「そこは勢いじゃなくて実際どのようにやっていくかもっとまじめに考えろよ」と言いたくなる。

多分この著者のアイデアは革命のように,ある日突然,社会全体がこの新しい価値観を持つようになれば成功する。でも今の社会から徐々に(なめらかに)変わって行くのはおそらく無理だろう。人間とは著者が否定するほどなめらかでなくもないんですよ。

やるのなら,政党の得票数に応じて運用できる予算額を比例配分する,といった制度を地方自治体で導入する,という所ぐらいからじゃないとダメなんじゃないかなあ。

この本についてAmazonの書評をみても,「これだ!」と賛成している人もいれば,「何を今更」とか「もっと細部まで作り込めよ」みたいな反応に二分されるみたいです。大学の,ゼミのテーマとしてやるためには,もう少し本質的な議論をする本をテーマに選んだ方が良かったかなあ,と。少し反省。来年はもっとゴリゴリでいきますか?!

 

それはさておき。

宿につくやいなやプロジェクターをつけ発表を始めたのが15時前だったけど,18時頃までかかって,風呂や夕食(食後の花火は市レベルで禁止されているという)のあと22時から26時まで,発表会第2部。いつもながら,学生のタフネスには感心します。

こういう,おそらく学生にとっては普段の講義では聞かないような話の,自分ではまあ手を伸ばさないだろう本を課題図書にされて,担当章の発表をさせられるわけだけど,そのプレゼン技術に関して,すごいなあと思う。

私が学生の頃はレジメをきってそれを輪読するスタイルだったけど,今はパワポでスライド表示。そうすると,書き込める情報量が減るからか,挿絵やいわゆるネタ画像で要約するようになるわけです。分かったつもりになって逃げる,そういうイラストの使い方になってやしないかと少し気にはなるんだけど,確かに分かりやすい,うまいこというね!という切り口で表現するんだよな。

多分,昨今のジャパニメーション,日本のサブカルチャーは話の作り込みがどんどん細かくなって,哲学的になってる。だから,例えばシステム論とかでも,ガンダムやまどまぎで喩えられるんだよな。アニメなどで表現されて広まっているから,ソースは豊かなのです。そして学生も面白いものを切り取ってネタとして使う,という表現方法を心得ている。なんでも大喜利にしてしまうTwitter文化的表現が,見せる側も見る側もしっかり共有できているんだよな。ソースが逸品,ソースの使い回しも逸品。これを文化や教養といわずしてなんと言えばいいのか。

今時の学生さん(といえば自分が老けたように感じるが)のノリはよくわからないけど,一緒に時間を過ごしている(つきあってくれている)という事実はあるし,共通のテキストを持って(宿の一室で)議論するという訳の分からない活動こそ,なめらかな社会の実践だし,私のゼミは社会心理学のそういう実践でもあるわけです。楽しく続けて行けたらいいなあと思います。

 

翌日は呉に移動して,大和ミュージアムと鉄のクジラ館を見学。ドライブ中の「英語を使うと100円罰金」というゲームに散財しましたが,楽しく合宿ができました。

IMG_1956.JPG



rstan2.3.0お目見え

昨日ちょうどstanコードの比較云々の記事を書いたのだけど,月曜日にrstanが2.3にバージョンアップしてたのねえ。(本家サイトはこちら

しかも,インストールの方法が楽になった!たった数行コードをコピペするだけでできたよ(もちろんRcppなどコンパイル環境が整っている必要があるけれども)。インストール時にRcppやinlineも一緒にコンパイルするようになっているから,以前のエントリーで書いたような問題は気にせずに進めるようになってるよ。

 

ちなみに,新しいバージョンでの測度比較してみた。サンプルコードの8schoolsなんだけど,やはり仮想環境のUbuntuが最速,次いで仮想のWindows,最後にMacだったなあ。

MacでもCPU最適化してくれんかねえ。

 

Ubuntu

スクリーンショット 2014-06-25 13.38.04

Windows

スクリーンショット 2014-06-25 13.38.16

Mac

スクリーンショット 2014-06-25 13.38.28




top