統計解析のメモ帳～機械学習のアルゴリズム編～
教師有り学習と教師無し学習
教師有り学習の例
・データ依存の手法
・確立依存の手法
・ルールベースの手法
・回帰分析による手法
教師無し学習の例
・クラスタリング手法
・相関ルールの抽出方法
機械学習は主に教師有り学習と、教師無し学習に分けられる。
教師無し学習は色々な属性を持つものを似たもの同士に分類する手法
クラスタリング手法と相関ルールの抽出方法がある。
クラスタリングの手法には自己組織化写像（コホネンネットワーク・ＳＯＭ）などがある。
相関ルール抽出の手法には、古くにIBMが開発したAprioriアルゴリズムなどがある。
教師有り学習は、問題と答えを対にして与えて学習させ、最終的には高い精度で問題から正解を導き出すことを目的とするもの。
ここでは教師有り学習について具体例を交えながら学習したことについて、再アウトプットすることで記憶を整理したい。
例えばある人がゴルフに行くか行かないかについて、以下のようなデータがあったとする。
各項目を数値に置き換える
この青で囲まれたデータを元にしてテスト用のデータとし、17行目の答え（ゴルフへ行く）が導き出せるようなアルゴリズムについて考察したい。
まずは一番簡単なデータ依存の手法で。。。
・データ依存の手法
データ依存の手法とは、膨大なデータの中から最も質問に近いものを探し出して、類似度の近いものの答えがなんであったかを集計して答えを確率的に計算するもの。
１００％一致するデータがなくとも問題との相似度とその問題の答えになるものを集めていき、答えである可能性の高いものを順番に並べていき答えを推測する。
では類似度はどう計算するか？
コサイン類似度というものを使ってみた。
コサイン類似度は、ある数列がどの程度似通っているかを数値で比較するもの。
例えばゴルフの表でいうと8列目の「2,1,2,1」はテスト用データの「1,1,3,1」とのコサイン類似度は0.91287。
一番サンプルデータに近いのは、7列目の「1,1,2,1」でコサイン類似度は0.98198。
7列目の結果は1つまりゴルフに行く。となっているのでサンプルデータである、「晴れで、気温も高く、湿度も高く、風がある場合」、ある人はゴルフに行くだろう。と予測できる。
元々答えがあるデータなので確かめてみると17行目のパターンでは確かにゴルフへ行く、となっている。
ここまで書いたが絶対どっか間違ってる気がするし、間違ってても誰も指摘してくれないだろうし、大体こんなページ誰も見てないだろうし・・・・
もうちょっと勉強し直して出直してきます。。。。(ノД`)
ビッグデータにおける多変量解析のメモ帳
統計・解析等を勉強していく中で覚えたことを備忘録代わりに書き連ねていきます。
あまり役に立つものでも、面白いものでもありませんが、まにか間違ってたら突っ込んでもらえると助かります。
ここではデータ分析手法の一つである、多変量解析について勉強したことを備忘録として書き連ねていきます。
多変量解析（たへんりょうかいせき、英語: multivariate statistics）とは、複数の結果変数からなる多変量データを統計的に扱う手法。主成分分析、因子分析、クラスター分析などがある。一般に、多変量解析を行うためには計算負荷が高く手計算ではきわめて困難だが、コンピュータの発展により、容易に実行できるようになった。
近年では共分散構造分析（構造方程式モデリングとも言う）が普及してきている。一方、探索的多変量解析で総称される各種の手法がデータマイニングなどでよく使われるようになっている。
「多変量解析とは複数の変数に関するデータをもとにして、これらの変数間の相互関連を分析する統計的技法の総称である（体系マーケティングリサーチ事典：同友館）」とあるように、性別や年齢などの属性プロフィールデータや、ある商品やサービスに対しての認知度や理解度、好意度等に、どういう関係があるかを統計的に分析しようという極めて科学的な手法です。
自分なりの解釈では、
多変量解析とは、ある現象に１つ以上の数値（要因・要素）の大小、有無などが関係しており、そのような数値が結果に対してどのように関わっているのか、もしくはいないのかということを調べ、今後どのような結果になるかを予測しようというもの。
どうでしょうか？間違ってたら誰か指摘して下さい＾＾；
１つ以上の数値（要因・要素）は大きく分けて以下の４つに大別される。
1.名義尺度
「質」に関わる尺度（要素）でそれぞれ異なる名義尺度同士を比べたり、大小を比較したり出来ない。
加減乗除のいずれも出来ない（しても意味がない）尺度のこと。
（例）性別・人名・職業・名前・電話番号・地域・等
2.順序尺度
名義尺度と同じく「質」に関わる尺度で、順序にのみ意味があり、尺度同士を比べることは出来ても足したり引いたり出来ない。
（例）「甲・乙・丙」「長男・次男・三男」「暑い・涼しい・寒い」「悪化・変わらず・改善」
足したり引いたり出来ない理由は、例えば「暑い」と「涼しい」の差と、「涼しい」と寒いの差が同じとは限らないため。
3.間隔尺度
「量」に関わる尺度で、それぞれの間隔に意味がある。「暑い」「涼しい」「寒い」は、上記の通り順にのみ意味があるが、これを「0℃・15℃・30℃」すれば、それぞれの間隔が等しくなり、間隔尺度として取り扱うことになる。
足したり引いたりは出来るが掛けたり割ったりは出来ない。
15℃に15℃を足して30℃としたり、30℃から15℃引いて15℃とすることも出来るが、30℃と15℃を比べて、暑さが「2倍になった」とはいえない
他にも、偏差値や、IQの数値などがこれに当てはまる。
4.比率尺度
「量」に関わる尺度で、0にも、それぞれの数値の比率にも意味がある。
加減乗除を行うことが出来る。一般的にいう物理量である。
質量・距離・大きさ・金額等
その分類を間違えると多変量解説において後々大きなミスリードを来すので注意が必要。
Microsoft社やIBM社は凋落するか
どんな大成功を収めた企業であってもその勢いは永遠には保たれない。
Microsoft社やIBM社とて同様だ。
それは全くその通りだ。
日本にも古来から盛者必衰という故事成語がある。
「祇園精舎の鐘の色、諸行無常の響き有り。沙羅双樹の花の色、盛者必衰の理を現す」
しかしこの平家物語の一節も忘れ去られることなく現代日本に歴史の一部として受け継がれている。
コンピューターやインターネットの歴史はまだそれほど深くない。
しかしこれらの黎明期や普及期に大きな影響力を残した企業が容易に倒産し忘れ去られてしまうものだろうか？
自分は同じ事がMicrosoft社やIBM社にもいえると思う。
現在Microsoft社の製品は新興勢のGoogleやAmazonなどの企業と比べるとかなり色あせて見える。
GoogleやAmazonを筆頭とする新興勢は次々と産業界にイノベーションをおこし続けているのに比べると、Microsoft社の事業は巨大に膨らんだWindowsやOfficeなどの製品群のシェアを維持し、引き続きそれらで収益を上げる事に全ての力をつぎ込んでいるように見えるし、何かイノベーティブなものを連続的に生み出しているという印象はない。
だが1990年代後半のAppleを思い出して欲しい。当時AppleはMicrosoft社のWindowsやIBMPCなどに大きく差を付けられ、収益も落ち込みIT戦争における無残な敗者と目されていた。
しかし2000年代に入りiPodやiPhoneが次々と発売され、その後どうなったかは改めて語るまでもないだろう。
それを踏まえればIT業界も盛者必衰と感傷的にいうよりは、栄枯盛衰と形容した方がしっくりくる。
Amazon Mechanical Turk
AWSにしばらく前に申し込んだのだが、Amazon Mechanical Turk、日本居住者は使わせてもらえないらしい。
少なくともサポートの人にはそう言われた。日本語のマニュアルが出回ってるあたりからして使えないというのもおかしな話の気がするのだがなんでだ。。。
スキルの幅を広げるため、AWSについても勉強しようと思ってた矢先にちょっと水を差された気分。。。
ちなみに今日はスクー（schoo）というオンライン講座のサイトで統計・分析についてちょっと勉強した。
最近もてはやされてるビッグデータというのも、ようは理屈だけではダメで儲けに以下につなげられるかが肝心とのこと。
まあ、そりゃそうでしょうな。
新しい事を学ぶのも悪くはないが、あまり手を伸ばしすぎて自滅することのないようにしたい。
自分の勉強は半分趣味はいってるので。。。
