独立性検定とは、クロス集計表を作成したとき、2つの属性が独立であるかどうかを統計的に判定する方法です。 独立性検定を行う手順は次の通りです。 仮説を立てる 帰無仮説H0:属性Ai(i=1,…,m)とBj(j=
R検定 カイ二乗検定 – 適合度検定
適合度検定とは、観測度数分布が期待度数分布と同じかどうかを統計的に確かめる方法です。 適合度検定を行う手順は次の通りです。 仮説を立てる 帰無仮説 H0:観測度数分布と期待度数分布が同じ 対立仮説 H1:観測度数分布と期
Wikipediaのデータファイルをプレーンテキストに変換する
Wikipediaのデータファイルをプレーンテキストに変換する方法を備忘記録として記しておく。 Wikipedia日本語版のデータファイルは以下のサイトからダウンロードできる。 ウィキペディア日本語版 Wikipedia
Python×Ubuntu14.04 CaboChaを用いて係り受け構造を抽出する方法
Pythonと日本語係り受け解析器であるCaboChaを用いて係る語と受ける語のペアを抽出する方法をご紹介する。 環境:Ubuntu14.04 Pythonツールのインストール PythonからCaboChaを扱うために
Ubuntu14.04 日本語係り受け解析器CaboChaのインストール手順
日本語のテキストデータを解析する際に、係り受けを抽出したいときがあります。係り受けを行うことができるフリーのソフトウェアの一つにCaboChaがある。CaboChaは, Support Vector Machinesに基
R×rpart 決定木 – 回帰木
ここでは、決定木の目的変数が連続値である場合の回帰木について、R言語の「rpart」パッケージを用いて簡単に見ていきます。 まずは必要となるパッケージのインストールとロードを行います。「rpart」パッケージは決定木を行
R×rpart 決定木 – 分類木
決定木とは、分類ルールを木構造で表したものです。分類したいデータを目的変数(従属変数)、分類するために用いるデータを説明変数(独立変数)といいます。目的変数がカテゴリデータなどの場合は「分類木」、連続値などの量的データの
R×Ubuntu14.04 RStudioのインストール手順
Ubuntuにデスクトップ版のRStudioをインストールするための手順をお伝えします。 まず、Ubuntuが32bitか64bitかを確認するため、端末を起動させ(ショートカットキー:Ctrl+Alt+t)、以下のコマ
R×Ubuntu14.04 Rのインストール手順
UbuntuにRをインストールするための手順をお伝えします。 Ubuntuのバージョン確認 Ubuntuのバージョンを確認するために、端末を起動し(ショートカットキー:Ctrl+Alt+t)、以下のコマンドを実行します。
Python 度数分布表から乱数を生成する
Pythonで与えられた度数分布に従う乱数を生成する方法をご紹介する。 さっそくだが、全コードを以下に記す。 import random import matplotlib.pyplot as plt def rando