このブログでは、ロジスティック回帰の基本的な概念と、どのような問題の解決に役立つのかを説明します。
Logistic regression is a classification algorithm used to assign observations to a discrete set of classes.ロジスティック回帰は、クラスの離散的なセットに観測値を割り当てるために使用されます。 分類問題の例としては、電子メールのスパムか否か、オンライン取引の不正か否か、腫瘍の悪性か良性か、などがあります。
What are the types of logistic regression
- Binary (eg. Tumor Malignant or Benign)
- Multi-linear functions failsClass (eg., Bignant or Benign)ロジスティック回帰は確率値を戻すためロジスティック・シグモイド関数でその出力を変形させることができる。 Cats, dogs or Sheep’s)
Logistic Regression
Logistic Regression は分類問題に使用される機械学習アルゴリズムで、確率の概念に基づいた予測分析アルゴリズムです。
ロジスティック回帰の仮説は、コスト関数を 0 と 1 の間に制限する傾向があります。 したがって、1次関数は、1より大きい値または0より小さい値を持つことができ、ロジスティック回帰の仮説に従って不可能であるため、それを表現するのに失敗します。
What is the Sigmoid Function?
予測値を確率に対応付けるためにシグモイド関数を使用します。 この関数は任意の実数値を0と1の間の別の値に対応させます。機械学習では、シグモイドを使って予測値を確率に対応させます。
Hypothesis Representation
線形回帰を使うとき、我々は仮説の公式を使いました。すなわち、
hΘ(x) = β₀ + β₁X
ロジスティック回帰については、それを少し変更しようとします。e.
σ(Z) = σ(β₀ + β₁X)
我々は仮説が0から1までの値を与えると予想しています。
Z = β₀ + β₁X
hΘ(x) = sigmoid(Z)
i.e. hΘ(x)＝1／(1＋e^-)(β₀＋β₁X)
Decision Boundary
入力に予測関数を通し、0から1の間の確率スコアを返すとき、分類器は確率に基づいた出力またはクラスの集合を与えることを期待します。
たとえば、2つのクラスがあり、猫と犬（1 – 犬、0 – 猫）のように考えてみます。 基本的には、閾値以上でクラス1に分類し、閾値未満でクラス2に分類することになります。
上のグラフに示すように、閾値を 0.5 とした場合、予測関数が 0.7 の値を返したらこの観測値を分類 1（犬）とします。
Cost Function
線形回帰のコスト関数J(θ)について学びました。
Logistic Regressionで線形回帰のコスト関数を使ってみると、多くの局所最小値を持つ非凸関数になってしまうので意味がないでしょう。 コスト値を最小化し、グローバルミニマムを見つけることは非常に困難です。
ロジスティック回帰の場合、コスト関数は以下のように定義される。
-log(hθ(x)) if y = 1
-log(1-hθ(x)) if y = 0
は次のように定義される。