条件に対してYesかNoで回答し、最終的にクラス分けを行うアルゴリズム。
基本ブーリアン関数で表現する。
教師あり学習を用いた機械学習で、仲間に回帰木がある。
構造は同じだが、最後に回帰結果：数値を得るのが目的。回帰木も合わせて決定木という事もあるが、使い分けされることが多い。
決定木はID3、C4.5などその学習方法によって異なる。1979年、Quinlanによって提唱された。
Concept Learning System（CLS）の１つ。
パターンに基づく特徴量のみで分類する。
知識ベースシステム、エキスパートシステムのニーズに対応する一連のアルゴリズム開発の中で生まれた
Donald Michieのa challenging induction taskに対応するためのプログラムで、C4.5、C5へと続く。
教師ありなので正解ラベルをもとにパラメータの変更を行う。
決定木にとってのパラメータとは条件分岐の順序と不要な条件の削減（次元削減＝枝切り）である。
条件分岐の順序と削減のために統計計算を用いるが、ID3ではエントロピー（情報量）の算出によって構造を決める。
決定木でそのまま画像を分類することはできないので、通常特徴量抽出を行い、その変数を決定木にFeedさせる。
独自に独立変数を用いて分類することもあるが成績が安定しない傾向がある。
画像分類において木構造のを用いる場合、決定木のバギングであるランダムフォレストを用いることが多い。