平均单依赖估计量(Averaged One-Dependence Estimators)

平均单依赖估计量(Averaged One-Dependence Estimators)是一种半朴素贝叶斯学习方法。它通过聚合多个单依赖分类器的预测来执行分类,其中所有属性依赖于相同的单独父属性以及类。它的开发旨在解决流行的朴素贝叶斯分类器的属性独立性问题。它常常以计算量适度增加为代价,比朴素贝叶斯开发出更准确的分类器。像朴素贝叶斯一样,AODE不执行模型选择,也不使用可调参数。因此,它具有较低的方差。

它支持增量学习,通过这些学习,分类器可以通过新示例提供的信息进行有效更新。它预测类别概率,而不是简单地预测单个类别,从而允许用户确定每个分类的可信度。其概率模型可以直接处理某些数据丢失的情况。为了保持效率,可以期望利用单依赖分类器,诸如树扩展型朴素贝叶斯分类器,Tree Augmented Naive Bayes(TAN),其中每个属性取决于类和至多一个其他属性。然而,大多数单依赖分类器学习的方法执行模型选择,这个过程通常会带来相当大的计算开销并且相对于朴素贝叶斯大大增加了方差。

AODE通过对多个单依赖分类器的预测进行平均来避免模型选择。在每个单依赖分类器中,选择一个属性作为所有其他属性的父属性。该属性称为SuperParent,这种单依赖性分类器称为SuperParent单依赖性估计器(SPODE)。

AODE具有计算复杂性 O(ln ^2)在训练时间和 O(kn^2)在分类时刻,其中n是特征的数量,l是训练样本的数量,k是类别的数量。这使得应用于高维数据是不可行的。然而,在这个限制内,它与训练样例的数量成线性关系,因此可以有效地处理大量的训练样例。

由于AODE在避免模型选择的同时,比朴素贝叶斯更弱的属性条件独立性假设,它的偏差大大降低,方差增加很小。

原文:https://github.com/KeKe-Li/tutorial