这两天在学习模式识别中的分类方法，由于知识有限，很多内容看不懂。

前两天做了一个简单的基于贝叶斯决策理论的分类器。在应用合并概率公式时发现一个问题，如果一个样本中有一个词在第一类中出现的概率为1，还有一个词在第一类中出现的概率为0（或者说在第二类中出现的概率为1），这时最终就会出现0除以0的问题，这是我不愿意看到的。还有，只要有一个词在某一类中的概率为1或0，最终概率就会等于1或0，这也是我不愿意看到的。为了解决这个问题，对于在某一类中出现的概率为1或0的词，我把这个概率改为0.999999或0.000001这样接近于1或0的数字。最终测试结果还是比较令人满意的，分得八九不离十。

今天下午看到了一篇论文，里面提到了 Winnow 这个线性分类算法。看了半天没怎么看懂，里面的向量 x = (x₁, x₂, ..., x_n) 表示待分类的文本实例，然后这个 x 向量还要和权重向量 w = (w₁, w₂, ..., w_n)  点乘。这样看来 x 向量里的每个坐标应该都是数字，但是分类时提取出来的都是词，进行到这块就不知道该怎么处理了。不过中科院早已经把这个方法应用到垃圾邮件识别上了，据说效果比贝叶斯的要好一些。