技术标签: 算法
贝叶斯分类算法是统计学中的一种概率分类方法,朴素贝叶斯分类是贝叶斯分类中最简单的一种。其分类原理就是利用贝叶斯公式根据某特征的先验概率计算出其后验概率,然后选择具有最大后验概率作为该特征所属的类。
之所以称之为“朴素”,是因为贝叶斯分类只做最原始、最简单的假设:所有的特征之间是相对独立的。
假设X有x1,x2,…xn个特征,P(x) = P(x1)P(x2)…P(xn)
假设有A,B两个事件,在B事件发生的条件下,A事件发生的概率。
考察在每一种情况下事件A发生的概率,计算A的概率。
公式表示若事件A1,A2,…,An构成一个完备事件组且都有正概率,则对任意一个事件B都有公式成立。
在事件A发生的条件下,考察每种情况出现的条件概率
其中样本空间由A和A’组成。
由条件概率公式:
P(A):为先验概率,即在B事件发生之前,对A事件发生概率的预判。
P(A|B):为后验概率,即在B事件发生之后,对A事件发生概率的重新评估。
P(B|A)/P(B):为可能性函数,是一个调整因子,使得预估概率更加接近真实概率。
所以贝叶斯公式可以表示为:后验概率=先验概率 * 调整因子
如果调整因子>1,则表示先验概率被增强,事件A发生的可能性变大。
如果调整因子=1,则表示事件B对判断事件A发生的概率没有帮助。
如果调整因子<1,则表示先验概率被削弱,事件A发生的可能性变小。
注意:用朴素贝叶斯算法对案例进行分类时,主要是通过求分类目标的最大后验概率来进行分类。由于在同种情况下贝叶斯公式的分母是相同的,所以在计算是可以将分母忽略,以减少计算。
已知某人的出行记录和气象记录,来预判这个人是否会出行。
由上述表格可知,类别一共有两个:出门和不出门。特征一共有四个:天气、温度、湿度和风。
我们来预测一下在雨天、热、湿度高、无风的情况下,这个人是否出门。
通过(11)中的表达式可以得出:
P(出门∣雨天/热/高/无风)=P(出门)P(雨天∣出门)P(热∣出门)P(高∣出门)P(无风∣出门)
P(不出门∣雨天/热/高/无风)=P(不出门)P(雨天∣不出门)P(热∣不出门)P(高∣不出门)P(无风∣不出门)
根据表格可知:
P(出门)=0.5
P(不出门)=0.5
P(雨天|不出门)P(热|不出门)P(高|不出门)P(无风|不出门)=4/81
P(雨天|出门)P(热|出门)P(高|出门)P(无风|出门)=2/81
最终可得出:
P(出门|雨天/ 热/ 高/ 无风)=1/81
P(不出门|雨天/ 热/ 高/ 无风)=2/81
最大后验概率为:P(不出门|雨天/ 热/ 高/ 无风)
可以得出结论:在雨天、热、湿度高、无风的天气状况下,这个人不会出门。
现在朴素贝叶斯算法一共有3种:高斯朴素贝叶斯、多项式朴素贝叶斯和伯努利朴素贝叶斯。
在处理连续数据的分类时,我们通常选用高斯朴素贝叶斯算法。Gaussian NB就是先验概率为高斯分布的朴素贝叶斯。假设每一个特征的数据都服从高斯分布。
其中,Ck是Y的第k个类别,μ和σ为训练集的均值和标准差。
多项式朴素贝叶斯就是先验概率为多项式分布的朴素贝叶斯。假设特征是由一个简单多项式分布生成的。多项式分布可以描述各种类型样本出现次数的概率,因此多项式朴素贝叶斯非常适合用于描述出现次数或者出现次数比例的特征。该模型常用于文本分类,特征值表示的是次数。公式如下:
其中,p(Xj=xjl|Y=Ck)是第k个类别的第j维特征的第l个取值的条件概率。mk是训练集中输出为第k类的样本个数。 n为数据的维度,λ是一个大于0的常数,当λ=1是,为拉普拉斯平滑。
伯努利朴素贝叶斯就是先验概率为伯努利分布的朴素贝叶斯。假设特征的先验概率为二元博独立分布。
在伯努利模型中,每个特征的取值只有True和False。在文本分类中,就是一个特征有没有出现在一个文档中。
在某个分类下, 为防止训练集中某个特征值和某个类别未同时出现过,导致预测概率为0。所以需要进行平滑处理 。当平滑系数为1时,为拉普拉斯平滑。
一般来说,如果样本特征的分布大部分是连续值,使用高斯朴素贝叶斯会比较好。
如果样本特征的分布大部分是多元离散值,使用多项式朴素贝叶斯比较合适。
如果样本特征是二元离散值或者很稀疏的多元离散值,应该使用伯努利朴素贝叶斯比较合适。
import numpy as np
import pandas as pd
import random
dataSet =pd.read_csv('iris.txt',header = None)
dataSet.head()
def randSplit(dataSet, rate):
l = list(dataSet.index) #提取出索引
random.shuffle(l) #随机打乱索引
dataSet.index = l #将打乱后的索引重新赋值给原数据集
n = dataSet.shape[0] #总行数
m = int(n * rate) #训练集的数量
train = dataSet.loc[range(m), :] #提取前m个记录作为训练集
test = dataSet.loc[range(m, n), :] #剩下的作为测试集
dataSet.index = range(dataSet.shape[0]) #更新原数据集的索引
test.index = range(test.shape[0]) #更新测试集的索引
return train, test
def gnb_classify(train,test):
labels = train.iloc[:,-1].value_counts().index #提取训练集的标签种类
mean =[] #存放每个类别的均值
std =[] #存放每个类别的方差
result = [] #存放测试集的预测结果
for i in labels:
item = train.loc[train.iloc[:,-1]==i,:] #分别提取出每一种类别
m = item.iloc[:,:-1].mean() #当前类别的平均值
s = np.sum((item.iloc[:,:-1]-m)**2)/(item.shape[0]) #当前类别的方差
mean.append(m) #将当前类别的平均值追加至列表
std.append(s) #将当前类别的方差追加至列表
means = pd.DataFrame(mean,index=labels) #变成DF格式,索引为类标签
stds = pd.DataFrame(std,index=labels) #变成DF格式,索引为类标签
for j in range(test.shape[0]):
iset = test.iloc[j,:-1].tolist() #当前测试实例
iprob = np.exp(-1*(iset-means)**2/(stds*2))/(np.sqrt(2*np.pi*stds)) #正态分布公式
prob = 1 #初始化当前实例总概率
for k in range(test.shape[1]-1): #遍历每个特征
prob *= iprob[k] #特征概率之积即为当前实例概率
cla = prob.index[np.argmax(prob.values)] #返回最大概率的类别
result.append(cla)
test['predict']=result
acc = (test.iloc[:,-1]==test.iloc[:,-2]).mean() #计算预测准确率
print(f'模型预测准确率为{acc}')
return test
for i in range(20):#测试20次,对比测试成功的概率
train,test = randSplit(dataSet,0.8)
gnb_classify(train,test)
import numpy as np
def loadDataSet():
dataSet=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] #切分好的词条
classVec = [0,1,0,1,0,1] #类别标签向量,1代表侮辱性词汇,0代表非侮辱性词汇
return dataSet,classVec
利用Python中的set集合特性,将词条中重复的词去掉,创建无词汇重复的词汇表。
根据vocabList词汇表,将inputSet向量化,向量的每个元素为1或0.
参数说明:
vocabList:词汇表
inputSet:切分好的词条列表中的一天
返回:
returnVec:文档向量
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0] * len(vocabList) #创建一个其中所含元素都为0的向量
for word in inputSet: #遍历每个词条
if word in vocabList: #如果词条存在于词汇表中,则变为1
returnVec[vocabList.index(word)] = 1
else:
print(f" {word} is not in my Vocabulary!" )
return returnVec #返回文档向量
参数说明:
dataSet:切分好的词条
返回:
trainMat:所有的词条向量组成的表
参数说明:
trainMat:训练文本矩阵
classVec:训练类别标签向量
返回:
p0V:非侮辱类的条件概率数组
p1V:侮辱类的条件概率数组
pAb:文档属于侮辱类的概率(侮辱类的先验概率)
参数说明:
vec2Classify:待分类的词条数组
p0V:非侮辱类的条件概率数组
p1V:侮辱类的条件概率数组
pAb:文档属于侮辱类的概率(侮辱类的先验概率)
返回:
0:非侮辱类
1:侮辱类
def classifyNB(vec2Classify, p0V, p1V, pAb):
p1 = sum(vec2Classify * p1V) + np.log(pAb) #对应元素相乘
p0 = sum(vec2Classify * p0V) + np.log(1- pAb) #对应元素相乘
if p1 > p0:
return 1
else:
return 0
参数说明:
testVec:测试样本
返回:
测试样本的类别
def testingNB(testVec):
dataSet,classVec = loadDataSet() #创建实验样本
vocabList = createVocabList(dataSet) #创建词汇表
trainMat= get_trainMat(dataSet) #将实验样本向量化
p0V,p1V,pAb = trainNB(trainMat,classVec) #训练朴素贝叶斯分类器
thisone = setOfWords2Vec(vocabList, testVec) #测试样本向量化
if classifyNB(thisone,p0V,p1V,pAb)==1:
print(testVec,'属于侮辱类') #执行分类并打印分类结果
else:
print(testVec,'属于非侮辱类') #执行分类并打印分类结果
测试样本1
testVec1 = ['love', 'my', 'dalmation']
testingNB(testVec1)
测试样本2
testVec2 = ['stupid', 'garbage']
testingNB(testVec2)
多项式朴素贝叶斯也是多用于文本处理,其原理和计算的流程和伯努利朴素贝叶斯基本一致,唯一的区别在于单词的计数方式, 在文本处理的环节中,我们将单词是否出现在词组作为特征,但在多项式朴素贝叶斯中,我们将单词在词组中出现的次数作为特征,因此只需要更改setOfWords2Vec的函数即可,变成如下方式:
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0] * len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] += 1#单词在单词表中每出现一次,则加1
return returnVec
文章浏览阅读101次。4.class可以有⽆参的构造函数,struct不可以,必须是有参的构造函数,⽽且在有参的构造函数必须初始。2.Struct适⽤于作为经常使⽤的⼀些数据组合成的新类型,表示诸如点、矩形等主要⽤来存储数据的轻量。1.Class⽐较适合⼤的和复杂的数据,表现抽象和多级别的对象层次时。2.class允许继承、被继承,struct不允许,只能继承接⼝。3.Struct有性能优势,Class有⾯向对象的扩展优势。3.class可以初始化变量,struct不可以。1.class是引⽤类型,struct是值类型。
文章浏览阅读586次。想实现的功能是点击顶部按钮之后按关键字进行搜索,已经可以从服务器收到反馈的json信息,但从json信息的解析开始就会闪退,加载listview也不知道行不行public abstract class loadlistview{public ListView plv;public String js;public int listlength;public int listvisit;public..._rton转json为什么会闪退
文章浏览阅读219次。如何使用wordnet词典,得到英文句子的同义句_get_synonyms wordnet
文章浏览阅读521次。系统项目报表导出 导出任务队列表 + 定时扫描 + 多线程_积木报表 多线程
文章浏览阅读1.1k次,点赞9次,收藏9次。使用AJAX技术的好处之一是它能够提供更好的用户体验,因为它允许在不重新加载整个页面的情况下更新网页的某一部分。另外,AJAX还使得开发人员能够创建更复杂、更动态的Web应用程序,因为它们可以在后台与服务器进行通信,而不需要打断用户的浏览体验。在Web开发中,AJAX(Asynchronous JavaScript and XML)是一种常用的技术,用于在不重新加载整个页面的情况下,从服务器获取数据并更新网页的某一部分。使用AJAX,你可以创建异步请求,从而提供更快的响应和更好的用户体验。_ajax 获取http数据
文章浏览阅读2.8k次。登录退出、修改密码、关机重启_字符终端
文章浏览阅读3.8k次,点赞3次,收藏51次。前段时间看到一位发烧友制作的超声波雷达扫描神器,用到了Arduino和Processing,可惜啊,我不会Processing更看不懂人家的程序,咋办呢?嘿嘿,所以我就换了个思路解决,因为我会一点Python啊,那就动手吧!在做这个案例之前先要搞明白一个问题:怎么将Arduino通过超声波检测到的距离反馈到Python端?这个嘛,我首先想到了串行通信接口。没错!就是串口。只要Arduino将数据发送给COM口,然后Python能从COM口读取到这个数据就可以啦!我先写了一个测试程序试了一下,OK!搞定_超声波扫描建模 python库
文章浏览阅读4.2k次。端—端加密指信息由发送端自动加密,并且由TCP/IP进行数据包封装,然后作为不可阅读和不可识别的数据穿过互联网,当这些信息到达目的地,将被自动重组、解密,而成为可读的数据。不可逆加密算法的特征是加密过程中不需要使用密钥,输入明文后由系统直接经过加密算法处理成密文,这种加密后的数据是无法被解密的,只有重新输入明文,并再次经过同样不可逆的加密算法处理,得到相同的加密密文并被系统重新识别后,才能真正解密。2.使用时,加密者查找明文字母表中需要加密的消息中的每一个字母所在位置,并且写下密文字母表中对应的字母。_凯撒加密
文章浏览阅读5.7k次。CIP报文解析常用到的几个字段:普通类型服务类型:[0x00], CIP对象:[0x02 Message Router], ioi segments:[XX]PCCC(带cmd和func)服务类型:[0x00], CIP对象:[0x02 Message Router], cmd:[0x101], fnc:[0x101]..._cip协议embedded_service_error
文章浏览阅读2.4k次,点赞9次,收藏13次。有时候我们在MFC项目开发过程中,需要用到一些微软已经提供的功能,如VC++使用EXCEL功能,这时候我们就能直接通过VS2019到如EXCEL.EXE方式,生成对应的OLE头文件,然后直接使用功能,那么,我们上篇文章中介绍了vs2017及以前的版本如何来添加。但由于微软某些方面考虑,这种方式已被放弃。从上图中可以看出,这一功能,在从vs2017版本15.9开始,后续版本已经删除了此功能。那么我们如果仍需要此功能,我们如何在新版本中添加呢。_vs添加mfc库
文章浏览阅读785次。用ac3编码,执行编码函数时报错入如下:[ac3 @ 0x7fed7800f200] frame_size (1536) was not respected for anon-last frame (avcodec_encode_audio2)用ac3编码时每次送入编码器的音频采样数应该是1536个采样,不然就会报上述错误。这个数字并非刻意固定,而是跟ac3内部的编码算法原理相关。全网找不到,国内音视频之路还有很长的路,音视频人一起加油吧~......_frame_size (1024) was not respected for a non-last frame
文章浏览阅读230次,点赞2次,收藏2次。创建Android应用程序一个项目里面可以有很多模块,而每一个模块就对应了一个应用程序。项目结构介绍_在安卓移动应用开发中要在活动类文件中声迷你一个复选框变量