注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

长风明志的博客

不要也不能做下一个谁,应该且可以做第一个自己

 
 
 

日志

 
 

数据挖掘Bagging、AdaBoost  

2013-10-14 21:10:04|  分类: 数据挖掘 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
1.Bagging(装袋)
算法:装袋---为学习方案创建组合分类模型,其中每个模型给出等权重预测。
输入:
             D: d个训练元组的集合
             k:  组合分类器中的模型数
             一种学习方案(例如:决策树算法、后向传播等)
输出:组合分类器---复合模型M*
方法:
       (1). for i =1 to k do       //创建K个模型
       (2). 通过对D有放回抽样,创建自助样本Di;
       (3).  使用Di和学习方法导出模型Mi;
       (4).  endfor
使用组合分类器对元组X分类:
      让K个模型都对X分类并返回多数表决;
2.AdaBoost
算法: AdaBoost一种提升算法---创建分类器的组合。每个给出一个加权投票。
输入:
           D: 类标记的训练元组集。
           K: 轮数(每轮产生一个分类器)
           一种分类学习方案
输出:一种复合模型
方法:
(1). 将D中每个元组的权重初始化为1/d;
(2). for i=1 to k do              //对于每一轮
(3).      根据元组的权重从D中有放回抽样,得到Di;
(4)       使用训练集Di导出模型Mi;
(5)       计算Mi的错误率error(Mi) =数据挖掘Bagging、AdaBoost - changfengmingzhi - 长风明志的博客
 (6)      if error(Mi)>0.5 then
(7)                 转步骤(3)重试;
(8)       endif
(9)       for Di 的每个被正确分类的元组do
(10)           元组的权重乘以error(Mi)/(1-error(Mi));             //更新权重
(11)     规范化每个元组的权重;  //将它乘以旧权重之和,除以新权重之和
(12)     endfor
使用组合分类器对元组x分类:
(1)   将每个类的权重初始化为0;
(2)   for i=1 to k do                               //对于每个分类器
(3)        wi=log((1-error(Mj))/error(Mj));                    //分类器的投票权重
(4)        c=Mi(x);                                                         //从Mi得到X的类预测
(5)        将wi加到类C的权重;
(6)   endfor
(7)   返回具有最大权重的类;

  评论这张
 
阅读(479)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017