爱码网

"集成学习之Boosting —— AdaBoost原理" "集成学习之Boosting —— AdaBoost实现" 集成学习之Boosting —— Gradient Boosting原理 "集成学习之Boosting —— Gradient Boosting实现" 上一篇介绍了AdaBoost ... »

决策树的学习器，不太适合用数学公式表示。 它构造了一个树形结构来建立模型，每个测试样本能在树上找到属于自己的叶节点，把自己归为该叶节点所标记的类别。 那么如何构造决策树？ 关键是选择哪个属性作为树的分支节点，这里用到了信息论的概念 通过计算信息增益，信息增益越大，意味着使用这个属性进行划分所获得的“ ... »

在贝叶斯个性化排序(BPR)算法小结中，我们对贝叶斯个性化排序(Bayesian Personalized Ranking, 以下简称BPR)的原理做了讨论，本文我们将从实践的角度来使用BPR做一个简单的推荐。由于现有主流开源类库都没有BPR，同时它又比较简单，因此用tensorflow自己实现一个 ... »

机器学习入门介绍 学习并整理从 "Machine learning basics" 机器学习是一种数据科学技术，它允许计算机使用现有的数据来预测未来的行为、结果和趋势。使用机器学习，不需要为计算机显式编程而让它自己学习。 机器学习的预测可以使应用程序和设备更加智能化。当你网上购物时，机器学习会帮你根 ... »

美团海量的用户与商家数据，广告复杂的场景下众多的影响因素，为深度学习方法的应用落地提供了丰富的场景。本文将结合广告特殊的业务场景，介绍美团搜索广告场景下深度学习的应用和探索。 ... »

最近在看这本书看到Chapter 3.Classification，是关于mnist数据集的分类，里面有个代码是 我十分郁闷，因为这个根本加载不出来-_-||，报了个OSError，改了data_home之后变成HTTP然后我按照网上的方法改data_home也没用，弄了很久最后决定自己弄这个数据集 ... »

python 画图工具matplotlib 去掉坐标轴和坐标的方法 ... »

在矩阵分解在协同过滤推荐算法中的应用中，我们讨论过像funkSVD之类的矩阵分解方法如何用于推荐。今天我们讲另一种在实际产品中用的比较多的推荐算法:贝叶斯个性化排序(Bayesian Personalized Ranking, 以下简称BPR)，它也用到了矩阵分解，但是和funkSVD家族却有很多不 ... »

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 背景：5月23-24日，以“焕启”为主题的腾讯“云+未来”峰会在广州召开，广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展。 腾讯云AI平台技术负责人王才华博士在腾讯“云+未来”峰会的「开 ... »

转载请注明作者 "梦里茶" 括号表示概念出现的其他页码 如果发现错误，请到 "issue" 中提出或者直接 "PR" 公式采用latex编辑，MathJax渲染 整理by: "ahangchen" , "luopengting" , "hscspring" 概念列表 |o| "绪论" |o| | : ... »

特征选择是一个重要的数据预处理过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后在训练学习器，如下图所示： 进行特征选择有两个很重要的原因： 避免维数灾难：能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的 ... »

目前集成学习(Ensemble Learning) 分为两类： 个体学习器间存在强依赖关系、必须串行化生成的序列化方法：Boosting 个体学习器间不存在强依赖关系，可同时生成的并行化方法：Bagging 和 随机森林 这里先来讲下代表Boosting家族的AdaBoost。 Boosting 是 ... »

在前面我们分别讨论了特征工程中的特征选择与特征表达，本文我们来讨论特征预处理的相关问题。主要包括特征的归一化和标准化，异常特征样本清洗与样本数据不平衡问题的处理。 1. 特征的标准化和归一化 由于标准化和归一化这两个词经常混用，所以本文不再区别标准化和归一化，而通过具体的标准化和归一化方法来区别具体 ... »

high cardinality categorical attributes，从字面上理解，即对于某个category特征，不同值的数量非常多，这里暂且把它叫做高数量类别属性。反之，即低数量类别属性（low cardinality） 对于低数量类别属性，通常在data science中采用的方式是 ... »

对于给定的训练数据，首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 条件概率： 条件概率应该比较熟悉，P(A|B) 表示事件B已经发生的条件下，事件A发生的概率。计算公式如下： 贝叶斯定理： 独立性 事件的独立性： 假设 ... »

集成学习大致可分为两大类：Bagging和Boosting。Bagging一般使用强学习器，其个体学习器之间不存在强依赖关系，容易并行。Boosting则使用弱分类器，其个体学习器之间存在强依赖关系，是一种序列化方法。Bagging主要关注降低方差，而Boosting主要关注降低偏差。Boostin ... »

在特征工程之特征选择中，我们讲到了特征选择的一些要点。本篇我们继续讨论特征工程，不过会重点关注于特征表达部分，即如果对某一个特征的具体表现形式做处理。主要包括缺失值处理，特殊的特征处理比如时间和地理位置处理，离散特征的连续化和离散化处理，连续特征的离散化处理几个方面。 1. 缺失值处理 特征有缺失值 ... »

K-近邻(k-Nearest Neighbor，KNN)是分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 ... »

特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。本文关注于特征选择部分。后面还有两篇会关注于特征表达和特征预处理。 1. 特征的来源 在做数据分析的时候，特征的来源一般有两块，一块是业 ... »

在集成学习中，通常认为Bagging的主要作用是降低方差，而Boosting的主要作用是降低偏差。Boosting能降低偏差很好理解，因为其原理就是将多个弱学习器组合成强学习器。但Bagging为什么能降低方差？或者说，为什么将多个强学习器组合起来方差就会降低？这是本篇想要探讨的问题，而在这之前我认 ... »