机器学习在高德地图轨迹分类的探索和应用

​1.背景 当我们打开导航,开车驶向目的地的过程中,有时候会碰到这样的问题:前方明明没有路,可能在施工封闭,可是导航仍然让我们往前开车,以至于我们无法顺利到达目的地。全国道路千千万,每天都有巨量的道路变得不可通行,那么如何动态的识别出哪些道路走不通了呢? 图中所示即为因封路事件导致的导航路线改变 道 ... »

机器学习算法——kNN(k-近邻算法)

算法概述 通过测量不同特征值之间的距离进行 [分类] 优点:精度高、对异常值不敏感、无数据输入假定。 缺点:计算复杂度高、空间复杂度高。 适用数据范围: 数值型 和 标称型 。 算法流程 数据 样本数据(多维多行数据 + 标签) 预测数据(多维一行数据) 比较预测数据与样本数据的距离 欧氏距离 ( ... »

看机器学习如何预测债券收益率

用机器学习预测股票收益率的工作已经屡见不鲜,并有了非常不错的结果,如《当实证资产定价遇上机器学习》。那么,能不能把同样的方法运用到债券中呢?2020年在Review of Financial Studies上的“Bond Risk Premiums with Machine Learning”一文, ... »

详解SVM模型——核函数是怎么回事

大家好,欢迎大家阅读周二机器学习专题,今天的这篇文章依然会讲SVM模型。 也许大家可能已经看腻了SVM模型了,觉得我是不是写不出新花样来,翻来覆去地炒冷饭。实际上也的确没什么新花样了,不出意外的话这是本专题最后一篇文章了。下周我们就要开始深度学习之旅了,我相信很多同学期待这一天已经很久了,实际上我也 ... »

数据挖掘从入门到放弃(三):朴素贝叶斯

朴素贝叶斯是一种常用的分类算法,适用于维度非常高的数据集,具有速度快,可调参数少有点,非常适合为分类问题提供快速粗糙的基本方案,经常用于垃圾邮件分类等场景中。 朴素贝叶斯算法 朴素贝叶斯算法依据概率论中贝叶斯定理建立模型,前提假设各个特征之间相互独立(这也是正式“朴素”的含义),这个假设非常极端,因 ... »

数据挖掘从入门到放弃(二):决策树

“ 上篇内容介绍的是线性回归和逻辑回归模型,输入输出是连续值,分类模型的输出是一个有限集合,本篇介绍决策分类树算法” 决策树算法理解 决策树是直观运用概率分析的树形分类器,是很常用的分类方法,属于监管学习,决策树分类过程是从根节点开始,根据特征属性值选择输出分支,直到到达叶子节点,将叶子节点存放的类 ... »

数据挖掘从入门到放弃(一):线性回归和逻辑回归

“ 数据挖掘算法基于线性代数、概率论、信息论推导,深入进去还是很有意思的,能够理解数学家、统计学家、计算机学家的智慧,这个专栏从比较简单的常用算法入手,后续研究基于TensorFlow的高级算法,最好能够参与到人脸识别和NLP的实际项目中,做出来一定的效果。” 一、理解线性回归模型 首先讲回归模型, ... »

从RNN到BERT

一、文本特征编码 1. 标量编码 美国:1 中国:2 印度:3 … 朝鲜:197 标量编码问题:美国 + 中国 = 3 = 印度 2. One-hot编码 美国:[1,0,0,0,…,0]中国:[0,1,0,0,…,0]印度:[0,0,1,0,…,0] 美国 + 中国 = [1,1,0,0,…,0] ... »

第一次作业:深度学习基础

【任务一】视频学习心得及问题总结 根据下面三个视频的学习内容,写一个总结,最后列出没有学明白的问题。 【任务二】代码练习 在谷歌 Colab 上完成代码练习中的 2.1、2.2、2.3、2.4 节,关键步骤截图,并附一些自己的想法和解读。 【任务三】进阶练习 在谷歌 Colab 上完成猫狗大战的VG ... »

数据预处理和特征工程

数据挖掘的五大流程 获取数据 数据预处理 数据预处理是从数据中检测,纠正或删除孙华,不准确或不适用于模型的记录的过程 目的: 让数据适应模型, 匹配模型的需求 特征工程 特征工程是将原始数据转换为更能代表预测模型的潜在无问题的特征的过程, 可以通过挑选最相关的特征,提取特征以及创造特征来实现. 目的 ... »

Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines 论文研读

本文提出了一种用于训练支持向量机的新算法:序列最小优化算法(SMO)。训练支持向量机需要解决非常大的二 次规划(QP)优化问题。SMO 将这个大的 QP 问题分解为一系列最小的 QP 问题。这些小的 QP 问题可以通过解析来解决, 从而避免了将耗时的数值 QP 优化用作内部循环。SMO 所需的内存量... ... »

【机器学习】数值分析(1)—— 任意方程求根

任意方程求根 简介 方程和函数是代数数学中最为重要的内容之一,从初中直到大学,我们都在研究着方程与函数,甚至我们将图形代数化,从而发展出了代数几何、解析几何的内容。而在方程与函数中,我们研究其性质最多的,往往就是方程的根(零点),即使是研究方程的极值点、鞍点等,我们无非也只是研究其微商的零点。 我们 ... »

机器学习之梯度下降法

机器学习 梯度下降法 参考链接 基本概念 梯度下降法(gradient descent),又名最速下降法(steepest descent)是求解无约束最优化问题最常用的方法,它是一种迭代方法,每一步主要的操作是求解目标函数的梯度向量,将当前位置的负梯度方向作为搜索方向(因为在该方向上目标函数下降最 ... »

使用Kubeflow构建机器学习流水线

在此前的文章中,我已经向你介绍了Kubeflow,这是一个为团队设置的机器学习平台,需要构建机器学习流水线。 在本文中,我们将了解如何采用现有的机器学习详细并将其变成Kubeflow的机器学习流水线,进而可以部署在Kubernetes上。在进行本次练习的时候,请考虑你该如何将现有的机器学习项目转换到 ... »

Dotnet core基于ML.net的销售数据预测实践

ML.net已经进到了1.5版本。作为Microsoft官方的机器学习模型,你不打算用用? 一、前言 ML.net可以让我们很容易地在各种应用场景中将机器学习加入到应用程序中。这是这个框架很重要的一点。 通过ML.net,我们可以使用手中的可用数据,进行预测、分析、检测,而不需要进行过于复杂的编程。 ... »

如何用交互式特征工程工具进行数据分析处理

【摘要】 根据业界知名分析机构的调查发现,在机器学习日常开发工作中,数据预处理和特征工程(涉及数据的分析和处理)约占工作量的60%以上,对于机器学习来说至关重要。 数据分析和处理的问题与挑战 近年来,越来越多的企业使用机器学习技术进行智能化的决策支持。机器学习通过使用算法来识别数据中的模式,并使用这 ... »