ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

机器学习路径

2021-04-11 17:04:53  阅读:127  来源: 互联网

标签:机器 路径 学习 智能 聚类 交互 预处理


文章目录


前言

1.机器学习到底应该怎么去学,机器学习的学习没有想象中的那么困难,当然也没有外面宣传的那么容易。

2.机器学习是一项长期的工作,能促使你学习下去的最终动力,只有热爱。

3.在台湾大学《机器学习基石》的系列课程中列出了传统编程很难应用,但适合机器学习的 4 类场景:

  • 当传统编程无法实现某类系统时

  • 当解决方案很难人工界定时

  • 当需要快速决策时

  • 当面向的用户市场极其庞大时

机器学习的核心:

0.目标函数(Target function)
机器学习,本质上就是希望机器能 通过数据学习到某种规律 ,或者叫模式,、英文里是 pattern。
这种模式在数学上可以表达为一个函数,这个函数是我们的最终目标,因此也叫做 目标函数(Target function)。
1.充分的数据
把数据喂给机器,机器才能开始学习。 
2.数据进行预处理。
对数据进行预处理的过程叫做特征工程(feature engineering),会反复进行特征工程以达到比较好的学习效果。 
3. 假设集合(hypothesis set)和 目标函数(Target function)
(1)假设集合里的每个假设也都是一个函数。
(2)函数是我们的最终目标,因此也叫做 目标函数(Target function)。
4.机器学习算法(learning algorithm)
把数据和假设集合放到一个机器学习算法(learning algorithm)里,
算法就会根据已知的数据从假设集合里挑选出一个最合适的,
这个被命运选中的函数就是机器学习的学习过程产生的最终结果。
5.机器事实上学习出来的函数(起个名字叫做 g)有可能跟目标函数不太一样,
但是我们希望它们尽可能接近。
一旦掌握了数据的规律(或者我们自以为掌握了数据的规律),
那么面对未知的数据时,算法也会游刃有余的给出预测。

1.课前准备

机器学习从入门到入职


2.主流的学习过程

首先是要有一定的线性代数、概率论、高等数据的一些知识,便于你理解后面所需要设计到的算法,如果你连线性代数都不知道,也就没法理解矩阵相关的内容,从而对一些相关概念无法理解。

接下来要掌握一些,python的编程基础:基本的语法,条件和循环,基本的数据类型的操作,函数的定义和调用,异常的处理,面向对象,模块,以及一些正则表达式。

再有辅助技能,比如数据的处理与展示,因为你的最终目的是入职,你必须得把你的数据加工处理到最后呈现给老板看(老板看不到的都不叫工作量,这是血泪教训)。

开始进入到真正的机器学习板块了,四大主流的机器学习库,sklearn,tensorflow,keras,pytorch。

初学,建议你先学习sklearn上手,同样在教程中,大家重视怎么样建模,但是实际的工作流程中,模型开发实际上包含4个步骤,见下图:

img

3. 具体内容:

模型开发的4个步骤分别是数据预处理,建立模型,验证模型和优化模型,学习的4个步骤中所包含如下

I,数据预处理:

-标准化预处理

-分位数预处理

-规范化预处理

-二值化预处理

-缺失值预处理

-多项式预处理

-自定义预处理

-图形提取

-文本提取——词频向量

-文本提取——TFIDF

-文本提取——哈希化

II,模型生成:

1,监督学习

-回归模型

a)简单线性回归

b)岭回归

c)LASSO回归

d)弹性网络回归

e)多项式回归

f)稳健回归

g)最小角回归

h)贝叶斯回归

i)逻辑回归

-高斯学习

-梯度下降

-支持向量机(SVM)

-决策树

-集成学习

2,半监督学习

-标签传播

3,无监督学习

-聚类

a)kmean聚类

b)吸引子聚类

c)均值漂移聚类

d)谱聚类

e)分层聚类

f)DBSCAN聚类

g)BIRCH聚类

-高斯混合

-降维

a)PCA

b)ICA

c)ISOMAP

d)LLE

e)谱嵌入

f)MDS

-奇异点检测

III,模型校验

-分类校验

-回归校验

-聚类校验

IV,模型优化

大家可以看到,这里暂时还没有设计到深度神经网络,其实掌握这些知识,足以成为中级机器学习工程师,在实际应用用以上的方法解决问题的场景还是比较多的,这里不做展开。

如果在成为中级以上(注意,还不是高级)你还需掌握神经网络的相关内容,其中包括:

CNN,RNN, GAN , 强化学习等,在这里仅仅列举出几个主流的神经网络。可以作为大家的学习提高的方向。

当然,再往上走,即所谓高级人工智能工程师,或者成为架构师,拼的是架构能力,诸如:分布式的集群神经网络的搭建,以及一些大数据基础件诸如,hadoop,spark等框架的实施能力,以及理论投产能力,国内外新发的paper 能否根据原理,搭建一个这样的场景。这些都是高级工程师所需要具备的能力。

机器学习看似现在没有那么火了,实际上仍然没有得到预想中的效果,机器学习的下半场还没有到来,上半场的技术应用集中在认知感知上面,而下半场则在一些主动输出等场景有着较为广阔的应用。


4.主要方向

ML 算法之所以存在,是因为它们能够解决非 ML 算法无法解决的问题,而且还提供了非 ML 算法所不具备的优势。
图片: Alt

体系

产品体系中主要的在产业界可以有落地应用的产品,大致可以分成四类:自然语言处理方向、知识图谱方向、计算机视觉方向以及人机交互方向

自然语言处理

自然语言处理的成果逐步从实验室走向产业界,发展更加多元化,但是产品的成熟度上仍然是有很大的发展空间。自然语言处理包括以下几个方向:

  • 语音识别:包括输入法、车载语音、智能家居以及教育测评等;
  • 机器翻译:利用神经网络进行翻译,应用于商业交流、旅游交际、新闻编译、游戏组队、影片字幕等等;
  • 语义识别:分析网页、文件、邮件等社交媒体中的大量数据;
  • 语音合成:应用于语音导航、有声读物、自动新闻播报等。

自然语言处理在语音上基本有了稳定的成果和发展,然而在机器翻译以及语义识别上,还有很长的路要走。

**就业:**从就业角度来看,自然语言处理方向有广阔的应用场景,且很多小方向上都处于初步发展阶段,前景可期。NLP 作为就业是很好的选择。

知识图谱

知识图谱自 2012 年由 Google 提出后,无论是在工业界还是学术界都发展十分迅速。知识图谱本质上是有向图结构的知识库,经历了由人工和群体协作构建到利用机器学习和信息抽取技术自动获取的过程,现在已经被广泛应用于 智能搜索、智能问答以及个性化推荐 等领域。

就业: 目前,知识图谱在产业界处于探索阶段,很多公司都在探索知识图谱和自己公司业务的结合。未来有广阔的发展空间。

计算机视觉

得益于神经网络和深度学习的快速发展,计算机视觉技术得到了长足的发展。全球的计算机视觉产业发展迅速,相关产品在工业界的落地比 NLP 以及知识图谱更加成熟,在安防、金融、互联网、零售、医疗以及娱乐等产业都有了比较成熟的落地产品。

就业:相比于前两个领域,计算机视觉领域相对而言更加成熟,对人才要求也更高更专。就业范围的广阔性上可能不如 NLP 和知识图谱,但在探索的深度上,是有优势的。

人机交互

人机交互,即研究人和计算机之间的信息交换,从浅到深分为:语音交互、情感交互、体感交互以及脑机交互。目前的研究成果和问世的产品大部分局限在语音交互的阶段。事实上,受到语音、视觉、语义理解等技术的限制,目前的人机交互技术还处于萌芽期。现有的研究课产品成果总结如下:

  • 语音交互:语音助手,语音助手在大部分手机上目前都已经实现,这个领域的发展已经相对完善。

  • 情感交互:twikao 一款由 Takuto Onishi 开发的 iOS 应用程序,可以帮用户把人物面部真实表情转化成 “kaomoji”,即文字符号表情。

  • 体感交互:享动体感游戏机(又名:速盟体感游戏机),是由上海速盟信息有限公司在 2013 年推出的国内基于安卓系统的全身纯体感电视游戏机。享动体感游戏机采用国际先进 3D 深度摄像头,预装数十款体感游戏,可以实现多人全身体感运动。

  • 脑机交互:目前脑机交互还处于实验阶段,日本本田公司生产了意念控制机器人,通过想象自己的肢体运动来控制身边机器人进行相应的动作。

就业:从就业角度来看,人机交互方向可能还有一段时间的等待。一方面,人机及交互的发展受制于前面几个方法的发展深度。另外,就目前的产业界而言,能够落地的产品过少。

以上四个专业方向的技术,也同样可以应用于类似的数据和产品上,机器学习在其他很多领域都有了一定的应用进展。

  • 智能医疗:疾病诊断、医疗影像、药物挖掘、远程问诊;
  • 智能交通:自动驾驶、交通控制、车辆识别、车辆检测;
  • 智能家居:智能照明、智能门锁、家电控制、家庭机器人;
  • 智能制造:产品检测、智能运维、智能供应链、工业机器人;
  • 智能金融:贷款评估、智能投顾、智能客服、金融监管;
  • 智能零售:智能结账、无人商店、智能配货、智能物流;
  • 智能通信:流量调度、网络控制、网络优化、网络异常监测;
  • 智慧教育:作业批改、智能问答、虚拟课堂、远程辅导。

越来越多的传统领域将机器学习和传统技术结合,大力加快了行业的发展、把人们从枯燥的数据中解放出来。从就业方面来看,很多与机器学习相结合的传统领域都是十分有潜力的选择方向。

参考资料

  1. 台湾大学《机器学习基石》和《机器学习技法》课程
  2. 斯坦福大学 CS229《Machine Learning》
  3. 斯坦福大学 CS230《Deep Learning》
  4. 悉尼大学 COMP5318《Machine Learning and Data Mining》
  5. 悉尼大学 QBUS6810《Statistical Learning and Data Mining》

标签:机器,路径,学习,智能,聚类,交互,预处理
来源: https://blog.csdn.net/weixin_43809478/article/details/115601020

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有