主要内容
- What is Machine Learning
- Applications of Machine Learning
- Components of Machine Learning
- Machine Learning and Other Fields
一、What is Machine Learning
什么是“学习”?学习就是人类通过观察、积累经验,掌握某项技能或能力。就好像我们从小学习识别字母、认识汉字,就是学习的过程。而机器学习(Machine Learning),顾名思义,就是让机器(计算机)也能向人类一样,通过观察大量的数据和训练,发现事物规律,获得某种分析问题、解决问题的能力。
机器学习的过程是从资料出发,经过电脑的计算之后,最终得到某一种表现。
比如通过电脑让电脑学会预测股票。利用十年前的数据去学习,告诉我明天该怎么去投资,如果机器真的做到了,那么说明机器真的学到了这些。这是我们希望机器学习能做的事情。
举例:如何识别一棵树
- 设计一个程序去定义一棵树,是非常困难的
- 通过学习数据去辨认一棵树(3岁小孩能做)
- 机器学习系统去识别一棵树比设计一个程序更加容易的多
通过我们的脑力去分析这些东西比较困难,因为希望通过机器自己去学习和分析,发现这些规律。
机器学习在构建一个复杂系统的时候是一个可选的方法:
比如:
- 当人类没办法做一个复杂的系统,将所有的规律都写清楚,比如机器人探测火星,没办法预测机器人在火星上会遇到什么情况,例如遇到坑,要怎么办,这就需要机器自己去学习怎么处理
- 没办法定义一个规则的时候——语音/可视化识别
- 有一些人没想过的应用——股市交易
- 在大规模的数据下一个用户取向的问题——用户个性化的市场
机器学习要做的事情,是类似于教电脑钓鱼的方法,让它可以一辈子受用。
那么什么场景下,考虑使用机器学习解决呢?
机器学习的三个关键条件:
- 事情本身存在某些潜在规律可以去学习,并且有明确的目标
- 事情存在一定的规则,但是我们不知道怎么把它用代码写下来
- 机器学习需要资料,否则机器不知道如何去学习
当三个关键条件都满足的时候才考虑使用机器学习
测试&答案:
1、预测小孩子接下来的几分钟后会哭?no(没有规则)
2、判断图中是否存在圆?no(规则可以轻松定义)
3、决定是否该给用户分发信用卡?yes,不容易编程实现,有大量的客户历史信息
4、地球什么时候会毁灭?no(没有足够的数据)
二、Applications of Machine Learning
机器学习在我们的衣食住行等各个方面中都有应用。
(1)Food:
数据来源:推特(评价 定位)
功能:了解这家饭店食物的味道如何
(2)Clothing
数据:商品的图片、用户穿搭
功能:告诉我们怎样去搭配衣服才能更加Fashion
(3)Housing
数据:房子的建筑特点、使用的能源
功能:预测房子在节能减排上面的能力
(4)Transportation
数据:交通灯的图片和含义
功能:准确识别交通灯信号
上面只是举一些例子,当然这样子的例子还有很多!
机器学习在教育上的应用
数据:学生在上网课中的一些记录,答题记录和上课记录等
功能:预测学生会哪些内容,不会哪些内容,并推荐一些资料。
那么机器学习要如何去设计呢?
- 从3000学生中给出900万数据
- 利用机器学习去自动确定问题的难度等
娱乐方面的应用,推荐系统
数据:有多少用户喜欢什么电影
功能:预测一个用户有多大概率喜欢一个没看过的电影
那么电脑是如何去学习这些特征呢?
利用模型将用户和电影用一串特征来描述,对两串特征求内积,如果相乘的分数高,则会给非常高的推荐分数。但是我们没有办法去定义这些特征,所以机器学习通过以往的数据,去学习这些特征,并预测用户有多喜欢这部电影。
测试&答案
机器在以下哪些领域用不到?
1、金融 (预测股市)
2、医疗 (预测药效)
3、法律 (从公文书自动给出摘要,便于搜寻和阅读)
4、不是上述的任何一个 yes
三、Components of Machine Learning
如何公式化机器学习的问题
基础的术语:
- 输入:x(用户的行为)
- 输出:y(根据预测结果好/坏,决定是否要发卡)
- 目标函数:f,未知的规则--->目标函数
- 数据,训练样本(过去收集的数据)
- 假说,选择一个最佳的假说对应的函数称为矩g,g能最好地表示事物的内在规律,也是我们最终想要得到的模型表达式
机器学习流程图:
从未知规律的数据中,通过学习算法去挖掘,让最终的 g 接近 f
注意点:
- 目标函数,f是未知
- 假说是希望g尽可能的接近f,但是可能还是不同于f
举例,以信用卡为例
g 到底长什么样
今天决定要不要发给客户信用卡,以下是一些可能的公式
h1:年收入有没有超过800000,超过就给
h2:负债超过100000给信用卡
h3:工作不满两年给他信用卡
将所有的可能h,都放到g的集合中,并从集合中找到最有可能的结果
学习模型=算法 假说
机器学习的定义:从资料出发,机器学习算法要算出一个假说(hypothesis)g,我们希望这个g要很接近我们最渴望的那个f。
测试&答案
歌曲推荐
四、Machine Learning and Other Fields
与机器学习相关的领域有:
- 数据挖掘(Data Mining) ——>从数据中挖掘一些有用的资料
- 人工智能(Artificial Intelligence)——>计算一些东西并显示出很聪明的行为(比如AI下棋)
- 统计(Statistics)——>使用数据做一些推论(比如硬币问题)
机器学习和数据挖掘,非常相像,有些地方还是一样,密不可分
机器学习是实现人工智能的一种方式
统计是实现机器学习的一种方法,统计更加关注使用数学理论来给出结果,很少关心计算的问题。统计学给机器学习提供了很多有用的工具。
测试&答案
五、总结
本节课主要引入了机器学习的概念,机器学习实际上是从资料出发找到一个函数,然后找到的函数和我们最渴望的目标是很接近的。机器学习在很多地方都有应用,其核心 算法,数据(资料),假说(hypothesis)最后得到g。
机器学习和数据挖掘、人工智能、统计这三个领域做个比较,和各个领域的关系,他们各自有各自的取向。
参考资料:
https://www.bilibili.com/video/BV1Cx411i7op?p=1
https://blog.csdn.net/red_stone1/article/details/101303228