林轩田机器学习基石课程学习笔记1 -- The Learning Problem

2020-04-15 11:32:00 浏览数 (1)

主要内容

  • What is Machine Learning
  • Applications of Machine Learning
  • Components of Machine Learning
  • Machine Learning and Other Fields

一、What is Machine Learning

什么是“学习”?学习就是人类通过观察、积累经验,掌握某项技能或能力。就好像我们从小学习识别字母、认识汉字,就是学习的过程。而机器学习(Machine Learning),顾名思义,就是让机器(计算机)也能向人类一样,通过观察大量的数据和训练,发现事物规律,获得某种分析问题、解决问题的能力。

机器学习的过程是从资料出发,经过电脑的计算之后,最终得到某一种表现。

比如通过电脑让电脑学会预测股票。利用十年前的数据去学习,告诉我明天该怎么去投资,如果机器真的做到了,那么说明机器真的学到了这些。这是我们希望机器学习能做的事情。

举例:如何识别一棵树

  • 设计一个程序去定义一棵树,是非常困难的
  • 通过学习数据去辨认一棵树(3岁小孩能做)
  • 机器学习系统去识别一棵树比设计一个程序更加容易的多

通过我们的脑力去分析这些东西比较困难,因为希望通过机器自己去学习和分析,发现这些规律。

机器学习在构建一个复杂系统的时候是一个可选的方法:

比如:

  • 当人类没办法做一个复杂的系统,将所有的规律都写清楚,比如机器人探测火星,没办法预测机器人在火星上会遇到什么情况,例如遇到坑,要怎么办,这就需要机器自己去学习怎么处理
  • 没办法定义一个规则的时候——语音/可视化识别
  • 有一些人没想过的应用——股市交易
  • 在大规模的数据下一个用户取向的问题——用户个性化的市场

机器学习要做的事情,是类似于教电脑钓鱼的方法,让它可以一辈子受用。

那么什么场景下,考虑使用机器学习解决呢?

机器学习的三个关键条件:

  • 事情本身存在某些潜在规律可以去学习,并且有明确的目标
  • 事情存在一定的规则,但是我们不知道怎么把它用代码写下来
  • 机器学习需要资料,否则机器不知道如何去学习

当三个关键条件都满足的时候才考虑使用机器学习

测试&答案:

1、预测小孩子接下来的几分钟后会哭?no(没有规则)

2、判断图中是否存在圆?no(规则可以轻松定义)

3、决定是否该给用户分发信用卡?yes,不容易编程实现,有大量的客户历史信息

4、地球什么时候会毁灭?no(没有足够的数据)

二、Applications of Machine Learning

机器学习在我们的衣食住行等各个方面中都有应用。

(1)Food:

数据来源:推特(评价 定位)

功能:了解这家饭店食物的味道如何

(2)Clothing

数据:商品的图片、用户穿搭

功能:告诉我们怎样去搭配衣服才能更加Fashion

(3)Housing

数据:房子的建筑特点、使用的能源

功能:预测房子在节能减排上面的能力

(4)Transportation

数据:交通灯的图片和含义

功能:准确识别交通灯信号

上面只是举一些例子,当然这样子的例子还有很多!

机器学习在教育上的应用

数据:学生在上网课中的一些记录,答题记录和上课记录等

功能:预测学生会哪些内容,不会哪些内容,并推荐一些资料。

那么机器学习要如何去设计呢?

  • 从3000学生中给出900万数据
  • 利用机器学习去自动确定问题的难度等

娱乐方面的应用,推荐系统

数据:有多少用户喜欢什么电影

功能:预测一个用户有多大概率喜欢一个没看过的电影

那么电脑是如何去学习这些特征呢?

利用模型将用户和电影用一串特征来描述,对两串特征求内积,如果相乘的分数高,则会给非常高的推荐分数。但是我们没有办法去定义这些特征,所以机器学习通过以往的数据,去学习这些特征,并预测用户有多喜欢这部电影。

测试&答案

机器在以下哪些领域用不到?

1、金融 (预测股市)

2、医疗 (预测药效)

3、法律 (从公文书自动给出摘要,便于搜寻和阅读)

4、不是上述的任何一个 yes

三、Components of Machine Learning

如何公式化机器学习的问题

基础的术语:

  • 输入:x(用户的行为)
  • 输出:y(根据预测结果好/坏,决定是否要发卡)
  • 目标函数:f,未知的规则--->目标函数
  • 数据,训练样本(过去收集的数据)
  • 假说,选择一个最佳的假说对应的函数称为矩g,g能最好地表示事物的内在规律,也是我们最终想要得到的模型表达式

机器学习流程图:

从未知规律的数据中,通过学习算法去挖掘,让最终的 g 接近 f

注意点:

  • 目标函数,f是未知
  • 假说是希望g尽可能的接近f,但是可能还是不同于f

举例,以信用卡为例

g 到底长什么样

今天决定要不要发给客户信用卡,以下是一些可能的公式

h1:年收入有没有超过800000,超过就给

h2:负债超过100000给信用卡

h3:工作不满两年给他信用卡

将所有的可能h,都放到g的集合中,并从集合中找到最有可能的结果

学习模型=算法 假说

机器学习的定义:从资料出发,机器学习算法要算出一个假说(hypothesis)g,我们希望这个g要很接近我们最渴望的那个f。

测试&答案

歌曲推荐

四、Machine Learning and Other Fields

与机器学习相关的领域有:

  • 数据挖掘(Data Mining) ——>从数据中挖掘一些有用的资料
  • 人工智能(Artificial Intelligence)——>计算一些东西并显示出很聪明的行为(比如AI下棋)
  • 统计(Statistics)——>使用数据做一些推论(比如硬币问题)

机器学习和数据挖掘,非常相像,有些地方还是一样,密不可分

机器学习是实现人工智能的一种方式

统计是实现机器学习的一种方法,统计更加关注使用数学理论来给出结果,很少关心计算的问题。统计学给机器学习提供了很多有用的工具。

测试&答案

五、总结

本节课主要引入了机器学习的概念,机器学习实际上是从资料出发找到一个函数,然后找到的函数和我们最渴望的目标是很接近的。机器学习在很多地方都有应用,其核心 算法,数据(资料),假说(hypothesis)最后得到g。

机器学习和数据挖掘、人工智能、统计这三个领域做个比较,和各个领域的关系,他们各自有各自的取向。

参考资料:

https://www.bilibili.com/video/BV1Cx411i7op?p=1

https://blog.csdn.net/red_stone1/article/details/101303228

0 人点赞