learning is impossible
no free lunch
在对f不知情的情况下,有时候对训练集外的数据,很难说机器学到了什么。
有些情况下没有现成的pattern
并不能很好的学习。
probability to the rescue
用部分去推断总体。
部分说明了整体什么信息吗 大部分情况下部分反映了总体的信息
数学上的发生几率保证 PAC: probably approximately correct
connection to learning
假设有一个固定的h在手上。 由部分推断总体g犯错的几率。
公式的保证
h(H演算法集中的一小个)可以代表总体,那么g是否可以呢?
connection to real learning
如果选择的假设在训练集上表现足够好,那么要选么?
和取样有关。 选择多了,会恶化情况。
一个h,不好的几率很小 多个h,不好的几率很大
只有像D1126才是好的资料
M finite,N large enough,那么学习是可能的。 那么,对于PCA,M是无限的,那么怎么办啊?