作品目錄
第1章引言
1.1學(xué)習(xí)問題的標(biāo)準(zhǔn)描述
1.2設(shè)計(jì)-個(gè)學(xué)習(xí)系統(tǒng)
1.2.1選擇訓(xùn)練經(jīng)驗(yàn)
1.2.2選擇目標(biāo)函數(shù)
1.2.3選擇目標(biāo)函數(shù)的表示
1. 2.4選擇函數(shù)逼近算法
1.2.5最終設(shè)計(jì)
1.3機(jī)器學(xué)習(xí)的一些觀點(diǎn)和問題
1.4如何閱讀本書
1.5小結(jié)和補(bǔ)充讀物
習(xí)題
第2章概念學(xué)習(xí)和一般到特殊序
2.1簡介
2.2概念學(xué)習(xí)任務(wù)
2.2.1術(shù)語定義
2.2.2歸納學(xué)習(xí)假設(shè)
2.3作為搜索的概念學(xué)習(xí)
2.4FIND-S:尋找極大特殊假設(shè)
2.5變型空間和候選消除算法
2.5.1表示
2.5.2列表后消除算法
2.5.3變型空間的更簡潔表示
2.5.4候選消除學(xué)習(xí)算法
2.5.5算法的舉例
2.6關(guān)于變型空間和候選消除的說明
2.6.1候選消除算法是否會收斂到正確的假設(shè)
2.6.2下一步需要什么樣的訓(xùn)練樣例
2.6.3怎樣使用不完全學(xué)習(xí)概念
2.7歸納偏置
2.7.1-個(gè)有偏的假設(shè)空間
2.7.2無偏的學(xué)習(xí)器
2.7.3無偏學(xué)習(xí)的無用性
2.8小始和補(bǔ)充讀物
習(xí)題
第3章決策樹學(xué)習(xí)
3.1簡介
3.2決策樹表示法
3.3決策樹學(xué)習(xí)的適用問題
3.4基本的決策樹學(xué)習(xí)算法
3.4.1哪個(gè)屬性是最佳的分類屬性
3.4.2舉例
3.5決策樹學(xué)習(xí)中的假設(shè)空間搜索
3.6決策樹學(xué)習(xí)的歸納偏置
3.6.1限定偏置和優(yōu)選偏置
3.6.2為什么短的假設(shè)優(yōu)先
3.7決策樹學(xué)習(xí)的常見問題
3.7.1避免過度擬合數(shù)據(jù)
3. 7.2合并連續(xù)值屬性
3.7.3屬性選擇的其他度量標(biāo)準(zhǔn)
3.7.4處理缺少屬性值的訓(xùn)練樣例
3.7.5處理不同代價(jià)的屬性
3.8小結(jié)和補(bǔ)充讀物
習(xí)題
第4章人工神經(jīng)網(wǎng)絡(luò)
4.1簡介
4.2神經(jīng)網(wǎng)絡(luò)表示
4.3適合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的問題
4.4.1感知器的表征能力
4. 4.2感知器訓(xùn)練法則
4.4.4小結(jié)
4.5.1可微閾值單元
4.5.2反向傳播算法
4.5.3反向傳播法則的推導(dǎo)
4.6反向傳播算法的說明
4.6.1收斂性和局部極小值
4.6.2前饋網(wǎng)絡(luò)的表征能力
4.6.4隱藏層表示
4.6.5泛化、過度擬合和停止判據(jù)
4.7舉例:人臉識別
4.7.1任務(wù)
4.7.2設(shè)計(jì)要素
4.7.3學(xué)習(xí)到的隱藏層表示
4.8人工神經(jīng)網(wǎng)絡(luò)的高級課題
4.8.1其他可選的誤差函數(shù)
4.8.2其他可選的誤差最小化過程
4.8.3遞歸網(wǎng)絡(luò)
4.8.4動(dòng)態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu)
4.9小結(jié)和補(bǔ)充讀物
習(xí)題
第5章評估假設(shè)
5.1動(dòng)機(jī)
5.2估計(jì)假設(shè)精度
5.2.1樣本錯(cuò)誤率和真實(shí)錯(cuò)誤率
5.2.2離散值假設(shè)的置信區(qū)間
5.3采樣理論基礎(chǔ)
5.3.1錯(cuò)誤率估計(jì)和二項(xiàng)比例估計(jì)
5.3.2二項(xiàng)分布
5.3.3均值和方差
5.3.4估計(jì)量、偏差和方差
5.3.5置信區(qū)間
5.3.6雙側(cè)和單側(cè)邊界
5.4推導(dǎo)置信區(qū)間的一般方法
5.5兩個(gè)假設(shè)錯(cuò)誤率間的差異
5.6學(xué)習(xí)算法比較
5.6. 1配對t測試
5.6.2實(shí)際考慮
5.7小結(jié)和補(bǔ)充讀物
習(xí)題
第6章貝葉斯學(xué)習(xí)
6.1簡介
6.3貝葉斯法則和概念學(xué)習(xí)
6.3.1BRUTE-FORCE貝葉斯概念學(xué)習(xí)
6.3.2MAP假設(shè)和一致學(xué)習(xí)器
6.4極大似然和最小誤差平方假設(shè)
6.5用于預(yù)測概率的極大似然假設(shè)
6.7貝葉斯最優(yōu)分類器
6.8GIBBS算法
6.9樸素貝葉斯分類器
6.10舉例:學(xué)習(xí)分類文本
6.11貝葉斯信念網(wǎng)
6.11.1條件獨(dú)立性
6.11.2表示
6.11.3推理
6.11.4學(xué)習(xí)貝葉斯信念網(wǎng)
6.11.5貝葉斯網(wǎng)的梯度上升訓(xùn)練
6.11.6學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)
6.12EM算法
6.12.1估計(jì)k個(gè)高斯分布的均值
6.12.2EM算法的一般表述
6.12.3k均值算法的推導(dǎo)
6.13小結(jié)和補(bǔ)充讀物
習(xí)題
第7章計(jì)算學(xué)習(xí)理論
7.1簡介
7.2可能學(xué)習(xí)近似正確假設(shè)
7.2.1問題框架
7.2.2假設(shè)的錯(cuò)誤率
7.2.3PAC可學(xué)習(xí)性
7.3有限假設(shè)空間的樣本復(fù)雜度
7.3.1不可知學(xué)習(xí)和不一致假設(shè)
7.3.2布爾文字的合取是PAC可學(xué)習(xí)的
7.3.3其他概念類別的PAC可學(xué)習(xí)性
7.4無限假設(shè)空間的樣本復(fù)雜度
7.4.1打散一個(gè)實(shí)例集合
7.4.2Vapnik-Chervonenkis維度
7.4.3樣本復(fù)雜度和VC維
7.4.4神經(jīng)網(wǎng)絡(luò)的VC維
7.5學(xué)習(xí)的出錯(cuò)界限模型
7.5.1FIND-S算法的出錯(cuò)界限
7.5.2HALVING算法的出錯(cuò)界限
7.5.3最優(yōu)出錯(cuò)界限
7.5.4加權(quán)多數(shù)算法
7.6小結(jié)和補(bǔ)充讀物
習(xí)題
第8章基于實(shí)例的學(xué)習(xí)
8.1簡介
8.2k-近鄰算法
8.2.1距離加權(quán)最近鄰算法
8.2.2對k-近鄰算法的說明
8.2.3術(shù)語注解
8.3局部加權(quán)回歸
8.3.1局部加權(quán)線性回歸
8.3.2局部加權(quán)回歸的說明
8.4徑向基函數(shù)
8.5基于案例的推理
8.6對消極學(xué)習(xí)和積極學(xué)習(xí)的評論
8.7小結(jié)和補(bǔ)充讀物
習(xí)題
第9章遺傳算法
9.1動(dòng)機(jī)
9.2遺傳算法
9.2.1表示假設(shè)
9.2.2遺傳算子
9.2.3適應(yīng)度函數(shù)和假設(shè)選擇
9.3舉例
9.4假設(shè)空間搜索
9.5遺傳編程
9.5.1程序表示
9.5.2舉例
9.5.3遺傳編程說明
9.6進(jìn)化和學(xué)習(xí)模型
9.6.1拉馬克進(jìn)化
9.6.2鮑德溫效應(yīng)
9.7并行遺傳算法
9.8小結(jié)和補(bǔ)充讀物
習(xí)題
第10章學(xué)習(xí)規(guī)則集合
10.1簡介
10.2序列覆蓋算法
10.2.1一般到特殊的柱狀搜索
10.2.2幾種變型
10.3學(xué)習(xí)規(guī)則集:小結(jié)
10.4學(xué)習(xí)一階規(guī)則
10.4.1一階Horn子句
10.4.2術(shù)語
10.5學(xué)習(xí)一階規(guī)則集:FOIL
10.5.1FOIL中的候選特化式的生成
10.5.2引導(dǎo)FOIL的搜索
10.5.3學(xué)習(xí)遞歸規(guī)則集
10.5.4FOIL小結(jié)
10.6作為逆演繹的歸納
10.7逆歸納
10.7.1一階歸納
10.7.2逆歸納:一階情況
10.7.3逆歸納小結(jié)
10.7.4泛化、-包容和涵蘊(yùn)
10.7.5PROGOL
10.8小結(jié)和補(bǔ)充讀物
習(xí)題
第11章分析學(xué)習(xí)
11.1簡介
11.2用完美的領(lǐng)域理論學(xué)習(xí):PROLOG-EBG
11.3對基于解釋的學(xué)習(xí)的說明
11.3.1發(fā)現(xiàn)新特征
11.3.2演繹學(xué)習(xí)
11.3.3基于解釋的學(xué)習(xí)的歸納偏置
11.3.4知識級的學(xué)習(xí)
11.4搜索控制知識的基于解釋的學(xué)習(xí)
11.5小結(jié)和補(bǔ)充讀物
習(xí)題
第12章歸納和分析學(xué)習(xí)的結(jié)合
12.1動(dòng)機(jī)
12.2學(xué)習(xí)的歸納-分析途徑
12.2.1學(xué)習(xí)問題
12.2.2假設(shè)空間搜索
12.3使用先驗(yàn)知識得到初始假設(shè)
12.3.1KBANN算法
12.3.2舉例
12.3.3說明
12.4使用先驗(yàn)知識改變搜索目標(biāo)
12.4.1TANGENTPROP算法
12.4.2舉例
12.4.3說明
12.4.4EBNN算法
12.4.5說明
12.5使用先驗(yàn)知識來擴(kuò)展搜索算子
12.5.1FOCL算法
12.5.2說明
12.6研究現(xiàn)狀
12.7小結(jié)和補(bǔ)充讀物
習(xí)題
第13章增強(qiáng)學(xué)習(xí)
13.1簡介
13.2學(xué)習(xí)任務(wù)
13.3Q學(xué)習(xí)
13.3.1Q函數(shù)
13.3.2一個(gè)學(xué)習(xí)Q的算法
13.3.3舉例
13.3.4收斂性
13.3.5實(shí)驗(yàn)策略
13.3.6更新序列
13.4非確定性回報(bào)和動(dòng)作
13.5時(shí)間差分學(xué)習(xí)
13.6從樣例中泛化
13.7與動(dòng)態(tài)規(guī)劃的聯(lián)樂
13.8小結(jié)和補(bǔ)充讀物
習(xí)題
附錄符號約定