上世紀八十年代中后期神經(jīng)網(wǎng)絡學習的研究，機器學習中關于概念學習的研究開始很早，從中產(chǎn)生的不少思想對整個領域都有深遠影響，例如作為主流學習技術之一的決策樹學習，就起源于關于概念形成的樹結構研究[Hunt and Hovland，1963l. [Winston，1970]在著名的“積木世界”研究中，將概念學習與基于泛化和特化的搜索過程聯(lián)系起來．[Simon and Lea，1974]較早提出了“學習”是在假設空間中搜索的觀點．[Mitchell，1977]稍后提出了版本空間的概念．概念學習中有很多關于規(guī)則學習規(guī)則學習參見第is章·  的內(nèi)容，奧卡姆剃刀原則主張選擇與經(jīng)驗觀察一致的最簡單假設，它在自然科學如物理學、天文學等領域中是一個廣為沿用的基礎性原則，例如哥白尼堅持“日心說”的理由之一就是它比托勒密的“地心說”更簡單且符合天文觀測，奧卡姆剃刀在機器學習領域也有很多追隨者[Blumer et al.，1996].但機器學習中什么是“更簡單的”這個問題一直困擾著研究者們，因此，對奧卡姆剃刀在機器學習領域的作用一直存在著爭議[Webb，1996; Domingos，1999].需注意的是，奧卡姆剃刀并非科學研究中唯一可行的假設選擇原則，例如古希臘哲學家伊壁鳩魯（公元前341年一前270年）提出的“多釋原則”(principle of multipleexplanations)，主張保留與經(jīng)驗觀察一致的所有假設[Asmis，1984]，這與集成集成學習參見第8章-    學習(ensemble learning)方面的研究更加吻合．機器學習領域最重要的國際學術會議是國際機器學習會議(ICML)、國際神經(jīng)信息處理系統(tǒng)會議(NIPS)和國際學習理論會議(COLT)，重要的區(qū)域性會議主要有歐洲機器學習會議(ECML)和亞洲機器學習會議(ACML);最重要的國際學術期刊是Journal of Machine Learning Research和Machine Learning.