事實上，圖靈在1950年關于圖靈測試的文章中，就曾提到了機器學習的可能；二十世紀五十年代初已有機器學習的相關研究，例如A. Samuel著名的跳棋程序．五十年代中后期，基于神經網(wǎng)絡的“連接主義”(connectionism)學習開始出現(xiàn)，代表性工作有F．Rosenblatt的感知機(Perceptron)、B．Widrow的Adaline等．在六七十年代，基于邏輯表示的“符號主義”(symbolism)學習技術蓬勃發(fā)展，代表性工作有P．Winston的“結構學習系統(tǒng)”、R.S．Michalski等人的“基于邏輯的歸納學習系統(tǒng)”、E．B．Hunt等人的“概念學習系統(tǒng)”等；以決策理論為基礎的學習技術以及強化學習技術等也得到發(fā)展，代表性工作有N.J．Nilson的“學習機器”等；二十多年后紅極一時的統(tǒng)計學習理論的一些奠基性結果也是在這個時期取得的．1980年夏，在美國卡耐基梅隆大學舉行了第一屆機器學習研討會(IWML)；同年，《策略分析與信息系統(tǒng)》連出三期機器學習專輯；1983年，Tioga出版社出版了R.S．Michalski、J．G. Carbonell和T．Mitchell主編的《機器學習：一種人工智能途徑》[Michalski et al.，1983]，對當時的機器學習研究工作進行了總結；1986年，第一本機器學習專業(yè)期刊Machine Learning創(chuàng)刊；1989年，人工智能領域的權威期刊A'rtificial Intelligence出版機器學習專輯，刊發(fā)了當時一些比較活躍的研究工作，其內容后來出現(xiàn)在J．G. Carbonell主編、MIT出版社1990年的《機器學習：范型與方法》[Carbonell，1990] -書中．總的來看，二十世紀八十年代是機器學習成為一個獨立的學科領域、各種機器學習技術百花初綻的時期．R.S．Michalski等人[Michalski et al.，1983]把機器學習研究劃分為“從樣例中學習”“在問題求解和規(guī)劃中學習”“通過觀察和發(fā)現(xiàn)學習”“從指令中學習”等種類；