Neuronske mreže

Teorija neuralnih mreža započela je krajem 1800-ih. to je bio pokušaj da se objasni kako je ljudski mozak radio. Ove misli su počele da funkcionišu u računskim modelima sa Turingovim B-tip mašinama i perceptronom. Početkom 1950-ih Friedrich Hayek je prvi koji je hipotetizovao ideju impulsivnog poretka u umu koji proističe iz decentralizovanih mreža jednostavnih jedinica (neurona). Krajem 1940-tih, Donald Hebb je završio jednu od prvih hipoteza o mehanizmu “nervne plastičnosti” (tj. učenju), učenju hebrejskog jezika. Hibijsko učenje smatra se klasičnim  zakonom o učenju bez nadzora i (i varijante toga) je bio rani model za dugoročno potenciranje.