算法(algorithm)：一个列出了具体操作步骤的说明，你可以按步骤来实现一个目标，就像对照菜谱烘焙蛋糕一样。
反传(或误差反向传播)[ backprop (backpropagation of errors)]：通过梯度下降来优化神经网络的学习算法，以最小化代价函数的值并提高网络性能。
贝叶斯规则(Bayes’s rule)：基于新数据和与事件相关条件的先验知识，对事件概率进行更新的规则。更一般地说，贝叶斯概率是对当前和先验数据产生结果的信念。
玻尔兹曼机(Boltzmann machine)：一种神经网络模型，由相互作用的二进制单元组成，其中单元处于活跃状态的概率取决于其整合的突触输入。该模型以19世纪物理学家路德维希·玻尔兹曼命名，他是统计力学的奠基人。
约束条件(constraints)：让最优化问题的解决方案必须满足的保证其值为正的条件。
卷积(convolution)：通过计算一个函数与另一个函数相对移位的重叠量，将两个函数进行混合。
代价函数(cost function)：用来指定网络目的并衡量其性能表现的函数。学习算法的目的是降低代价函数的值。
反馈(feedback)：神经网络中由高/后层流向低/前层神经元的连接，这种连接使信号在网络中形成了环流。
前馈网络(feedforward network)：一种多层神经元网络，其中各层神经元之间的连接是单向的，从输入层开始，到输出层结束。
梯度下降(gradient descent)：一种以降低代价函数为目的的优化方法，在每个周期中都会对参数进行调整，代价函数用来衡量网络模型的性能。
霍普菲尔德网络(Hopfield net)：由约翰·雀普菲尔德发明的全连接神经网络模型，根据不同的输入状态，该模型都能保证收敛成固定的吸引子形态，可以用来存储和提取信息。对该网络进行过探讨的文章有上千篇。
学习算法(learning algorithm)：基于样本来调整函数参数的算法。同时提供了输入和目标输出样本的是监督算法，仅提供输入样本的是无监督算法。 强化学习是监督学习算法的一种，仅对好的表现进行奖励。
逻辑(logic)：基于结果仅为真或假的假设的数学推断。数学家用逻辑来证明定理。
机器学习(machine learning)：计算机科学的一个分支学科，让计算机从数据中学习如何完成任务，而不对其提供明确的程序设定。
归一化(normalization)：将信号的振幅稳定在固定范围内。一种将随时间变化的正值信号进行标准化的方式，即用该信号除以其自身的最大值，使归一化的信号被限定在0和1之间。
优化(optimization)：从提供的输入集合中系统地选取输入值的过程，以找到函数的最大或最小输出值。
过度拟合(overfitting)：当一个网络模型中可调整参数的数量远大于训练数据的数量，并且该算法使用了过多参数来匹配这些样本时，经过训练的学习算法所达到的状态。 虽然过度拟合大大降低了网络适应新样本的能力，但可以通过正则化来降低这种负面影响。
感知器(perceptron)：一个简单的神经网络模型，由一个神经元和一系列带有可变权重的输入组成，可以通过训练来对输入进行分类。
可塑性(plasticity)：神经元对其功能的改变，如连接强度的改变(“突触可塑性”)，或对其输入的响应[“本征可塑性”(intrinsic plasticity)]。
概率分布(probability distribution)：指定了实验中系统或结果的所有可能状态发生的概率的函数。
循环网络(recurrent network)：拥有反馈连接，允许信号在其中循环流动的神经网络。
正则化(regularization)：在训练数据有限的情况下，防止具有许多参数的网络模型发生过度拟合的方法。 例如权重衰减，即网络中所有的权值在训练的每个周期都会减小，只有具有较大正梯度的权值被保留。
缩放性(scaling)：对算法的复杂程度如何随着问题的大小而变化的判断标准。例如，n个数相加的复杂度缩放性为n，但是n个数所有两数配对相乘的复杂度缩放性为n^2。
稀疏性原理(sparsity principle)：对信号的稀疏表征，如脑电图(EEG)和功能磁共振成像(fMRI)，用少量固定基函数的加权和来近似信号。这些基函数在独立分量分析(independent component analysis)中被称为信源。在一组神经元中，对一个输入的稀疏表征是指只有少数神经元高度活跃的情况。 这可以减少来自表示其他输入的活动模式的干扰。
树突棘(spine)：神经元树突上的刺棘状膜突，充当突触的突触后部位。
突触(synapse)：两个神经元之间的特异化连接部位，信号从突触前神经元传递到突触后神经元。
图灵机(Turing machine)：由阿兰·图灵于1937年发明的一种假想的、可以用来做数学计算的简单计算机模型。 图灵机包括一个可以前后移动的“磁带”，磁带被划分为一个接一个的单元，(一个具有“状态”的“磁头”，可以改变其下活动单元的属性，以及一套关于磁头如何修改活动单元格并移动磁带的指令。 在每个步骤中，机器可以修改活动单元格的属性并更改磁头的状态，之后再将磁带移动一个单元。
