算法(algorithm):一个列出了具体操作步骤的说明,你可以按步骤来实现一个目标,就像对照菜谱烘焙蛋糕一样。

反传(或误差反向传播)[ backprop (backpropagation of errors)]:通过梯度下降来优化神经网络的学习算法,以最小化代价函数的值并提高网络性能。

贝叶斯规则(Bayes’s rule):基于新数据和与事件相关条件的先验知识,对事件概率进行更新的规则。更一般地说,贝叶斯概率是对当前和先验数据产生结果的信念

玻尔兹曼机(Boltzmann machine):一种神经网络模型,由相互作用的二进制单元组成,其中单元处于活跃状态的概率取决于其整合的突触输入。该模型以19世纪物理学家路德维希·玻尔兹曼命名,他是统计力学的奠基人。

约束条件(constraints):让最优化问题的解决方案必须满足的保证其值为正的条件。

卷积(convolution):通过计算一个函数与另一个函数相对移位的重叠量,将两个函数进行混合

代价函数(cost function):用来指定网络目的并衡量其性能表现的函数。学习算法的目的是降低代价函数的值。

反馈(feedback):神经网络中由高/后层流向低/前层神经元的连接,这种连接使信号在网络中形成了环流

前馈网络(feedforward network):一种多层神经元网络,其中各层神经元之间的连接是单向的,从输入层开始,到输出层结束。

梯度下降(gradient descent):一种以降低代价函数为目的的优化方法,在每个周期中都会对参数进行调整,代价函数用来衡量网络模型的性能。

霍普菲尔德网络(Hopfield net):由约翰·雀普菲尔德发明的全连接神经网络模型,根据不同的输入状态,该模型都能保证收敛成固定的吸引子形态,可以用来存储提取信息。对该网络进行过探讨的文章有上千篇。

学习算法(learning algorithm):基于样本来调整函数参数的算法。同时提供了输入目标输出样本的是监督算法提供输入样本的是无监督算法强化学习是监督学习算法的一种,仅对的表现进行奖励

逻辑(logic):基于结果仅为真或假的假设的数学推断。数学家用逻辑来证明定理。

机器学习(machine learning):计算机科学的一个分支学科,让计算机从数据中学习如何完成任务,而不对其提供明确的程序设定。

归一化(normalization):将信号的振幅稳定在固定范围内。一种将随时间变化的正值信号进行标准化的方式,即用该信号除以其自身的最大值,使归一化的信号被限定在0和1之间

优化(optimization):从提供的输入集合中系统地选取输入值的过程,以找到函数的最大或最小输出值。

过度拟合(overfitting):当一个网络模型中可调整参数的数量远大于训练数据的数量,并且该算法使用了过多参数来匹配这些样本时,经过训练的学习算法所达到的状态。 虽然过度拟合大大降低了网络适应新样本的能力,但可以通过正则化来降低这种负面影响。

感知器(perceptron):一个简单的神经网络模型,由一个神经元和一系列带有可变权重的输入组成,可以通过训练来对输入进行分类

可塑性(plasticity):神经元对其功能的改变,如连接强度的改变(“突触可塑性”),或对其输入的响应[“本征可塑性”(intrinsic plasticity)]。

概率分布(probability distribution):指定了实验中系统或结果的所有可能状态发生的概率的函数。

循环网络(recurrent network):拥有反馈连接,允许信号在其中循环流动的神经网络。

正则化(regularization):在训练数据有限的情况下,防止具有许多参数的网络模型发生过度拟合的方法。 例如权重衰减,即网络中所有的权值在训练的每个周期都会减小,只有具有较大正梯度的权值被保留。

缩放性(scaling):对算法的复杂程度如何随着问题的大小而变化的判断标准。例如,n个数相加的复杂度缩放性为n,但是n个数所有两数配对相乘的复杂度缩放性为n^2。

稀疏性原理(sparsity principle):对信号的稀疏表征,如脑电图(EEG)和功能磁共振成像(fMRI),用少量固定基函数加权和来近似信号。这些基函数在独立分量分析(independent component analysis)中被称为信源。在一组神经元中,对一个输入的稀疏表征是指只有少数神经元高度活跃的情况。 这可以减少来自表示其他输入的活动模式的干扰。

树突棘(spine):神经元树突上的刺棘状膜突,充当突触突触后部位

突触(synapse):两个神经元之间的特异化连接部位,信号从突触前神经元传递到突触后神经元。

图灵机(Turing machine):由阿兰·图灵于1937年发明的一种假想的、可以用来做数学计算的简单计算机模型。 图灵机包括一个可以前后移动的“磁带”,磁带被划分为一个接一个的单元,(一个具有“状态”的“磁头”,可以改变其下活动单元的属性,以及一套关于磁头如何修改活动单元格并移动磁带的指令。 在每个步骤中,机器可以修改活动单元格的属性并更改磁头的状态,之后再将磁带移动一个单元。