算法(algorithm):一个列出了具体操作步骤的说明,你可以按步骤来实现一个目标,就像对照菜谱烘焙蛋糕一样。
反传(或误差反向传播)[ backprop (backpropagation of errors)]:通过梯度下降来优化神经网络的学习算法,以最小化代价函数的值并提高网络性能。
贝叶斯规则(Bayes’s rule):基于新数据和与事件相关条件的先验知识,对事件概率进行更新的规则。更一般地说,贝叶斯概率是对当前和先验数据产生结果的信念。
玻尔兹曼机(Boltzmann machine):一种神经网络模型,由相互作用的二进制单元组成,其中单元处于活跃状态的概率取决于其整合的突触输入。该模型以19世纪物理学家路德维希·玻尔兹曼命名,他是统计力学的奠基人。
约束条件(constraints):让最优化问题的解决方案必须满足的保证其值为正的条件。
卷积(convolution):通过计算一个函数与另一个函数相对移位的重叠量,将两个函数进行混合。
代价函数(cost function):用来指定网络目的并衡量其性能表现的函数。学习算法的目的是降低代价函数的值。
反馈(feedback):神经网络中由高/后层流向低/前层神经元的连接,这种连接使信号在网络中形成了环流。
前馈网络(feedforward network):一种多层神经元网络,其中各层神经元之间的连接是单向的,从输入层开始,到输出层结束。
梯度下降(gradient descent):一种以降低代价函数为目的的优化方法,在每个周期中都会对参数进行调整,代价函数用来衡量网络模型的性能。
霍普菲尔德网络(Hopfield net):由约翰·雀普菲尔德发明的全连接神经网络模型,根据不同的输入状态,该模型都能保证收敛成固定的吸引子形态,可以用来存储和提取信息。对该网络进行过探讨的文章有上千篇。
学习算法(learning algorithm):基于样本来调整函数参数的算法。同时提供了输入和目标输出样本的是监督算法,仅提供输入样本的是无监督算法。 强化学习是监督学习算法的一种,仅对好的表现进行奖励。
逻辑(logic):基于结果仅为真或假的假设的数学推断。数学家用逻辑来证明定理。
机器学习(machine learning):计算机科学的一个分支学科,让计算机从数据中学习如何完成任务,而不对其提供明确的程序设定。
归一化(normalization):将信号的振幅稳定在固定范围内。一种将随时间变化的正值信号进行标准化的方式,即用该信号除以其自身的最大值,使归一化的信号被限定在0和1之间。
优化(optimization):从提供的输入集合中系统地选取输入值的过程,以找到函数的最大或最小输出值。
过度拟合(overfitting):当一个网络模型中可调整参数的数量远大于训练数据的数量,并且该算法使用了过多参数来匹配这些样本时,经过训练的学习算法所达到的状态。 虽然过度拟合大大降低了网络适应新样本的能力,但可以通过正则化来降低这种负面影响。
感知器(perceptron):一个简单的神经网络模型,由一个神经元和一系列带有可变权重的输入组成,可以通过训练来对输入进行分类。
可塑性(plasticity):神经元对其功能的改变,如连接强度的改变(“突触可塑性”),或对其输入的响应[“本征可塑性”(intrinsic plasticity)]。
概率分布(probability distribution):指定了实验中系统或结果的所有可能状态发生的概率的函数。
循环网络(recurrent network):拥有反馈连接,允许信号在其中循环流动的神经网络。
正则化(regularization):在训练数据有限的情况下,防止具有许多参数的网络模型发生过度拟合的方法。 例如权重衰减,即网络中所有的权值在训练的每个周期都会减小,只有具有较大正梯度的权值被保留。
缩放性(scaling):对算法的复杂程度如何随着问题的大小而变化的判断标准。例如,n个数相加的复杂度缩放性为n,但是n个数所有两数配对相乘的复杂度缩放性为n^2。
稀疏性原理(sparsity principle):对信号的稀疏表征,如脑电图(EEG)和功能磁共振成像(fMRI),用少量固定基函数的加权和来近似信号。这些基函数在独立分量分析(independent component analysis)中被称为信源。在一组神经元中,对一个输入的稀疏表征是指只有少数神经元高度活跃的情况。 这可以减少来自表示其他输入的活动模式的干扰。
树突棘(spine):神经元树突上的刺棘状膜突,充当突触的突触后部位。
突触(synapse):两个神经元之间的特异化连接部位,信号从突触前神经元传递到突触后神经元。
图灵机(Turing machine):由阿兰·图灵于1937年发明的一种假想的、可以用来做数学计算的简单计算机模型。 图灵机包括一个可以前后移动的“磁带”,磁带被划分为一个接一个的单元,(一个具有“状态”的“磁头”,可以改变其下活动单元的属性,以及一套关于磁头如何修改活动单元格并移动磁带的指令。 在每个步骤中,机器可以修改活动单元格的属性并更改磁头的状态,之后再将磁带移动一个单元。