构建的机器学习系统就够了吗？Bengio师生告诉你答案

产）阐述。完全相同的{p_y(· | x, c)}_c 集合意味着完全相同的继续执行。其之前对于集合数比率的的子系统，学术界在多个继续执行上基础训练基本概念以消除任何对特定继续执行的偏见。

基本功能。基本功能既有子系统由一组机器学习基本功能合组，其之前每个基本功能都对总体转换成作出表彰。通过如下函数基本上可以看出这一点。

其之前 y_m 表示转换成，p_m 表示 m1]th 基本功能的作用于。

基本概念的系统。基本概念的系统阐述了为基本功能既有子系统的每个基本功能或者单片子系统的单个基本功能为了让什么的系统。在本贤之前，学术界考量转用了多层感知机（MLP）、长角冲动（MHA）和周而复始机器学习（RNN）。重要的是，的子系统（或者个人信息聚合原产）顺利进行优化以适用范围于基本概念的系统，比如基于 MLP 的的子系统。

个人信息聚合现实生活

由于学术界的最大限度是通过合成个人信息来思索基本功能既有子系统，因此他们简要概述了基于上贤阐述的的子系统计划的个人信息聚合现实生活。具体情况地，学术界用到了最简单的混合专家学者（MoE）风格的个人信息聚合现实生活，想完全相同的基本功能可以专门针对的子系统之前的完全相同专家学者。

他们解读了适用范围于三种基本概念的系统的个人信息聚合现实生活，它们分别是 MLP、MHA 和 RNN。此外，每个继续执行下面都有两个新版本：回归和归类。

MLP。学术界界定了适用范围于基于基本功能既有 MLP 子系统的求学的个人信息计划。在这一合成个人信息聚合计划之前，一个个人信息样本包涵两个独立的数字以及从一些原产之前采样的的子系统为了让。完全相同的的子系统聚合两个数字的完全相同等价以说明了转换成，也即等价的为了让是根据的子系统顺利进行时序实例既有，如下恒等式 4-6 右图。

MHA。今日，学术界界定了针对基本功能既有 MHA 子系统的求学而优化的个人信息计划。因此，他们设计了具有请注意要素的个人信息聚合原产，即每个的子系统分别由完全相同的查找、检索术语以及检索个人信息的最终等价合组。学术界在如下恒等式 7-11 之前用数学方法阐述了这一现实生活。

RNN。对于周而复始子系统，学术界界定了一种线官能时序子系统的的子系统，其之前可以在任何时间点一连串多个的子系统之前的一个。在数学上，这一现实生活之前如下恒等式 12-15 右图。

基本概念

以往一些工作辩称尾端到尾端基础训练的基本功能子系统要强单体子系统，特别是在是在原产式状况之前。但是，对于这些基本功能既有子系统的好处以及它们是否真的根据个人信息聚合原产顺利进行专业既有处理还没简要和浅层的量化。

因此，学术界考量了四类准许完全相同某种程度专业既有的基本概念，它们分别是 Monolithic（单体）、Modular（基本功能既有）、Modular-op 和 GT-Modular。下表 1 演示了这些基本概念。

Monolithic。单体子系统是一个大型机器学习，它以总体个人信息 (x, c) 作为输入，并依此作出分析 y1]。子系统之前显式 baked 的基本功能既有或比较大官能没出现说明了一般来说，并完全取决于反向传播来求学解决继续执行所须要的任何函数基本上。

Modular。基本功能既有子系统由很多基本功能合组，每个基本功能都是集合的系统类型（MLP、MHA 或 RNN）的机器学习。每个基本功能 m 将个人信息 (x, c) 作为输入，并计算转换成 yˆ_m 和置信度分数，跨基本功能归一既有为作用于概率 p_m。

Modular-op。基本功能既有操作者子系统与基本功能既有子系统非常相似，仅一点完全相同。学术界没将基本功能 m 的作用于概率 p_m 评定 (x, c) 的函数，而是尽也许作用于仅由的子系统上下贤 C 决定。

GT-Modular。真值基本功能既有子系统作为 oracle 基准，即完美专业既有的基本功能既有子系统。

学术界断定，从 Monolithic 到 GT-Modular，基本概念愈加多地包涵基本功能既有和比较大官能的说明了一般来说。

度比率

为了精确地评估基本功能既有子系统，学术界提出批评了一系列度比率，不仅可以衡比率此类子系统的精确官能占优，还能通过瓦解和专业既有这两种重要的基本上顺利进行评估。

精确官能。了当评估度比率基于原产内和原产外（OoD）分设之前的精确官能，反映了完全相同基本概念在各种继续执行上的展现。对于归类分设，学术界调查结果了归类误差；对于回归分设，学术界调查结果了受损失。

瓦解。学术界提出批评了一组度比率 Collapse-Avg 和 Collapse-Worst，便是来比率既有基本功能既有子系统碰上到的瓦解比率（也即基本功能仍未充分利用的某种程度）。下三幅 2 演示了一个下面，可以见到基本功能 3 仍未被用到。

专业既有。为了对瓦解度比率作出补充，学术界还提出批评了请注意一组度比率，即（1）填充，（2）充分利用和（3）比率既有基本功能既有子系统获的专业既有某种程度的反为互个人信息。

物理

下三幅断定，GT-Modular 子系统在大多数情况下都最优（左）的，这断定专业既有是有益处的。我们还见到，在常规尾端到尾端基础训练的基本功能既有子系统和 Monolithic 子系统二者之间，前者的展现要强后者但幅度不大。这两个饼三幅共同断定，也就是说的尾端到尾端基础训练的基本功能既有子系统没发挥作用很差的专业既有，因此在不小某种程度上是次优的。

然后，该数据量化查看特定的系统为了让，并量化它们在愈加多的的子系统之前的精确官能和趋势。

三幅 4 结果显示，虽然完美的专业既有子系统 (GT-Modular) 会带来好处，但类似的尾端到尾端基础训练的基本功能既有子系统是次优的，很难发挥作用这些好处，特别是随着的子系统数比率的增加。此外，虽然这种尾端到尾端基本功能既有子系统的精确官能往往要强 Monolithic 子系统，但往往只有很小的占优。

在三幅 7 之前，我们还见到完全相同基本概念的基础训练方式在所有其他分设上的平均，平均包涵归类错误和回归受损失。可以见到，很差的专业既有不仅可以带来更容易的精确官能，而且可以加快基础训练速度。

下三幅结果显示了两个瓦解度比率：Collapse-Avg 、Collapse-Worst。此外下三幅还结果显示了针对完全相同的子系统数比率的完全相同基本概念的三个专业既有高效率，填充、充分利用和反为互个人信息：

。

宝宝积食怎么办才好
脑梗治疗要多少费用
水土不服怎么办
小孩不爱吃饭怎么办该吃些什么
红草止鼾胶囊多少钱一盒
片仔癀和克癀胶囊怎么选
急支糖浆可以止咳化痰吗
急支糖浆是什么药？
视疲劳怎么缓解
眼睛疲劳酸涩用什么眼药水