欢迎访问欧博亚洲(Allbet Game)!

首页科技正文

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018

admin2020-06-2529

论文基于层级表达提出高效的进化算法来举行神经网络结构搜索,通过层层堆叠来构建壮大的卷积结构。论文的搜索方式简朴,从实验效果看来,到达很不错的准确率,值得学习

泉源:【晓飞的算法工程条记】 民众号

论文: Hierarchical Representations for Efficient Architecture Search

  • 论文地址:https://arxiv.org/abs/1711.00436

Introduction

  由于网络的验证需要破费很长的时间,神经网络结构搜索盘算量异常伟大,许多研究通过降低搜索空间的复杂度来提高搜索的效率。论文通过加入分层网络结构来约束搜索空间,在最初几层仅使用卷积和池化等简朴操作,逐步到高层将底层的block举行组合搭建,最后将最高层的block堆叠成最终的网络。由于搜索空间设计够好,网络的搜索方式仅用进化算法或随机搜索足以。
  论文总结如下:

  • 提出对神经网络结构的层级表达
  • 通过实验证实搜索空间的设计十分重要,可以降低搜索方式的投入,甚至随机搜索也可以
  • 提出可扩展的进化搜索方式,对比其它进化搜索方式有更好的效果

Architecture Representations

Flat Architecture Representation

  将神经网络结构界说为单输入、单输出的盘算图,图中每个节点代表特征图,每条有向边为基本操作(卷积、池化等),以是网络的表达$(G,o)$包罗两部分:

  1. 一个有用的操作聚集$o={o_1,o_2,...}$
  2. 一个邻接矩阵$G$,用以指定操作的神经网络图,$G_{ij}=k$为节点$i$和节点$j$间的操作为$o_k$

  将操作集$o$和邻接矩阵$G$组合起来就获得网络的结构

  每个节点$i$的特征图$x_i$由其前面的节点$j$通过公式2盘算而得,$|G|$是图中节点数目,$merge$将多个特征图合并成一个的操作,这里直接使用depthwise concatentation,由于element-wise addition要求维度一致,对照不天真,而且若是融合特征后接的是$1\times 1$卷积,这就实在类似于做concatienation

Hierarchical Architecture Representation

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第1张

  层级结构表达的关键是找到差别的层级的模版,在构建高层模版时使用低层的模版作为积木(operation)举行构建

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第2张

  对于$L$层的层级关系,$\ell$层包罗$M_{\ell}$个模版,最高层$\ell=L$仅包罗一个模版,对应完整的网络,最低层$\ell=1$是元操作集,界说$o_m{(\ell)}$为$\ell$层的第$m$个模版,为低层模版$o{(\ell)}={o_1^{(\ell -1)},o_2^{(\ell -1)},...,o_1^{(\ell - 1)}}$凭据公式3的组合。最终的层级结构表达为$({{G_m{(\ell)}}_{m=1}M}_{\ell=2}L,o{(1)})$,由每层的模版的网络结构关系和最底层操作界说,如图1

Primitive Operations

  低层的原操作共六种($\ell=1$,$M_t=6$):

  • 1 × 1 convolution of C channels
  • 3 × 3 depthwise convolution
  • 3 × 3 separable convolution of C channels
  • 3 × 3 max-pooling
  • 3 × 3 average-pooling
  • identity

  使用时,所有元操作为stride=1,以及举行padded来保留分辨率,卷积后都接BN+ReLU,维度固定为$C$。另外每层都有$none$操作,代表节点$i$和节点$j$之间没有毗邻

Evolutionary Architecture Search

Mutation

  分层基因的变异包罗以下步骤:

  • 采样一个非原始层$\ell\ge2$作为目的层
  • 在目的层采样一个模版$m$作为目的模版
  • 在目的模版中采样一个后继节点$i$
  • 在目的模版中采样一个前置节点$j$
  • 随机替换当前操作$o_k^{(\ell -1)}$为其它操作$o_{k{'}}{(\ell -1)}$

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第3张

  对于当前层级只有两层的,第一步直接将$\ell$设为2,变异可总结为公式4,$\ell$,$m$,$i$,$j$,$k^{'}$从各自区域的均匀分布中随机抽样获得,上面的突变足够对模版发生3种修改:

  • 添加边:$o_k^{(\ell -1)}=none$,$o_{k{'}}{(\ell -1)}\ne none$
  • 修改存在的边:$o_k^{(\ell -1)}\ne none$,$o_{k{'}}{(\ell -1)}\ne none$,$o_k^{(\ell -1)}\ne o_{k{'}}{(\ell -1)}$
  • 删除存在的边:$o_k^{(\ell -1)}\ne none$,$o_{k{'}}{(\ell -1)}= none$

Initialization

  基因指代完整的网络,基因的种群初始化包罗两个步骤:

  1. 确立一个不重要的基因,每个模版都使用identity举行毗邻
  2. 对基因举行大批量的随机变异来多样化

  对比以前的研究使用常见的网络举行基因初始化,这样的初始化不仅能很好地笼罩不常见的网络的搜索空间,还能去除人工初始化带来的传统偏向

Search Algorithms

  论文的进化算法基于锦标赛选择(tournament selection),首先对初始化的种群网络举行训练和测试获得分数,然后从种群中随机获取5%的基因,显示最好的基因举行突变获得新网络,在训练和测试后放入种群中,重复举行上述选取与放回,种群数目不停增大,最终取种群显示最好的基因
  论文也使用随机搜索举行实验,基因种群随机天生,然后举行训练和验证,选取最好的模子,这种方式的主要利益在于能整个种群并行化盘算,削减搜索时间

Implementation

  论文使用异步分布式举行实现,包罗一个controller和多个worker,划分卖力基因的进化和测试,两者共享一个内存表格$\mathcal{M}$,纪录基因及其准确率(fitness),另有一个数据行列$\mathcal{Q}$,包罗待测试的基因

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第4张

  当有worker空余时,controller使用锦标赛选择从$\mathcal{M}$中选择一个基因举行突变,然后放到行列$\mathcal{Q}$中守候测试

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第5张

  worker从$\mathcal{Q}$中拿到待测试的基因,测试后放到$\mathcal{M}$中,训练是从头开始训练的,没有使用权值共享加速

Experiments and Results

Experimental Setup

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第6张

  在实验中,没有对整体网络举行搜索,而是使用提出的方式举行卷积单元(cell)的搜索,这样能够在小网络上快速举行网络测试然后迁移到较大的网络。详细的各结构如图2,每个cell后面接$2c$维度和$stride=2$的$3\times 3$星散卷积,用于升维和降低分辨率,最后一个cell后面接$c$维度和$stride=1$的$3\times 3$星散卷积

Architecture Search on CIFAR-10

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第7张

  200卡,初始种群为200,层级$L=3$,每层模版的操作划分为$M_1=6$,$M_2=6$和$M_3=1$,每层($\ell \ge2$)的节点图划分为$|G{(2)}|=4$和$|G{(3)}|=5$,层2的模版跟一个跟模版输入维度一样$1\times 1$的卷积来降维。对于用于对比的不分层的搜索方式,则使用11个节点的盘算图。从图3来看,论文提出的方式在收敛速率、准确率和参数目上都不错

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第8张

  为了进一步展示论文方式的效果,对图3中心的效果的每轮增量举行了可视化。在P100 GPU上,每个网络的测试需要破费1小时,进化共7000轮,200张卡共需要1.5天

Architecture Evaluation on CIFAR-10 and ImageNet

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第9张

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第10张

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第11张

CONCLUSION

  论文基于层级表达提出高效的进化算法来举行神经网络结构搜索,通过层层堆叠来构建壮大的卷积结构。论文的搜索方式简朴,从实验效果看来,200张卡共需要1.5天,到达很不错的准确率,值得学习

APPENDIX A

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第12张

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第13张



若是本文对你有辅助,贫苦点个赞或在看呗~
更多内容请关注 微信民众号【晓飞的算法工程条记】

环球ug官网开户网址:基于层级表达的高效网络搜索方式 | ICLR 2018 第14张

,

apple developer enterprise account for rent

providing apple enterprise developer accounts for rent, rent your own enterprise account for app signing. with high quality, stable performance and affordable price.

转载声明:本站发布文章及版权归原作者所有,转载本站文章请注明文章来源:欧博亚洲(Allbet Game)!

本文链接:https://www.qzkaishanjx.com/post/927.html

网友评论

最新评论

  • AllbetGmaing客户端下载 09/20 说:

    AllbetGmaing客户端下载欢迎进入AllbetGmaing客户端下载(www.aLLbetgame.us):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。水一下,我在看

  • AllbetGmaing客户端下载 09/20 说:

    AllbetGmaing客户端下载欢迎进入AllbetGmaing客户端下载(www.aLLbetgame.us):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。水一下,我在看

  • 欧博会员开户 09/19 说:

    欧博亚洲客户端下载欢迎进入欧博亚洲客户端下载(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。新发现的宝藏文

  • 欧博亚洲手机版下载 09/19 说:

    Allbet Gmaing开户欢迎进入Allbet Gmaing开户(www.aLLbetgame.us):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。我很中意这个

  • Allbet开户 09/18 说:

    AllbetGmaing下载欢迎进入AllbetGmaing下载(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。内容好精彩啊

  • UG环球网址 09/17 说:

    Allbet电脑版下载欢迎进入Allbet电脑版下载(www.aLLbetgame.us):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。这类型很少见啊

  • 欧博allbet 09/17 说:

    allbet欧博真人客户端欢迎进入allbet欧博真人客户端(Allbet Game):v,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。有画面了

  • UG环球注册 09/16 说:

    www.allbetgaming.com欢迎进入欧博平台网站(www.aLLbetgame.us),www.aLLbetgame.us开放欧博平台网址、欧博注册、欧博APP下载、欧博客户端下载、欧博游戏等业务。可以日更吗