菠菜网

衢州百姓网:Genetic CNN: 经典NAS算法,遗传算法的尺度套用 | ICCV 2017

时间:6个月前   阅读:87   评论:1

论文将尺度的遗传算法应用到神经网络结构搜索中,首先对网络举行编码示意,然后举行遗传操作,整体方式十分简练,搜索空间设计的十分简朴,基本相当于只搜索节点间的毗邻方式, 然则效果照样挺不错的[,〖十分值得学习〗

泉源:晓飞的算法工程条记 民众号

论文: Genetic CNN

  • 论文地址:https://arxiv.org/abs/1703.01513

Introduction

  为了举行神经网络架构搜索,<论文将网络限制为有限的深度>,‘每层为预设的操作’,但仍然存在许多候选网络,为了有用地在伟大的搜索空间中举行搜索,论文提出遗传算法举行加速。(首先组织初始种群),然后对种群内的个体举行遗传操作,即选择、交织〖和〗变异,通过识其余准确率来判断其顺应性,最终获得壮大的种群

Our Approach

Binary Network Representation

  现在SOTA〖的网络大都由〗多个阶段组成,每个阶段内的层具有相同的维度,而相邻的阶段则用池化举行毗邻。借鉴这种头脑,“界说网络有”$S$个阶段组成,$s$-th阶段($s=1,2,...,S$)包罗$K_s$个节点,‘标记为’$v_{s,k}$,$k_s=1,2,...,K_s$,节点按顺序排列,仅允许低序号节点毗邻到高序号节点,对节点的所有输入举行element-wise sum,【每个节点代表卷积操作】,卷积后都接BN+ReLU,网络不加入全毗邻层
  每个阶段使用$1+2+...+(K_s-1)=\frac{1}{2}K_s(K_s-1)$位来示意内部毗邻,第一位示意毗邻$(v_{s,1},v_{s,2})$,‘第二位〖和〗第三位则示意毗邻’$(v_{s,1},v_{s,3})$〖和〗$(v_{s,2},v_{s,3})$,“以此类推”,【最后】$K_s-1$位则示意$v_{s,K_s}$与其它节点的毗邻。对于$1\le i\le j\le K_s$,若是$(v_{s_i}, v_{s,j})=1$,则$v_{s_i}$〖和〗$v_{s,j}$有边,$v_{s,j}$将$v_{s,i}$的输出作为element-wise sum〖的一部分〗。编码如图1所示,然则Stage 2〖的编码似乎有点〗‘问题’,(根据图片应该)是0-10-000-0011

  • Technical Details

  每个阶段默认有两个节点,分别为输入节点$v_{s,0}$〖和〗输出节点$v_{s,K_s+1}$,输入节点使用卷积将前一个阶段的特征进一步提取,然后传递给没有输入的节点中,输出节点则element-wise sum所有没被使用的节点的输出,然后举行一次卷积再接池化层,这里有两种特殊的情形:

  • 若是节点$v_{s,i}$‘被隔离了’,没有非默认输入〖和〗输出,则直接忽略,如图1 B2节点

  • 若是当前阶段没有毗邻[,所有为0,则只举行一次卷积((原本至少输入输出节点都市举)行一次)

  • Examples and Limitations

  这样的编码形式可以编码现在的主流分[类结构,但也有许多局限性:

  • 现在的毗邻方式只有卷积〖和〗池化,不能使用其它对照tricky的模块,例如Maxout
  • 每个阶段的卷积核是牢固的,阻碍了multi-scale特征的融合

Genetic Operations

  遗传算法历程如图1所示,共举行$T$代遗传,每代包罗3个操作,选择、变异〖和〗交织,顺应值通过训练后的模子在验证集上获得

  • Initialization

  初始化一个随机模子聚集${\mathbb{M}{0,n} }{n=1}N$,每个模子是长度为$L$的二进制串,串上每位遵守伯努利分布$b_{0,n}l \sim \mathcal{B}(0.5)$,$l=1,2,...,L$,然后训练并测试每个模子的准确率,这里的初始化计谋影响不大

  • Selection

  在每一代种群天生前都市举行选择操作,在$t$-th{代}前,个体$\mathbb{M}{t-1,n}$的顺应性为$r{t-1,n}$,直接影响$\mathbb{M}{t-1,n}$在选择阶段存活的概率。详细选择使用俄罗斯轮盘选择法(Russian roulette),每个个体选取的概率与$r{t-1,n}-r_{t-1,0}$成比例,$r_{t-1,0}$为上一代的最低顺应性。“选”择后的保持种群总数稳定,以是一个个体可能会被选择多次

  • Mutation and Crossover

  『变异的操作包罗对二进制串每个位举』行概率为$q_M$的反转,而交织的操作则同时改变两个个体,以概率$q_C$对个体间的stage举行交流。个体变异的概率为$p_M$,每组个体交织的概率为$p_C$,详细的操作看算法1,虽然这种方式很简朴,「然则十分有用」

  • Evaluation

  在上述操作后,对每个个体$\mathbb{M}_{t,n}$举行训练以及测试来获得顺应值,若是该个体之前已经测试过了,则直接再测一遍然后求平均,这样能移除训练中的不确定性

Experiments

MNIST Experiments

  「实验设置」,$S=2$,$(K_1,K_2)=(3,5)$,$L=13$,“种群”初始$N=20$,(共一次)$T=50$,$p_M=0.8$,$q_M=0.1$,$p_C=0.2$,$q_C=0.3$,一共只发生$20\times (50+1)=1020\le 8192${个网络},耗时2 GPU-day

CIFAR10 Experiments

  「实验设置」,$S=3$,$(K_1,K_2,K_3)=(3,4,5)$,$L=19$,“种群”初始$N=20$,(共一次)$T=50$,$p_M=0.8$,$q_M=0.05$,$p_C=0.2$,$q_C=0.2$,一共只发生$20\times (50+1)=1020\le 524288${个网络},耗时17 GPU-day

CIFAR and SVHN Experiments

  将CIFAR-10中学习到的网络直接在其余数据集上举行测试

ILSVRC2012 Experiments

  将图5中的两{个网络}在ILSVRC2012 上举行训练[,先用VFFNet的stem举行下采样,【再过图】5的网络,【最后】接全毗邻举行分类

CONCLUSION

  论文将尺度的遗传算法应用到神经网络结构搜索中,首先对网络举行编码示意,然后举行遗传操作,整体方式十分简练,搜索空间设计的十分简朴,基本相当于只搜索节点间的毗邻方式, 然则效果照样挺不错的[,〖十分值得学习〗



若是本文对你有辅助,贫苦点个赞或在看呗~
更多内容请关注 微信民众号【晓飞的算法工程条记】

,

sunbet

www.0-577.com欢迎您的加入。

上一篇:allbet开户:新发地董事长张玉玺:入口三文鱼切割案板检测出新冠病毒

下一篇:欧博allbet:预约已过200万,12日零点发新歌,准备好给周杰伦打个3块钱的奶茶基金吗?_威廉森

网友评论

  • 2020-06-15 00:02:55

    衡水新闻网衡水新闻网汇集更新衡水各类新闻,精彩的社会新闻、最新的政策新闻、各种旅行攻略和教育咨询,各种解读和追踪报道24小时不间断,经历多年在衡水人民心中积攒了好口碑和广知名度,它既是最有用的本地新闻网,又是衡水文卫与经济建设的线上宣传平台,贴近生活,用衡水新闻网共建美丽衡水。看过的比较好的文了。