第(2/3)页

    接下来便是本次参赛的最核心竞争力，残差网络在这个框架上的实现。

    “今年的imagenet挑战赛其实没有什么太多的新想法，大家基本上都是以复现阿里克斯的算法为主。”

    孟繁岐当然不准备和其他队伍一样，基于阿里克斯的框架去重新实现阿里克斯去年的参赛算法，早期的许多算法在参数量和计算量上都有很大的冗余。

    “谷歌的googlenet和牛津的vggnet原本要明年才能研究出来，不过我今年参赛之后，这两个ai历史上的重要网络恐怕就要胎死腹中了吧？”

    别说是现在了，截止到14年末，多余的设计仍旧大量存在与谷歌和牛津大学的算法当中。

    直到15年，那个男人以残差网络resnet夺冠imagenet-2015，铸就了深度学习时代的ai模型的神格。

    残差思想是孟繁岐此时此刻的最佳选择，一方面它会成为深度学习时代的里程碑，因为它的核心思想，就是如何把深度网络做得更加‘深’。

    另一方面，它的实现和结构简洁，抛弃了大量人类看来很有道理和价值，但实际上其实用处不大的设计。

    将简洁好用的结构反复重复，这也大大地降低了孟繁岐所需要的开发工程量。

    alexnet是八层的结构，各自有一些独立的设计，在此时，8层已经是革命性的深度网络了。

    更深的网络特别难以训练，因此原本直到14年，谷歌和牛津才分别把这个深度推进到22层和19层。

    而resnet的思想，彻底从根本上解决了网络变深就没法顺利训练的问题。它让50，100，150，甚至1000层网络的训练成为可能。

    “从去年的8，到今年的100+层，甚至1000层也可以训练。在2013年的视角来看，这一剂猛药应该够劲了。”

    不仅是深度上取得了开创性的突破，resnet的性能也同样惊人。它是第一个top-5错误率低于人类能力的结构，单模型达到了4.6%左右。

    如果综合几个不同方式训练的resnet，平均他们的输出再去预测的话，其top-5错误率甚至低至3.7%。

    “其实在imagenet上做得太准了反而是一件怪事。”考虑到后世的研究中，该数据集中的标签其实有不小的比例是错误的，越贴近百分之百的准确率反而越有一些荒诞的感觉。

    resnet的res指residual，正经点说是残差，说得明白一些是一种短路或者是跳跃链接。

    再说的浅显一点，假设原本的操作为f(x)，resnet就是把计算过程从f(x)改为f(x)+x。
    第(2/3)页