超级机器人大战d隐藏文章列表:

• 1、街机游戏收割无数玩家人头的杂兵组合，守关BOSS迷茫了：要我何用
• 2、手打279E任务详细攻略！助您带走最难获取的X级特种神车
• 3、安全隐患：神经网络可以隐藏恶意软件
• 4、模型大十倍，性能提升几倍？谷歌研究员进行了一番研究
• 5、我和 AI 一起完成了这篇文章，主编说干得漂亮明天不用来了

街机游戏收割无数玩家人头的杂兵组合，守关BOSS迷茫了：要我何用

大家当年玩《惩罚者》时，最怕遇到的敌兵是谁呢？

靶眼女忍？壮汉精英怪？会使用武器的嬉皮士？还是会捅人的匕首兵？

其实都不是，这些家伙都是可以直接干掉的。最让人感到烦躁的敌人，则是枪兵和长臂机器人。

为什么会觉得他们难缠？毕竟在他们面前可以用枪啊！

即使用枪，也很难保证不被红衣机枪手偷袭。

使用手枪和机器人正面硬刚，必定挨打。

为了保证安全，我们都会和机器人、红衣机枪手、手枪兵进行肉搏战。

让人恐惧的机枪手，则是这两位，典型的攻高血厚打得远，甚至在玩家攻击的时候还能反击。

游戏中的BOSS们虽然都比较狠辣，但真正收走玩家人头最多的，还得是小兵。

总有那么一些比较难缠的家伙，几乎每天都要收走好几拨玩家人头。

敌兵和敌兵之间，要是组合成为了黄金搭档的话，那玩家基本上就是九死一生。

像是《三国志》美美和忍者、《恐龙快打》一关BOSS和肥肥、《圆桌骑士》牛角兵和鸭嘴兽、《名将》电女和呕吐女......

他们只要在一起，就能很大程度上限制了玩家的移动能力。

不知道当年的你，最怕的是哪些敌兵呢？

《快打旋风》

安德鲁兄弟在游戏中虽然血量很厚，而且攻击力比较强的，但很多时候我们真的没有将他们放在眼里。即使是两只一起上也无所谓。但是要是有其他杂兵配合的话，那就相当麻烦了。

安德鲁兄弟的最佳搭档就是：毒药

收走玩家人头最多的敌兵，绝对是飞刀兵。

他们或许不是亲手干掉你，但绝对是杀死你的罪魁祸首。

当你自认为防守得很好的时候，突然就飞过来一只匕首兵，或者飞过来一把飞刀，瞬间破防。

这些家伙都是罗兰多的手下，出手极为狠辣。而红色的飞刀兵是放火的，打一枪就跑不和你纠缠。

相较于其他敌兵，嬉皮士反而是最容易激怒玩家的反派。打你一拳之后一下就不见了，当你想要报复的时候，却挨了他一个三连段。你舍不得使用保险，只能挨打。

《三国志》

赵家兄弟和肥肥是最佳搭档，在很多场合中都是一起出现的。

也正是因为他们的存在，导致二关第一个场景就成为新手坟墓。

这种情况下，你能全身而退吗？

忍者兵和女刺客

这是游戏中最毒的组合，玩家要是选用黄忠的话就会被完全压制。漫天都是人在飞，而地面上又有人在突刺，防不胜防啊！

忍者兵专业偷袭二十年，飞跃能力比较强，善于突刺和滚刺。。在三美关、曹仁关、张辽关、徐晃关和吕布关非常活跃，特别是徐晃关卡中和BOSS的配合天下无敌。

《三国战纪》铁甲兵也够狠，一不留神一刀就是重大伤害。最恶心的是水兵，突刺，飞刺，速度极快。

《变身忍者》

人面蜘蛛应该是所有玩家都比较恐惧的吧！

会吐刺，会跳起来弹人，还会附身吸血，最大的弱点就是脆皮。

但它们的行动比较敏捷，而且最关键的是常规打法根本打不到它们，也正是如此很多玩家都在这里翻车了。

只要有投技的杂兵都是很难缠的，玩家最强的投技无法在它们身上使用。而且稍微靠近一点点就会被反抓。

表现最出色的自然就是机器人，无论是近战、远战还是空战都是最强的，很长一段时间内我都不知道怎么打死它们，甚至害怕到看到出现就释放天书。

另外，还有一个大炮也会投技。站远一点它会释放无敌大炮，稍微近一点就被抓住啃了。

多年来，我最喜欢使用的人物依然是链子兵，对于上面这些怪物都可以克制的。管你手多长，能打多远，在链子面前只有跪。

《名将》

名将中最猛的敌人，是八关出现的复制人，可以变化成为玩家的样子。没错，最强大的敌兵始终是自己。

游戏中最让玩家吃亏的组合，则是机器人。

每次有杂兵上去之后，必须马上打下来，能够尽快摧毁机器人更好。在我们手中没有什么价值，但是在敌人手中却能超常发挥。经常在我们忙于交战时被冻气或者火焰击中。

血量厚的敌兵，和任何敌兵组合都是致命的。吐痰的女魔、死灵武士都是如此。

他们和忍者兵、电女组合在一起，那就是大型的屠宰场啊！

游戏中配合最完美的杂兵，自然是这两位哥。

野人拥有人海战术，故意将你围起来，然后胖子就会出现并偷袭，要么撞击要么喷火，总之会让你破防。小胖子成为游戏中最让人讨厌的家伙。

杀伤力最强的叉兵，好在没有在前面关卡出现，要不然连二关都打不过。

《西游释厄传》

在我们的常识中，“虾兵蟹将”一般都是形容微不足道的，没有什么价值的人物。

但是在《西游释厄传》中水下妖精都是比较难缠的，即使你释放大型的宝贝，或者释放乾坤波动功都无法将它们一次性杀死。

虾兵和蟹将绝对不能硬拼，会吃大亏的。

当年我们玩的时候，只要见到蟹将出现，龙马或者小龙女就会释放“突木桩”或者“无影刀”，绝对不能让它们出来活动。

最恶心的杂兵，百分之百是“海马兵”。嘴巴那个喷得，真想用我身体给它塞住。

而水中时不时出现的章鱼和剑鱼，更是让人恨得牙痒痒。在SUPER版本中被顶一下，能量直接没了。太坑了！

《西游释厄传》中的敌兵和其他游戏不同，都是比较难缠的，很多时候我们不得不使用“下 跳”来进行攻击。

游戏中最恐怖的BOSS，应该就是蜘蛛精关卡的隐藏BOSS，百眼魔吧！

《零组特攻队》大汉

在本作游戏中，我惧怕的敌兵有两只：大汉和太刀兵

大汉不仅仅血量多攻击力强，而且还会冲刺，攻击距离也远。是玩家们的头号宿敌，甚至用火箭筒一炮还干不死。

最最让人恐惧的是，其他人倒地之后都是可以近身继续打的。但是他不行，会投技，只要你敢近身就会被抓住，狠狠捏一顿。

太刀兵，一旦出现必须尽快解决，因为杀伤力实在太大了。一刀就是三分之一的血量。

不过好在，打他一下武器就会掉，短时间内就没有后顾之忧了。

游戏中的NPC都是可以打的，虽然不会对玩家造成任何影响和伤害。

据说，游戏厅那会儿收走人头最多的敌兵就是这位，不知道有没有人反对呢？

丧尸，绝对是敌兵中的天花板

当然了，有的敌兵也是比较给力的，甚至在BOSS场景中还会来帮忙。虽然不起什么作用，但是心意到了嘛！

小编的图文主要专注于街机游戏和红白机，希望可以唤起这代人的美好回忆。

喜欢怀旧游戏的朋友别忘记关注哦！每天可以第一时间查看内容更新。

文章都是经过长时间整理和创作，纯手工打字，绝无水贴。

注：文中同人图片来自网络，如侵删

手打279E任务详细攻略！助您带走最难获取的X级特种神车

各位车长大家好！

个人任务的第二战线加入游戏已有三年时间了，相信车长们在野队里面对“四履带怪物”279工程早期型时也没少头疼。但其获取难得之大，令很多车长望而却步。今天咱们就来聊聊如何把这台“天花板”级的特种战车带回车库。文末附有超详细279工程早期型的个人任务攻略教程！

279任务思路

279的任务怎么做，首先取决于奇美拉任务的完成度。如果奇美拉四条线的任务15均为完美完成，那么279只需要做完一条线，并保证这一条线的任务15完美完成，便可集齐9张第二战线通行令，并直接点亮其它三条279任务线，获得279工程早期型。但如果279的某个前置任务无法完成，或奇美拉的某个任务15（例如同盟-15：突击队）无法完美完成，那么279就需要同开两条任务线，完成后再用余下的通行令点亮另外两条线。

279任务概况

279的任务类型大致可以分为：协助任务、伤害任务、人头任务、抵挡任务、模块任务、眩晕任务、其他任务以及每条线的最终任务：战斗嘉奖任务，共计8种类型的任务。接下来，本文将详细解析联合(S系、C系)、集团(D系、R系)、同盟(M系、Y系、B系)、联盟（V系、F系、I系、J系）四系279任务各自的特点，以及每条线的高难“阴间”任务攻略。若想阅读全任务攻略，可查看文章底部的全任务攻略长图。

联合任务（S系、C系）

综合难度：★★★★★

联合任务是综合难度较高的一条线，这条线一共包含了6个简单难度任务、6个中等难度任务和3个高难“阴间”任务。联合任务总体而言，既需要“肝度”，也对玩家的个人水平有较高的要求。

其中三个高难任务分别为联合-4、联合-7、联合-13，接下来笔者将重点分析这三个任务。

▲联合任务种类与难度

●联合-4（抵挡任务）：5场内，平均每场抵挡8次射击，单场至少抵挡2次。

▲联合-4

众所周知，S系、C系的重甲突击型坦克并不多，KV-4、IS-4、705工程A 以及268工程IV 型都是不错的选择。在完成抵抗伤害这一类任务时，一定要记住压制自己的输出能力，把敌方能够给自己刷伤害抵挡的坦克很好的“保护”起来。

★

●联合-7（模块任务）：连续3场，每场击伤敌方内部模块3次（外部模块不算）。

▲联合-7

火炮弹种和HE机制改版后，各系模块任务的难度均直接提升一个等级。当前版本该任务有两条思路可以参考：一是使用自行火炮2号弹通过HE爆炸毁伤内部模块完成（如212工程）；二是通过大口径、高射速的直射火力射击内部模块完成（如IS-3-II、IS-3A等）。

★

●联合-13（人头任务）：12场内，获得两个勇士勋章（单场6个人头）。

▲联合-13

这一类任务可以可以通过“刷初始”的方法来简化完成，即：若首场未达成该任务条件，则均进行一次进度重置，直到首场达成一次任务条件，任务就会简化为“11场战斗内，获得1个勇士勋章”。但即便如此，该任务仍然具有较高的难度，毕竟“6杀”在高级房是一种可遇不可求的存在。推荐车辆：LT-432、140工程。

集团任务（D系、R系）

综合难度：★★★☆☆

集团任务由4个简单难度任务和11个中等难度任务组成，是综合难度较低的一条线，也是唯一没有高难“阴间”任务的一条线。但集团任务包含了大量的伤害类任务，对玩家的硬实力要求较高。如集团-1：连续3场战斗，造成3500点伤害；集团-10：在20场战斗中获得4次大口径（伤害手）勋章。对于十级车场均伤害普遍能达到3000以上的玩家而言，集团任务将会是279任务线中较为容易的选择。

同时，由于D系8级重型坦克VK10001(P)猛犸 的存在，集团-2与集团-12两个抵挡类任务相较于其他任务线的同类任务也更为简单。

▲集团任务种类与难度

同盟任务（M系、Y系、B系）

综合难度：★★★☆☆

在火炮弹种和HE机制改版前，同盟任务是279任务里最简单的一条线，这条线拥有7个简单难度任务、6个中等难度任务和2个高难“阴间”任务，其中半数的任务都可以使用自行火炮来完成。但在当前版本，由于模块类任务难度的提升，同盟任务的综合难度也有所提高。

接下来，笔者将详细介绍该任务线高难任务：同盟-8与同盟-13。

▲同盟任务种类与难度

●同盟-8（模块任务）：10场内，总计击伤敌方内部模块25次（外部模块不算）。

▲同盟-8

当前版本该任务同样有两条思路可供选择：一是使用自行火炮2号弹通过HE爆炸毁伤内部模块完成（如M53/M55 等）；二是通过大口径、高射速的直射火力射击内部模块完成（如GSOR 1008、阿斯特朗 雷克斯、卡那封 等）。

★

●同盟-13（其他任务）：连续3场，经验位于双方全体的前3名。

▲同盟-13

该任务是较为罕见的经验类任务，要求战斗经验位于本场战斗的前3名。“本场战斗”自然包括了敌我双方的所有玩家，这也就意味着这项任务包含了一个隐藏条件——3场战斗都必须胜利。如果你想比较顺利地完成这一项任务，那么你必须拥有强大的左右战局的能力。推荐的车辆是“上踹10级，下打8级”的9级战车了，所有强势9级战车（如征服者、AE一期、CS-59 等）都可以成为您的选择目标！

联盟任务（V系、F系、I系、J系）

综合难度：★★★★☆

联盟任务同样是综合难度较高的一条线，这条线包含了4个简单难度任务、9个中等难度任务和2个高难“阴间”任务。联盟任务中存在大量对“弹夹车”更有利的任务，因此对玩家操作“弹夹车”的熟练度有着较高的要求。

▲联盟任务种类与难度

●联盟-4（模块任务）：10场内，总计击伤敌方内部模块25次（外部模块不算）。

▲联盟-4

由于科技树中大量“弹夹装填”坦克的存在，联盟的模块任务难度略低于联合线与同盟线。推荐车辆：AMX 50B、埃米尔I、埃米尔II 等强势弹夹车都是不错的选择。

★

●联盟-14（伤害任务）：5场中的3场，造成的伤害位于双方全体的第1名。

▲联盟-14

该任务要求连续3场内造成的伤害位于敌我双方全体的第1名，对玩家的输出能力有较高的要求。推荐车辆：当前版本的最强输出机器——Vz.55 与KRV 都将会是玩家最佳的选择！

结 语

祝各位车长在充分了解了279任务特点及攻略方法后，也能顺利肝出一台属于自己的四履带“钢铁巨兽”！祝您旗开得胜！

▲联合任务 全任务攻略长图

▲集团任务 全任务攻略长图

▲同盟任务 全任务攻略长图

▲联盟任务 全任务攻略长图

安全隐患：神经网络可以隐藏恶意软件

出品 | AI科技大本营（ID:rgznai100）

凭借数百万和数十亿的数值参数，深度学习模型可以做到很多的事情，例如，检测照片中的对象、识别语音、生成文本以及隐藏恶意软件。加州大学圣地亚哥分校和伊利诺伊大学的研究人员发现，神经网络可以在不触发反恶意软件的情况下嵌入恶意负载。

恶意软件隐藏技术 EvilModel 揭示了深度学习的安全问题，这已成为机器学习和网络安全会议讨论的热门话题。随着深度学习逐渐与我们的应用中变得必不可分，安全社区需要考虑新的方法来保护用户免受这类新兴的威胁。

深度学习模型中隐藏的恶意软件

每个深度学习模型都是由多层人工神经元组成，根据层的类型，每个神经元与其上一层和下一层中的所有或部分神经元有所连接。根据深度学习模型在针对任务训练时使用的参数数值不同，神经元间连接的强度也会不同，大型的神经网络甚至可以拥有数亿乃至数十亿的参数。

EvilModel 背后的主要思想是将恶意软件嵌入到神经网络的参数中，使其对恶意软件扫描仪不可见。这是隐写术的一种形式，将一条信息隐藏在另一条信息中的做法。

同时，携带恶意病毒的深度学习模型还必须执行其主要任务（例如，图像分类）做到和正常模型一样号，以避免引起怀疑或使其对受害者无用。

最后，攻击者必须有一种机制将受感染的模型传递给目标设备，并从模型参数中提取恶意软件。

更改参数值

大多数深度学习模型都会使用 32 位（4 个字节）的浮点数来存储参数值。据研究者实验，黑客可以在不显著提升其中数值的前提下，每个参数中存储最多存储 3 字节的病毒。

大多数深度学习模型使用 32 位（4字节）浮点数来存储参数值。根据研究，在不显著提升其数值的前提下，最多有三字节可用于嵌入恶意代码。

在感染深度学习模型时，攻击者会将病毒打散至 3 字节，并将数据嵌入到模型的参数之中。为了将恶意软件传输至目标的手段，攻击者可以将感染后的模型发布至 GitHub 或 TorchHub 等任意托管神经模型的网站。或是通过更复杂的供应链攻击形式，让目标设备上软件的自动更新来传播受感染的模型。

一旦受感染后的模型交付给受害者，一个小小的软件就可提取并执行负载。

在卷积神经网络中隐藏的恶意软件

为了验证 EvilModel 的可行性，研究人员在多个卷积神经网络（CNN）中进行了测试。CNN 是个很好的测试环境，首先，CNN 的体积都很大，通常会有几十层和数百万的参数；其次，CNN 包含各类架构，有不同类型的层（全连接层、卷积层）、不同的泛化技术（批归一化、弃权、池化等等），这些多样化让评估各类病毒嵌入设定变得可能；第三，CNN 通常用于计算机视觉类的应用，这些都是恶意因素的主要攻击对象；最后，很多经过预训练的 CNN 可以在不经任何改动的情况下直接集成到新的应用程序中，而多数在应用中使用预训练 CNN 的开发人员并不一定知道深度学习的具体应用原理。

研究人员首先尝试进行病毒嵌入的神经网路是AlexNet，一款曾在 2012 年重新激起人们对深度学习兴趣的流行软件，拥有 178 兆字节、五个卷积层和三个密集层或全连接层。

在用批量标准化（Batch Normalization，一种先分组标准化训练样本，再进入深度模型训练的技术）训练 AlexNet 时，研究者们成功将 26.8 M 的恶意软件嵌入到了模型之中，并同时确保了其与正常模型预测的准确率相差不超过 1%。但如果增加恶意软件的数据量，准确率将大幅下降。

下一步的实验是重新训练感染后的模型。通过冻结受感染神经元避免其在额外训练周期中被修改，再加上批量标准化和再训练，研究人员成功将恶意病毒的数据量提升至 36.9MB，并同时保证了模型的准确率在 90% 以上。

研究中实验用的八个样本病毒都是可以被线上病毒扫描网站 VirusTotal 识别为恶意软件的，一旦样本成功嵌入神经网络，研究人员就会将模型上传至 VirusTotal 中进行扫描。而病毒扫描结果却显示这些模型“安全”，意味着恶意软件的伪装并未暴露。

研究人员又在其他几个 CNN 架构上进行了相同的测试， 包括 VGG、ResNet、Inception，以及 Mobilenet。实验结果类似，恶意软件都未被成功检测。这些隐匿的恶意软件将会是所有大型神经网络都需要面对的威胁。

保护机器学习管道

考虑到潜藏在深度学习模型中的恶意负载可以避过病毒扫描的检测，对抗 EvilModel 的唯一手段恐怕就只有直接销毁病毒本身了。

这类病毒只有在所有字节都完好无损才能保证感染成功。因此，如果收到 EvilModel 的受害者可以在不冻结受感染层的情况下重新训练模型，改变参数数值，便可让病毒数据直接被销毁。这样，即使只有一轮的训练也足以摧毁任何隐藏在深度学习模型中的恶意病毒。

但是，大多数开发人员都按原样使用预训练模型，除非他们想要针对其他应用做更细致的调整。而很多的细调都会冻结网络中绝大多数的层，这些层里很大可能包含了受感染的那些。

这就意味着，除了对抗攻击，数据中毒、成员推理等其他已知的安全问题之外，受恶意软件感染的神经网络也将成为深度学习的未来中真正的威胁之一。

机器学习模型与经典的、基于规则的软件之间的差别意味着我们需要新的方法来应对安全威胁。2021 年上半年的时候，不少组织都提出了对抗性机器学习威胁矩阵，一个可协助开发者们发现机器学习管道弱点并修补安全漏洞的框架。

虽然威胁矩阵更侧重于对抗性攻击，但其所提出的方法也适用于 EvilModels 等威胁。在研究人员找到更可靠的手段来检测并阻止深度学习网络中的恶意软件之前，我们必须确立机器学习管道中的信任链。既然病毒扫描和其他静态分析工具无法检测到受感染模型，开发者们必须确保他们所使用的模型是来自可信任的渠道，并且训练数据和学习参数未受到损害。

随着我们在深度学习安全问题方面更深一步的研究，我们也必须对那些用于分析图片或识别语音的、数量庞杂的数据背后所隐藏的东西保持警惕。

参考链接：

https://bdtechtalks.com/2021/12/09/evilmodel-neural-networks-malware

模型大十倍，性能提升几倍？谷歌研究员进行了一番研究

选自lukemetz.blog

作者：Luke Metz

机器之心编译

编辑：泽南

搞大模型，大到一次训练要花几百万刀买算力，没钱重训的那种，会不会花冤枉钱？

随着深度学习模型的体量越来越大，进行任何形式的超参数调整都会变得非常昂贵，因为每次训练运行都可能要花费数百万美元。因此一些研究旨在探究「随着模型大小增加，性能提高程度」的规律。进行这种规律预测有助于让更小规模的研究拓展到更大更贵，但性能更高的环境。

通过利用在多个模型大小上执行的小规模实验，人们可以找到简单的函数比例关系（通常是幂律关系），这些函数可以在花费训练所需的计算之前预测大型模型的性能。

理论是美好的，实际上想这么做显然会遇到一些困难。如果不够谨慎，推断扩展性能可能会产生误导，导致公司投资数百万来训练一个性能不比小模型更好的模型。本文会通过一个示例来介绍这是如何发生的，以及发生这种情况的一种原因。

作为研究扩展效应的示例，假设我们的目标是在具有 3 个隐藏层的宽得夸张的 MLP 中训练 ImageNet。我们要从 64、128 和 256 隐藏大小开始，并使用这些来选择超参数，在本例中为 Adam 找到了 3e-4 的学习率。我们还将训练的长度固定为 30k 权重更新，每 batch 有 128 张图像。

接下来，我们就可以试图理解我们的模型是如何随着隐藏层大小而变化的了。我们可以训练各种大小的模型，并查看性能如何变化，绘制结果。

具有不同隐藏层体量的 8 个不同模型的性能（以蓝色显示）。拟合出来的线性回归（黑色虚线）在理想情况下应该能够预测给定隐藏层大小的损失。

你会发现，这数据看起来惊人地呈线性分布。太好了，我们找到了「规律」！我们可以用最小二乘法找到这种线性关系的系数：loss(hsize) = 7.0 - 0.275 log(hsize)。根据经验，这似乎在隐藏层大小上保持了两个数量级以上。

漂亮的插值让人感到兴奋，我们认为我们可以将隐藏大小外推一个数量级以上来训练更大的模型。然而令人沮丧的是，我们发现实际情况下模型的性能大大偏离了预测曲线。

较大模型（红色显示）实现的性能非常差，并且大大低于我们对较小规模模型（黑色虚线）的预测。

在现实世界中，考虑到最近一段时间模型的体量，这样的差错可能会导致数千甚至上百万美元。在大于 100 亿的参数范围内，进行任何形式的实验来找出模型的错误几乎是不可能的。

幸运的是，我们的示例工作规模很小，因此可以负担得起对实验进行详尽无遗的测试——在这种情况下，我们可以运行 12 个模型大小，每个模型具有 12 个不同的学习率（每个有 3 个随机初始化），共计 432 次试验。

上图展示了我们使用 12 种不同的学习率训练 12 种不同模型大小的结果。每个小图用了不同的表示方法。在 (a) 中展示了不同隐藏层大小实现的损失，学习率以彩色显示——我们之前的推断是使用单一的学习率。在 (b) 中，我们展示了给定学习率的损失，其中隐藏层数量以颜色区分。较大的模型达到较低的损失，但需要较小的学习率。在 (c) 中，我们展示了显示学习率与隐藏层大小的热图，这里的每个像素都是完整训练运行的结果。在 (d) 中，我们查看给定隐藏层大小的最佳学习率。

有了这些数据，故事就变得很清楚了，也就不足为奇了。随着我们增加模型大小，最佳学习率会缩小。我们还可以看到，如果我们简单地以较小的学习率进行训练，我们将在给定模型大小下接近我们最初预测的性能。我们甚至可以对最佳学习率和模型大小之间的关系进行建模，然后使用这个模型来提出另一种预测。最佳学习率与隐藏层大小 (d) 的关系图看起来是线性的，因此结合起来不会有太大的障碍。

即使有了这样的修正，我们怎么知道这不是再次用一些其他超参数来实现的 trick，会在下一个隐藏大小的数量级上造成严重错误？学习率似乎很重要，但是学习率时间表呢？其他优化参数呢？架构决策呢？宽度和深度之间的关系如何？初始化呢？浮点数的精度（或缺乏）呢？在许多情况下，各种超参数的默认值和接受值都设置在相对较小的范围内——谁能说它们适用于更大的模型？

随着训练大模型成为了学界业界的新潮流，模型体量扩展关系的问题似乎不断出现。即使是简单的事情，如使用此处所示的模型体量和学习率之比也并不总是能成功（例如为语言模型指定微调过程）。

在这里值得记住的是讨论模型体量关系的论文《Scaling Laws for Neural Language Models》：https://arxiv.org/abs/2001.08361

其讨论了很多问题如宽度、深度、体量、和 LR 之间的关系，还有 Batch size 大小的关系（https://arxiv.org/abs/1812.06162），但研究者也承认忽略了很多其他的问题。他们还讨论了计算量和数据大小的关系，但在这里我们不讨论或进行改变。

他们提出的缩放定律是在假设基础模型是用性能最好的超参数训练的假设下设计的。

所以对于潜在的误导性推断，我们能做些什么呢？在理想的情况下，我们将充分了解模型的各个方面如何随比例变化，并利用这种理解来设计更大尺度的模型。没有这一点，外推似乎令人担忧，并可能导致代价高昂的错误。然而，考虑到有多少因素在起作用，要达到完全理解这一点是不可能的。考虑到计算成本，在每个尺度上调整每个参数看来并不是正确的解决方案。

那该怎么办？一种潜在的解决方式是使用缩放定律来预测性能极限。随着规模的扩大，如果性能偏离幂律关系，人们应该将其视为未正确调整或设置好的信号。听说这是 OpenAI 经常使用的思路。换句话说，当扩展没有按预期工作时，这可能意味着正在发生一些有趣的事情。知道该怎么做，或者要调整哪些参数来修复这种性能下降可能极具挑战性。

在我看来，必须平衡使用缩放定律来推断更大范围的性能，并实际评估性能。从某种意义上来说，这是显而易见的，它们只实践中所做工作的粗略近似。随着模型尺度研究的发展，我们希望这种平衡可以更加明确，并且可以更多地利用缩放关系来实现更多的小规模研究。

以这个特定的例子为例，虽然我们发现用固定的学习率进行简单的性能预测并不能外推，但我们确实发现了模型大小和学习率之间的线性关系，这导致模型可以在测试的模型大小范围内进行推测。如果我们尝试推断更大的模型，是否还有其他一些我们遗漏的因素呢？这是有可能的，不运行实验很难知道。

原文链接：

http://lukemetz.com/difficulty-of-extrapolation-nn-scaling/

我和 AI 一起完成了这篇文章，主编说干得漂亮明天不用来了

大部分文艺工作者，比如写字的，画画的，作曲的，失业风险都在攀升——本文所有插图均由 AI 创作。但文字是我自己写的，如假包换。

最近 Open AI 的 Dall-E 2 创造的一系列精美画作，以及结合微软 Florence 和 OpenAI GPT-3 模型写出来的文本，都证明了 AI 有时候看着是比人强。今年叫 AI 文艺创作元年也不过分，通过给定的文字或图像， AI 能产出超乎想象、大胆有趣又合情合理的作品，确实不乏「划时代」的意义。

▲Dall-E 2 制作的宇航员太空驱马图

这些进展建立在巨大的「基石模型」基础之上，令 AI 拥有了创造者不曾预见的能力。过去的人工智能模型，带着手工作坊式的「粗糙」。通过长期的调整，「基石模型」的潜在能力已经成为肉眼可见的发展趋势。

人工智能要进入工业大生产时代了。

大模型，下岗工人制造机

5 月份出了 beta 版的 AI 绘图工具 Midjourney ，连杂志《经济学人》也忍不住「尝鲜」。Midjourney 为《经济学人》报道画的插图，看起来灵气十足，具有强烈的现代主义风格——别忘了，画面可是基于非常抽象的概念生成的，毕竟文章内容不是「一位女人抱着一只猫」这种具体记叙。

▲Midjourney 为《经济学人》报道画的插图

Midjourney 其中一位开发者，就是研发 YouTuber Quick-Eyed Sky 的 Disco Diffusion 的创作者 Somnai ，这些应用都属于「你说我画」，或者叫输入关键词就出图。Disco Diffusion 非常火爆，但相比 DALL-E 和 Midjourney 就略带「门槛」，要自己调代码，调参数，目前更火爆的应用都是「傻瓜」型的，写点文字就行。

▲ Somnai 用 Disco Diffusion 制作的视频

玩「你说我画」会上瘾。Twitter 上的马斯克、特朗普、斯嘉丽·约翰逊以及玛丽莲·梦露都要被「玩坏了」，个个都有「猛鬼街」的造型。国内滴墨社区儿童节上线的「Domo 大画家」，在我刻意「刁难」的情况下，给出的画面还是饶有趣味。

▲我让 Domo 画了 2008 年诺贝尔经济学奖得主保罗·克鲁格曼的一句话，“在市场经济下，你的支出就是我的收入”

输出的作品效果如何，完全取决于 AI 模型。而打造 AI 模型，相当于豪华军备竞赛。

目前拿得出手的「基石模型」，有 OpenAI 的 GPT-3 ，参数接近 2000 亿，耗资超过 1000 万美元；谷歌的 Switch Transformer ，参数超过 GPT-3 ；微软和英伟达有 MT-NLG 模型，参数超 5000 亿；华为盘古大模型，定位中文语言预训练模型，参数规模也达到千亿级别。

2020 年 GPT-3 刚「诞生」的时候，就得名「下岗工人制造机」。其轻松通过了人工智能届的底线试探——「图灵测试」，所有问题对答如流。基于 GPT-3 模型开发出来的文字、翻译、设计、计算等应用，都能顶替人类的操作。

甚至有个人想让 GPT-3 写篇「论刷 Twitter 的重要性」的小论文，GPT-3 都给他写得流畅自然，还用上了写作者的高阶操作「春秋笔法」，也就是阴阳怪气。它说 Twitter 是「所有人都使用的、充斥着人身攻击的社交软件」。

▲拿到这张《草地上的午餐》（莫奈）的原图，Dall-E 2 会据此创作出多张风格类似、细节不同的画面

▲《草地上的午餐》之 AI 再创作，理论上可以有无限幅

基石模型的优点明显。一是参数大、训练数据量大，不仅不会边际效益递减，反而极大地提高了 AI 自身的能力和运算突破性。二是使用的小样本学习方法， AI 不用一遍遍「从头开始学」，可以碎片化选取自己需要的数据来自动执行。

基石模型就相当于「通用技术」。1990 年代，经济历史学家将「通用技术」比如蒸汽机、印刷机、电动机等，视为推动生产力长期发展的关键因素。「通用技术」包含核心技术快速迭代、跨部门的广泛适用性和溢出效应等特征，从而刺激产品、服务和商业模式不断创新。

今天的基石模型，已然具备了同样的特点。

神经网络 自我监督学习，神乎其技

当下，超过 80% 的人工智能研究都集中在基石模型上。像特斯拉也在构建一个庞大的基石模型，为自动驾驶服务。

要理解斯坦福大学人工智能研究院院长李飞飞所说的「人工智能阶段性的变化」，就要知道基石模型和过去的人工智能模型有何不同。

如今所有的机器学习模型都立足于「神经网络」——模仿脑细胞相互作用方式的编程上。它们的参数描述了虚拟神经元之间连接的权重，模型通过反复试验权重，被「训练」到能够输出开发者想要得到的特定内容。

▲Dall-E 和 Dall-E 2 的清晰度对比

过去几十年里，神经网络都处于实验阶段，没什么能落地的。直到 2000 年代末、2010 年代初，超级计算机算力增强，互联网提供了足够多的训练数据，在硬件和数据的加持下，神经网络才开始完成文本翻译、语音指令解释、不同图片中识别同一张脸等此前「不可能完成的任务」。

特别到了 2010 年代，机器学习和矿机一样也用起了 GPU 。GPU 的特点是，有上千颗流处理器，可以进行大量且重复的一般运算，而且还不贵，比启动一次超级计算机便宜太多了。

突破出现在 2017 年。当时谷歌的 BERT 模型使用了新型架构，不再按「惯例」、依照顺序处理数据，而是采用了同时「查看」所有数据的机制。

具体来说，就是 BERT 一类的模型，没有用预先标记的数据库训练，用的是「自我监督学习」技术。当模型在无数的字节中挖掘时，能自己找到隐藏的单词，或者根据上下文猜测意思——和我们从小到大做的考试题特别像！整个新方法非常接近人类大脑的学习机制，扫一眼就能找到自己感兴趣的东西，不用逐字逐句地去处理、消化。

▲Dall-E 2 在左图的基础上，添加了一只粉色橡皮鸭（毫无 PS 痕迹）

经过数十亿次的猜测-比较-改进-猜测的循环后，模型一般都能妙笔生花、才华过人。

不仅限于文字，神经网络和自我监督学习技术均可以应用在语言文字之外，包括图片、视频甚至大分子数据库等等。像 DALL-E 图形模型，猜测的不是下一个字母组合，而是下一个像素簇。

在大模型基础上开发的应用也是花样繁多。除了上文提到的一系列文艺创作类应用，谷歌旗下的 DeepMind 推出了 Gato ，可以玩视频游戏、控制机械臂和写作。Meta 的「世界模型」貌似要搁浅，本来是打算为元宇宙提供背景的。

酷东西或图灵陷阱

基石模型的繁荣，对芯片制造商肯定是好消息。积极参与制造基石模型的英伟达，已经是世界上最有价值的半导体设计商之一，市值为 4680 亿美元。

初创公司也有望借此大展身手。Birch AI 会自动记录与医疗保健相关的呼叫电话；Viable 会用它来筛选客户反馈；Fable Studio 用 AI 创作互动故事；在 Elicit 上，人们可以靠 AI 工具从学术论文中找到自己研究的问题。

▲Midjourney 采用了拼贴风

大公司也有大公司的玩法。IBM 的相关负责人表示，基石模型可以分析海量的企业数据，甚至从车间传感器读数中找到消耗成本的蛛丝马迹。埃森哲公司人工智能项目的负责人预测「工业基石模型」即将兴起，为银行、汽车制造商等传统客户提供更加精准的分析服务。

虽然前景一片光明，AI 作画也激发了大众的热情，但不少研究者还是建议「后退一步」。有人认为，大模型依赖的大数据，并不是完全发挥了作用，一部分只是在「随机重复」；同时一些带有偏见的问题会引发模型的「幻觉」。去年年初，GPT-3 在回答完形填空题「两个 XXX（宗教人士）走进了……」时，有高于 60% 的概率填写「穆斯林」。

在「滴墨社区」刷「Domo 大画家」的动态时，首页偶尔也会看到有用户给 AI 发出不雅指令，CEO 林泽浩告诉爱范儿记者，一般后台关键词筛选和人工筛选会同时进行，保证社区的健康运转。Dall-E 2 等 AI 作画工具也面临同样的困境——和之前微软小冰「口吐芬芳」同命相怜。

▲女人与猫，这一张 Midjourney 用了哪位著名画家的风格？请在评论区留言，答对有奖

斯坦福大学经济学家 Erik Brynjolfsson 担心，对拥有类人能力的大模型的集体痴迷，很容易把整个社会带进「图灵陷阱」。计算机做到了很多人类做不到的事情，如今也做到了人类能做到的事情——还比人类做得好，越来越多的人失去工作，财富和权力会更加集中，不平等逐渐加大。

他的担心也有道理。大模型耗资巨大，一般人也投资不起，背后的支撑者，不是科技巨头，就是国家。基石模型会成为一系列服务的基础平台，而平台也有「马太效应」：赢家通吃，就算没全吃掉，也给别人留不下什么了。

▲网友利用 Midjourney 创作的画面，科幻风格十足

艺术家们是真心喜爱这些「酷东西」的。英国作曲家 Reeps One（Harry Yeff）就给模型喂了几小时的节拍器节奏，该模型学完后能对他的声音做出节奏化的反应。他预测「许多艺术家会使用这个工具来更好地完成自己的工作」。

作为一名记者，我也真心喜爱「科大讯飞」的语音转录应用。在过去，整理两小时的人物访谈录音，足以令一个心智健康的成年人当场崩溃。如今只需要坐等软件出一个文本文档即可，不能直接拿来当「对话」，但当素材看完全够了。

最近我也在研究如何使用 GPT-3 来训练自己的写作模型。说不定，下个星期四「近未来」栏目，就是我的 AI 写的。