手机浏览器扫描二维码访问
第113章 意外的邀请（第1页）
相比效果显著，非常出色的老虎算法，移动端优化排序算法的效果要稍差一些。
因而孟繁岐并没有急着推动上线测试，而是等待结合AI语言解释模型的那一个更新准备一起推动。
目前针对语言问题所采用的通常是循环神经网络（RNN）和长短期记忆办法（LSTM），这两个工作都是上个世纪末的老办法了。
这两种方法简明好用，因而一直兴盛到2017年左右。
直到Transformer，也就是ChatGPT的T方法出现。
通常来说，大家都认为Transformer方法之所以能够迅速取代RNN和LSTM，主要是因为它更方便并行进行。
在多个设备上容易做到并行，这件事最核心的意义便是让规模庞大的版本成为可能，这也为后来ChatGPT这样的究极巨无霸模型奠定了基础。
“其实老版的RNN也有办法可以把并行做得很好，领域内对这件事有很大的误解。”孟繁岐皱着眉头思索道。
原本时间线，Transformer出来之后，所有人都放下了手头老方法的研究，拥抱了T方法。
可18年实际上有人专门做了RNN的高度并行，只可惜已经太迟了。
如果这个发现可以早一年的时间，可能RNN会长期作为T办法的竞争对手，我们也有可能看到ChatRNN的出现。
“早期的T方法需要很多数据，各种参数比较难调整，需要的计算能力也很庞大。”孟繁岐即便根据后来成熟的许多方法做了一个改进的版本，T方法在早期仍旧比较麻烦。
“好在谷歌的数据和算力都不缺，而我也比较熟悉各种经典的参数设置。”孟繁岐先写了一个雏形版本的T方法，进行了一下测试。
“不过，受限于现在显卡的显存，模型没有办法做得很大，除非我专门再去开发DeepSpeed这样的高级并行方式。”
在多张卡上训练模型，可能是为了追求速度，也可能是因为一张卡上放不下了。
其中，数据并行是最简单的，也就是不同的卡都在做同样的事情，每张卡上都会存放一个模型。
只不过输入的数据不一样，不同的卡做完运算之后，再一起整合更新。
就像是所有人都拿了同样的刀切不同的菜，最后把切好的食材堆在一起。
可有的时候，一张卡上根本就放不下模型，这样的情况就比较麻烦了。因为一个人根本拿不动这把刀了，需要多人协作。
可以把每一层拆分到不同的卡上，也可以把不同层分配到不同的卡上，如此一来，其实是用多卡实现了类似单卡训练的效果。
显然，前者会比后者容易非常多，前者只需要在不同卡上复制这些模型，分别读取数据做运算就好。
而后者则需要根据不同的情况和设置拆分合并，一个不小心就会搞错。
看了下谷歌大脑的服务器，里面有好几批2013款的GTX泰坦，这东西着实价值不菲。
考虑到当时的其他产品，6G的显存还是鹤立鸡群的。
比起孟繁岐自己重金购置的4G旗舰款，多出的2G显存，足够做很多其他的事情了。
用速度换显存，孟繁岐又做了许多参数和信息在Cpu和Gpu上反复转移的操作。
因为在正式入职之前，谷歌大脑分配给他的显卡就已经有16张泰坦，这部分卡拨给孟繁岐独享，随时都可以使用。
除此之外，还有32张在不同节点上的Gpu可以申请占用。
万族之尊 神豪：抽奖万亿，清纯校花当场跪舔！ 年代：小日子过的真好 四合院之我是许多年 重筑2005 我有十万亿舔狗金 百妖食谱：论妖兽的烹饪技巧 从轻小说作家开始的完美人生 都市桃花医仙 我在美国开诊所 家族修仙：我能看到提示 超品兵王在都市 导演的快乐你不懂 李念洛薇 没有前世的我，只好成为在世剑仙 真话系统：我成了反向选秀顶流 变成幼龙被女团捡到，我震惊全网 学渣被家访，老爹竟是文坛巨佬 我是导演，我不比烂 我睡后混成大明星
重生最强妖兽
系统流爽文古有黑蟒，百年后化腾蛇，千年后变蛟，万年后化龙，可遨游九天十地，统领六合八荒。三千年前，人族仙尊林昊斩妖无数，却遭逆徒暗算，被人族围攻致死。三千年后，林昊重生于一条黑蟒身上，以妖证道，开启了一段逆天化龙之路。书友群565412325...
歌王
在我心中，曾经有一个梦， 要用歌声让你忘了所有的痛。 灿烂星空，谁是真的英雄， 平凡的人们给我最多感动。 重生平行世界，缔造歌王传奇！...
斗罗之先天二十级
全本免费，新书斗罗无敌从俘获女神开始斗罗之收徒就变强斗罗之酒剑斗罗王圣穿越到了斗罗1的世界之中，在觉醒武魂的那一天，竟然是先天二十级的魂力。看王圣如何组建属于他自己的7怪。当他的7怪与唐三的7怪相遇时，又会是怎样的一个场面？谁强？谁弱？谁才是真正的主角！粉丝群1304623681...
修罗天帝
八年前，雷霆古城一夜惊变，少城主秦命押入青云宗为仆，二十万民众赶进大青山为奴。八年后，淬灵入武，修罗觉醒，不屈少年逆天崛起。给我一柄刀，可破苍穹，给我一柄剑，可指霄汉。金麟岂是池中物，一遇风云便化龙。当修罗子不死王雷霆战尊古海蛮皇等等一个个封号落在秦命身上，这个一身傲骨的少年踏天而行，带领一众挚友红颜，傲战八...
六零军营成长
一睁眼回到六零年，上一世是孤儿的明暖这一世拥有了父母家人，在成长的过程中，还有一个他，青梅竹马，咋这么腹黑呢！...
【修真】男人就是鼎炉
前世黑莲花白蓁被人在车上动了手脚车祸去世，穿越成了合欢宗女修白千羽，开启了和前世开后宫没什么不同的修仙之路。这篇算是某某宗女修炼手札的同人，但是是否玩游戏对看文没啥影响，文不会收费，大家放心追，女主是自设的无心海王型号。挂是挂了修真的名头，其实本文没有着重写女主初期修炼，主要还是着重她成为女王之后的故事。全文分三部分，第一二部分女主一边双修一边把以前给她使绊子的人给除了，手段稍微有点粗暴残忍，结果奇奇怪怪自称系统的东西出现了，告诉她，她已成为了这条世界线的主人，同时她设计把自己也拱成了修真大陆的无冕之王。第三部分开幕，无冕之王并不是这么好当的，一边要均衡各大势力，挑对自己有用的掌握在手里，一边要处理情人们的修罗场。。。。偶尔，系统还会给她出难题，让她暴打外来入侵者。然而白蓁（千羽）对此表示，挺好玩的，再来点。本文可能微微有点女尊倾向，女主床上小淫娃，床下真女王，没心没肺，快乐加倍。有疑似正宫，但是基本不会出现1v1的情况，女主这么强，配一个男的太亏了（啥？）。预警，女主从目前的伦理道德来讲，确实是渣女，而且吸溜子也没想洗。...