孟繁岐在ChatGPT的前瞻直播当中展示了其统一了多任务的模式,用户可以自由地通过在对话中提供指令、问题或上下文来执行不同的任务,如翻译文本、回答问题、写作文章等。
直接对话,丝滑切换。
“多任务统一进了一个模型我还有所预料,毕竟去年的预告当中视频就是这么做的。但多语言这件事我确实没想到,并且听他的意思,还不是通过翻译做的。”如果不是通过翻译做的,那大语言模型的魅力实在就太大了。
毕竟许多人类处理多语言问题...也是要翻译的。
不够熟练的时候,往往会翻译成母语进行理解。
自己的回答呢,也是先由母语的形式生成,然后再翻译过去。
孟繁岐大概清楚大家好奇的地方,多语言模式通过单一主要语言来执行是最方便的。
现在市面上英文模型做得最好,很多人也尝试过把其他语言先翻译成英语,然后交给模型处理,处理完之后,再翻译回特定语言。
这种方式听上去很合理,但实际上往往会导致相当微妙的结果。
因为机器翻译本身,就还有很长的一段路要走。
举个例子,谷歌翻译几十次,你将会得到完全不同的神奇结果。
比如出师表,【先帝创业未半而中道崩殂,今天下三分】。
经过20次谷歌翻译之后就会变成,【皇帝碳酸钙三世躺在酸液里,英年早逝,享年3000岁】。
几乎可以说连一个沾边的字都没有了。
而且槽点多的数不清,什么叫特么的3000岁的英年早逝??
“我们其实并没有对多语言本身做太多专门的适配,只是单纯在数据的数量和质量上做了许多工作,不同的语言其实都是一锅炖的,全部的词汇都在同一个词表当中。或许对大语言模型来说,不同种类的语言原本就并没有什么不同吧。”孟繁岐在这个问题上给出的答案同样惊人。
没有太多精妙的针对性关键技巧,大数据加大模型,原本费尽心思也无法妥善解决的问题就这么迎刃而解。
记住几十种语言外带十几种编程语言,完全不是什么难题。
随着孟繁岐展现出模型的具体的参数细节,包括算力需求,数据规模等内容,台下各种惊叹和倒吸凉气的声音此起彼伏。
“大几百张P100训练两三个月??大模型需要的计算资源真是恐怖如斯啊。这先不说购买设备什么的了,光是每天的运行费用就得十几万美金吧?”底下有懂行的人迅速就估算出了大致的超算中心运行费用。
这个估算可以说是相当准确的,目前孟繁岐的超算中心每天的运行费用已经接近了百万元。
待得后续的订单全部到达之后,这个数字甚至可能超过三四百万,全年光是运行耗费就来到接近十亿元的地步。
想入局?门槛先交几个亿美金,然后每天几十万几十万地烧。
孟繁岐的这个消息一公布,台下不少大佬们的表情迅速地从原本的跃跃欲试,变成了一片死灰。
无他,他们订购的P100数量,根本都不够上台面去玩的。
“......学习率等各种超参数方面,我们的设置是......”
孟繁岐在模型方面的各种参数设置上非常大方,事无巨细,全部都列了出来,坦诚得令人惊叹。
不过谈论到模型微调方面和具体数据方面的内容时,就肉眼可见的语焉不详了起来。
“在大量的数据上训练得出的预训练模型固然重要,但微调环节才是确保大模型能够在特定领域内使用的关键所在。”这是人工智能领域技术人员的共识。
针对特定的任务,需要准备相应的数据,并在微调期间提供对模型的指令,以告知它应该如何执行特定的任务。
这些指令可以是针对输入文本格式、输出期望等方面的。
它的目标是使模型适应特定的应用领域和任务。经过微调后,模型在这个特定领域的性能通常会得到显著提升。
目前各个领域内最大的技术壁垒和门槛,无非就是特定领域巨头们自己积攒的高质量数据,以及在这些领域上大量的微调工程经验。
针对单一特定任务的微调就已经非常讲究了,那么这个通用模型的微调技巧,其中的各种陷阱恐怕能写满几十页A4纸。
而孟繁岐这次的展示中的微妙描述,几乎可以说是明示了,这部分内容将不会像以前一样,完完整整地开源出来。
“我们理解这个层级的语言模型研发成本和以往已经不可同日而语,也尊重您对部分技术的保密选择,不过作为媒体还是比较好奇还有哪些原因促使您改变了以往的开源惯例。”
台下媒体的问得很礼貌,但孟繁岐对此却不大高兴。
原因也很简单,如果真的理解的话,他们就不该在这种场合问这样的问题。
这种问法就像是,【我不是针对你】,【我不是跟你吹】起手。
你一听就知道,他接下来要针对你,又或者是开始吹牛了。
“其实一直以来大家对我的描述都很有美化的嫌疑,我最开始发布的YOLO检测算法,就是不开源与白度共同盈利的。那个时候莪很缺钱,后面赚到一些之后,就开始做一些不盈利的开源研究。”
“如今呢,一方面我发现大规模的智能模型有很强大的潜能,为了继续这方面的研究,我必须要赚很多的钱,对此我一直很坦诚,也不否认。另一方面,也是出于安全方面的考虑,随着AI技术能力越发强大,开源技术这个决定不得不慎之又慎。”
孟繁岐的回复基本上是心里话,不过非常遗憾的,似乎并未得到真正的理解和认可。
现场面对面的时候,大家都谈笑风生,似乎非常平和,能够相互理解。
可等到散场后,报道上线的时候,文字落到纸面上就难听了不少。
简而言之,想赚钱大家信,至于安全方面,则持怀疑态度。
“我也能理解吧,毕竟现在AI还没搞出什么恶性事件来。”如今的孟繁岐早已能够做到面对报道波澜不惊了。
他觉得怎么解释都是没用的,马斯克也整天都在宣传AI危险论,你看佩奇理他不。
人不吃亏,怎么会能明白呢。
而这一天的到来也没有让孟繁岐等待太久,15年底,公开社区内有人开源了新的图像技术,一种别样的换脸手段似乎一夜之间就风靡全球。
只是这个换脸技术…它好像有点不大正经。