2017 年,研究人员提出疑问:到 2040 年,人工智能能否编写大部分代码?OpenAI 的GPT-3,现在由 Beta 测试人员使用,已经可以用任何语言编写代码。机器主导的编码几乎就在我们家门口。
GPT-3 接受了数千亿个单词的训练,或者基本上是整个互联网,这就是为什么它可以用 CSS、JSX、Python 编码。
此外,GPT-3 不需要针对各种语言任务进行“训练”,因为它的训练数据包罗万象。相反,当给定琐碎的指令时,网络会将自己限制在手头的任务上。
GPT-n的演变
GPT通过将监督学习与无监督预训练相结合(或使用无监督步骤的参数作为监督步骤的起点),在语言任务中取得了最先进的成绩。与其后继者相比,GPT 很小。它仅在几千本书和一台 8 GPU 机器上进行了训练。
GPT-2大幅扩大规模,包含 10 倍的参数并提供超过 10 倍的训练数据。尽管如此,该数据集仍然相对有限,并且专门针对“来自 Reddit 的至少收到 3 个 karma 的出站链接”进行了训练。GPT-2 被描述为“类变色龙”合成文本生成器,但它在下游任务(如问答、摘要或翻译)中并不是最先进的。
GPT-3是 AI 世界中最新和最伟大的,在一系列任务中实现了最先进的水平。它的主要突破是消除了对特定任务微调的需要。在规模方面,该模型再次大幅扩大,达到 1750 亿个参数,是其前身规模的 116 倍。
进化还是消失
情况是这样的:Beta 测试人员使用 GPT-3 生成工作代码,需要一些琐碎的知识。从按钮到数据表,甚至重新创建 Google 的主页。这些例子都是用零样本学习完成的。
除了 AI 的快速发展之外,另外两个主要的技术趋势正在加剧编程工作在未来将不安全的现实:无代码和 AutoML。
无代码是指可视化工具,可以让任何人更轻松地构建新产品,无论是网站、设计、数据分析还是模型。WordPress、Wix 和 Shopify 是无代码工具的好例子,这些工具使数百万人能够自己做事,而不是雇用开发人员或设计师。
第二个趋势是 AutoML,即自动化机器学习,它大大缩短了将 AI 投入生产所需的时间。
Apteo等工具结合了这些趋势,使任何人无需编码技能即可部署 AI 模型。
GPT-3 将引发另一波无代码和 AutoML 工具。许多未来的雇主会选择这些工具,而不是雇佣昂贵的程序员。 自然地,与其他领域一样,技术水平最低的程序员群体将首先离开,而专家将享受更长时间的工作保障。
不仅仅是代码——GPT-3 适用于任何语言任务
要将 GPT-3 引导到特定的语言任务,您只需向它提供一个您希望实现的示例。因此,虽然您可以指示 GPT-3 编写代码,但您也可以指示它编写诗歌、音乐、社交媒体评论或任何其他文本。
例如,如果你想生成一篇新闻文章,你可能会输入“联合卫理公会同意历史性分裂”这样的标题和“那些反对同性婚姻的人将形成他们自己的教派”这样的副标题。
有了这个输入,GPT-3 产生以下结果:
据《华盛顿邮报》报道,“经过两天的激烈辩论,联合卫理公会同意历史性的分裂——这一分裂有望以创建一个新教派而告终,该教派将‘在神学和社会上保持保守’。” 参加 5 月份教会年度大会的大多数代表投票赞成加强对任命 LGBTQ 神职人员的禁令,并制定新规则“惩戒”主持同性婚礼的神职人员。但是那些反对这些措施的人有一个新计划:他们说他们将在 2020 年之前组建一个独立的教派,称他们的教会为基督教卫理公会教派……”
只有 12% 的人正确地指出这是由 AI 编写的。88% 的人被骗了。
就像人类一样,GPT-3 可以通过一个例子来学习新单词。例如,给定上下文:
“Burringo”是一种加速非常快的汽车。使用 Burringo 一词的句子示例是:__
GPT-3 输出: 在我们的车库里,我们有一辆 Burringo,我父亲每天都会开它去上班。 这些结果令人印象深刻。请记住,人工智能的进化是不可避免的,因此对当前性能的任何批评都将化为泡影。
不仅仅是语言——GPT应用于图像
GPT 可以编写代码,或者任何东西,但它也可以生成图像。 这怎么可能?
可以在像素序列而不是文本编码上训练相同的模型架构,从而生成新颖的图像而不是新颖的文本。可以与顶级 CNN 竞争。
我提到这一点是因为它表明 GPT(及其后继者)不仅有可能在某一天取代程序员,而且鉴于其多功能性,它还可以取代整个行业。
结论
GPT-3 令人难以置信的性能让许多人相信,超级智能比我们想象的更接近——或者至少,人工智能生成的代码比我们想象的更接近。它产生创造性的、有洞察力的、深刻的,甚至是美丽的内容。
想方便的在国内使用GPT?欢迎体验同花顺SuperMind GPT小助手: http://quant.10jqka.com.cn/view/article/2170