首页 > 分享 > Ilya Sutskever：师从Hinton，“驱逐”奥特曼，一个改变AI世界的天才科学家

Ilya Sutskever：师从Hinton，“驱逐”奥特曼，一个改变AI世界的天才科学家

花匠小妙招
2024-11-07 17:56

大数据文摘受权转载自夕小瑶科技说

作者 | 智商掉了一地

ChatGPT 已经在全球爆火，但大众在两周之前似乎更熟悉Sam Altman，而对另一位创始人 Ilya Sutskever 却了解不多。直到前几天因为OpenA眼花缭乱的政权争夺大戏，OpenAI 的首席科学家Ilya Sutskever的名字逐渐被世人所知。Ilya Sutskever在科学和工程实现上为ChatGPT的诞生做出了巨大贡献，可谓是ChatGPT的发明人。然而，也许是因为Sam Altman是负责搞融资和商业化的CEO，也许是因为 Altman 的名字总是被国内媒体翻译为“奥特曼”，他的激进的作风更能引起国内社交媒体的关注，这使得Altman被冠上了“ChatGPT之父”的称号。那么究竟谁才是真正的ChatGPT之父呢？知乎上有网友专门为此展开了争论。这里暂且放下争论，其实少了Ilya Sutskever和Sam Altman任何一人，都没有现如今的 ChatGPT 和OpenAI，但如果没有Ilya Sutskever在AI领域中的诸多突破与成就，一定不会有现在ChatGPT 的出现。今天，我们先不谈“Altman”，而是着重回顾 Ilya Sutskever 的故事。看看他是如何凭借着他的聪明才华一步步从普通人成为 AI 界的一代传奇人物！

▲Ilya Sutskever 手绘像，来源为 JourneyMatters

1986—2002年：早年生活和教育

Ilya 于 1986 年出生在苏联，5 岁时搬到耶路撒冷生活，自幼对计算机产生浓厚兴趣，从 7 岁时就开始自学编程。之后，在以色列开放大学学习了一段时间后，16 岁那年再次搬家去了加拿大，转而在多伦多大学读书，据说他在新家的第一件事就是去多伦多公共图书馆找一本关于机器学习的书。从那时起，Ilya 对人工智能的热情日益加深，他决定将构建通用人工智能（AGI）设定为自己的主要目标。

2003年：拜入深度学习之父Hiton门下

在学术生涯中，**对 Ilya 影响最大的人莫过于他的老师：Geoffrey Hinton——被誉为深度学习之父的那个男人。

2003年，还在就读本科的 Ilya 每天都会敲Hinton的门，希望能被接纳进实验室。在读了几篇论文后，他在深度学习领域的思考与 Hinton 教授的思想发生了碰撞，引起了 Hinton 教授对 Ilya 独特之处的认识：他有能力发现那些其他人可能需要数年才能发现的东西。尽管当时正值人工智能领域的寒冬，研究者们对人工智能的兴趣逐渐下降，但 Hinton 教授还是决定接纳Ilya进入他的实验室。2005 年，Ilya 在多伦多大学获得数学学士学位，2007 年获得计算机科学硕士学位，2013 年获得计算机科学博士学位。

2012年：图像识别领域的革命—— AlexNet

或许你听说过 AlexNet 与 Hiton或 Alex的关系，但你可能没有注意到它与Ilya之间也有着关联。当时正值人工智能的低谷期，Hinton 的神经网络理念并没有被同期的 AI 研究者们广泛接受，这让他们面临了巨大的压力。然而，他们并没有因此而退缩，反而更加坚定了他们的信念。2012 年，ImageNet 大赛为他们提供了证明自己的机会——看谁能设计出最优秀的图像识别算法，成功识别出更多的图像。Hinton带着他的两位学生 Ilya Sutskever 和 Alex Krizhevsky 在这次大赛中发明了AlexNet，他们摒弃了传统的手工设计解决方案，而是使用了深度神经网络并在 GPU 上训练它们。

从左到右：IIya Sutskever、Alex Krizhevsky、Geoffrey HintonAlexNet 突破了75% 的准确度，远远超越了所有竞争对手，向大家展示了深度学习的巨大潜力，也标志着深度学习革命的开端。由他们三人共同撰写的 AlexNet 论文至今引用量已超过 6 万次，成为计算机科学领域引用最多的论文之一，而当时的 Ilya 才只有 26 岁。

2013年：从 DNNResearch 到加入谷歌

在这场竞赛后，三人共同创办了一家名为 DNNResearch 的公司，然而，该公司并没有推出任何产品，也没有明确的发展计划。随后，包括百度、谷歌、微软和 DeepMind 在内的四家公司参与了竞标收购。仅仅过去了4个月，谷歌在 2013 年 3 月以 4400 万美元的金额收购了 DNNResearch，并聘请 Ilya 担任 Google Brain 的研究科学家。在 Google Brain 工作期间，Ilya 参与了许多后来惊艳世人的工作，比如与 Demis Hassabis 和 David Silver 等人共事，参与AlphaGo的核心工作。

此外，他还积极参与了 TensorFlow 的开发，造福了众多深度学习研究人员。曾一起共事的同事称，“Ilya 是个无所畏惧的人。”在这个阶段，Ilya 的愿景变得更加宏大——开始坚信通用人工智能（AGI）近在咫尺。

2014年：机器翻译的革命—— Sequence-to-Sequence

在谷歌工作期间，Ilya 发明了一种用于将英语翻译成法语的变体神经网络。他提出的序列到序列学习方法捕捉输入的时序结构（如英语句子）并将其映射到具有时序结构的输出（如法语句子）。当时的研究者们并不相信神经网络能够进行翻译工作，而他的发明击败了表现最佳的翻译器，并促使谷歌翻译重大升级，让机器翻译领域从此焕然一新，也自此引起了自然语言领域的研究新热潮。没错，这背后的就是序列到序列学习（Sequence-to-Sequence Learning）算法。

这对后来Transformer 的诞生也做出了重要贡献。

2015年：联合创建OpenAI，开启新篇章

谷歌在 AI 领域一直处于领先地位，而 Ilya 作为备受重视的研究人员，有天收到了一封来自 Sam Altman 的邀约。他赴约去与 Sam Altman、Greg Brockman 和 Elon Musk 等人共同讨论人工智能的未来，畅想未来可能发生的事情，以及他们是否能够采取一些积极措施来影响人工智能的发展。就在这场聚会中，OpenAI 的创始理念首次被明确提出——“利用人工智能造福全人类，并以负责任的方式推动人工智能的发展”，这激发了所有参与者的期待和激情。然而，当时 Ilya 还在谷歌工作，对于是否加入 OpenAI 的问题犹豫不决。最终，在多次思考和马斯克等人的劝说下，Ilya 决定放弃在谷歌数百万美元的工作机会，成为非营利组织 OpenAI 的联合创始人，并担任研究总监。

▲Sam Altman 与 Ilya SutskeverOpenAI 的早期发展并不顺利，作为非营利组织，寻找投资人成为一项艰巨的任务。然而，马斯克等人决定向该项目投入 10 亿美元，这使得 OpenAI 能够聘用领域内的优秀人才，并取得了一些重要突破。但是这些发展也付出了昂贵代价——每个月需要在云计算上花费数百万美元，而且还需要从其最大的竞争对手谷歌那里租用计算能力。马斯克曾是OpenAI 的董事会成员，在 2018 年因与特斯拉发生利益冲突而选择离开，这一度使得 OpenAI 面临严重的资金问题。在如此困境下，Sam 试图利用他的人脉寻找新投资者，但由于 OpenAI 是个非营利组织，需要的资金过多，几番尝试并未成功。他们必须迅速找到解决方案，否则所有努力都将付诸东流。在这个关键时刻，微软的 CEO 同意与他们会面，会议结果改变了 OpenAI 的窘境。Sam 成功说服了微软投资 10 亿美元，并获得了使用 Azure 云计算平台的权限。这样，OpenAI 就不再需要向谷歌支付费用，而微软转而成为他们的重要合作伙伴。

2018-2020：GPT-1～3 的发展

GPT 模型的每一次迭代都代表了自然语言处理领域的重大进展：GPT-1（2018）：这是该系列的首个模型。其关键创新之一是采用了无监督的预训练方法，经过对大规模互联网文本数据集的训练，通过学习根据前面的单词上下文来预测句子中的单词，使模型能够深入理解语言结构并生成类似于人类的文本。GPT-2（2019）：在 GPT-1 的成功基础上构建，采用更大的数据集训练，生成更为强大的模型。GPT-2 的一项重大进展是其能够在各种主题上生成连贯而流畅的段落文本，使其成为无监督语言理解和生成任务中的关键参与者。GPT-3（2020）：在规模和性能上都取得了显著突破。GPT-3 拥有当时震惊世人的 1750 亿参数，在众多语言任务上取得了最先进的性能，在问答、机器翻译和摘要生成等能力上可以媲美人类水平。此外，它还展示了执行简单编码任务、撰写连贯新闻文章甚至是诗歌的能力。

▲GPT 架构

在微软的支持和 Ilya 等人的领导下，OpenAI 的研究人员在 2018 年创建了原始的 GPT 模型。一年后，他们又发布了 GPT-2，这个新模型展示了大型语言模型的巨大潜力，但同时也引发了 AI 社区的不满，因为 OpenAI 不再是一个非营利实体，而且开源作品越来越少。

然而，尽管面临争议，OpenAI 仍取得了显著的研究成果。2020 年，他们发布了GPT-3，使得OpenAI到达一个重要转折点。尽管 GPT-3 的性能出色，但它并没有引起太多关注。为了让更多的人能够使用 GPT-3，Sam 说服了另外两位创始人，提出了用户友好界面的想法。

2021年: 对 DALL-E 1 的研究

Ilya 总是走在创新前沿，2020 年 6 月，OpenAI 提出了新概念—— Image GPT，旨在利用神经网络依据用户的文本指令生成新的高质量图片，而 DALL-E 便是实现了该想法的杰作。

在 Ilya 的领导下，OpenAI 团队创造出了由AI驱动的图像生成模型 DALL-E ，采用与 GPT 模型类似的架构和训练过程，可以根据用户的文本输入生成各种风格的图像。DALL-E 的发展与设计过程对后来的模型（如 DALL-E 2 和 MidJourney）都具有指导作用，它的成功为推动多模态领域的研究和创新奠定了基础。

2022年：ChatGPT 的诞生与发展

随后，OpenAI 的研究团队对 GPT-3 模型进一步改进，并将新模型命名为 GPT-3.5，采用了最简单的用户界面。由此，语言模型的不断发展促使了 ChatGPT 在 2022 年 11 月 30 日诞生。如今，又衍生出升级版本 GPT-4，再次将生成式人工智能的成就推向一个新高度。

正如 Sam 的先前所说的那样，这一切引发了世界范围内的 AI 变革。在短短的五天内，ChatGPT 吸引了逾百万用户注册使用，创下了产品史上用户增长最快的记录。包括 ChatGPT 的创造者在内，所有人都对这一产品的成功感到震惊。在 OpenAI 的发展过程中，Ilya 不仅关心技术创新，而且认真对待潜在的风险，他格外关注人工智能的安全性，并在公司内积极为人工智能系统的安全性分配更多资源。他领导着公司的 Superalignment 团队，专注于管理人工智能带来的潜在风险。为实现这一目标，将公司计算能力 20% 的资源用于解决与人工智能安全性相关的问题。这又将我们带回了他与 Sam 的冲突上，Ilya 的谨慎立场显然与 Sam 更为激进的做法产生了分歧，后者倾向于更快地推进开发强大的人工智能，事态随后发展到 OpenAI 董事会成员策划撤职 Sam Altman，用似乎更为稳重的 Emmett Shear 替代他。但随之另一位联合创始人 Greg 也宣布辞职，同时 700 多名员工联名声讨董事会，仅仅几天后，Sam 又回到了 OpenAI……

总结

在吃瓜之余，抛开 ChatGPT 的诞生与成长来说，Ilya 对整个人工智能领域也有着重要影响。在过去的十多年里，Ilya 立足于人工智能变革的前沿，其每个阶段的成果都可能是我们一生也无法企及的高度。Ilya 参与或主导的工作一度改变了计算机视觉领域、机器翻译甚至自然语言处理领域的研究进程，其研究工作被引用超过 42.7 万次，成为引用量最多的计算机科学家之一。在 2015 年，MIT还将他列为全球 35 位最重要的创新者之一，时代杂志也将他评为最具影响力的人物之一。或许有朝一日，当AGI真正改变世界的时候，Ilya 将会被誉为历史上最重要的科学家之一，在人工智能领域的贡献也将会被所有人熟知。

参考资料

[1]https://journeymatters.ai/ilya-the-brain-behind-chatgpt/
[2]https://www.youtube.com/watch?v=zlRnTw77eaY
[3]https://indianexpress.com/article/technology/artificial-intelligence/who-is-ilya-sutskever-sceptical-about-ai-9042098/
[4]https://goldpenguin.org/blog/who-is-ilya-sutskever/