近些年迅速发展的大规模预训练模型技术，正在让机器逐渐具备像人一样的认知智能，但是也对算法、系统、算力提出新的需求和挑战。那么，未来 AI 的架构将会是怎样的？在 11 月举办的 ArchSummit 全球架构师峰会（深圳站）2021 中，IDEA 研究院讲席科学家张家兴博士，与我们分享了他对大模型认知智能时代的新架构的思考，本文整理自此次演讲。
工程师将被取代微信信用卡分付开通怎么分享提现出来

在刚刚得到 ArchSummit 全球架构师峰会邀请的时候，我很惊讶。因为在过往十多年的工作经历中，我做过学术研究，也做过算法专家，可怎么会跟架构师有联系呢？然而后来一想，其实我好像真的跟架构有点关系。因为现在一提起架构，大家必然会谈到大数据架构，而在 Hadoop 这套系统出来之前，我在微软开发这种大数据架构。在现在的深度学习架构出来之前，比如 PyTorch、TensorFlow，我也开发过这样的深度学习架构。所以说，我的过往经历跟架构还是很有渊源的，但是今天我要谈的内容不是这些，而是在当下这个人工智能蓬勃发展的时代，尤其是当人工智能进入了大模型时代，我们的架构到底会发生哪些新的变化，未来的架构又可能会产生哪些大家可能意想不到的一些新的趋势。

大家可能注意到了，我现在所在的单位叫做粤港澳大湾区数字经济研究院，又叫 IDEA 研究院，它是由前微软全球执行副总裁沈向洋院士创办的，聚集了很多像我这样的，兼具学术研究和工业落地经验的专家，我们聚在一起，想要打造一家国际顶尖的人工智能和数字经济的研究院，我们在做一些前沿的技术的研究，同时我们也想推动一些技术的产业落地。

认知智能演进：大模型时代的崛起

接下来进入正题。在讲大模型之前，我想先讲一下整个认知智能演进的范式。

如果我们倒退到十年前，那个时候大家在讨论怎么做一个自然语言系统、图像识别系统或者推荐搜索这样的模型的时候，我们往往会提一个词，机器学习。那个年代的机器学习，其实更多强调的是特征工程，尤其是在推荐搜索这样的场景里，特征可能会非常大。所以经历过那个时代的人应该都知道，当时在机器学习架构中出现了一个叫做 Parameter Server 的新物种，这在当时来说是一个新兴的方向，就是为了应对可能大到几十亿、上百亿的特征规模，给特征工程带来的挑战。

大概就是从十年前开始，我们真真正正进入了深度学习时代，我们不需要人工构建特征，模型可以自动从原始数据中提取特征。这个时候，我们思考的核心问题就发生了转变——我们不再需要去思考特征是什么样的，而是我们该用怎样的网络架构来更好地适应这些原始特征和任务。