复兴时代

统计方法崛起

1990年代，统计方法开始主导AI研究。隐马尔可夫模型（HMM）在语音识别中的应用，朴素贝叶斯和决策树在机器学习中的应用，都取得了很好的效果。

万维网诞生

蒂姆·伯纳斯-李创建了万维网（World Wide Web）。互联网的普及不仅改变了人类的生活方式，也为AI提供了前所未有的数据资源。

支持向量机

弗拉基米尔·瓦普尼克等人提出了支持向量机（SVM），这是一种强大的分类和回归方法。SVM在文本分类、手写识别等任务上取得了优异性能。

弗拉基米尔·瓦普尼克

长短期记忆网络 (LSTM)

塞普·霍克赖特和于尔根·施密德胡伯提出了长短期记忆网络（LSTM），这是一种特殊的循环神经网络，能够学习长期依赖关系。LSTM在语音识别、语言建模等任务上取得了巨大成功。

塞普·霍克赖特 & 于尔根·施密德胡伯

RNN 用于语言建模

约舒亚·本吉奥提出了用循环神经网络（RNN）进行语言建模的方法。这一工作为后来大规模语言模型的发展奠定了基础。

约舒亚·本吉奥

LeNet-5

杨立昆开发了LeNet-5，这是一个用于手写数字识别的卷积神经网络。LeNet-5是第一个成功商业化的深度学习模型，被用于美国邮政系统的邮政编码识别。

杨立昆

NIPS 深度学习研讨会

在加拿大神经信息处理系统大会（NIPS）上，杰弗里·辛顿组织了一次关于深度学习的研讨会。这次会议被认为是深度学习复兴的起点。

杰弗里·辛顿

深度信念网络

杰弗里·辛顿提出了深度信念网络（DBN），这是第一个成功训练的深度神经网络。辛顿提出了"逐层预训练"的方法，解决了深层网络训练困难的问题。

杰弗里·辛顿

GPU 用于深度学习

研究人员开始使用GPU（图形处理器）来加速深度学习训练。GPU的并行计算能力使得训练大型神经网络成为可能，大大加速了深度学习的发展。

ImageNet 数据集

李飞飞团队创建了ImageNet数据集，包含1400多万张标注图片。这是一个史无前例的大规模图像数据集，为计算机视觉研究提供了重要资源。

李飞飞

语音识别突破

Google使用深度学习模型将语音识别错误率降低了25%。这是深度学习在语音识别领域的首次重大突破。

ImageNet 突破

亚历克斯·克里泽夫斯基、伊利亚·萨特斯基弗和杰弗里·辛顿的团队在ImageNet图像分类竞赛中使用了深度卷积神经网络（AlexNet），以压倒性优势夺冠。错误率从26%降至15%，这一突破引发了深度学习革命。

AlexNet 团队

Word2Vec

托马斯·米科洛沃发布了Word2Vec，这是一种用于学习词嵌入的神经网络模型。Word2Vec使得计算机能够理解词语之间的语义关系。

托马斯·米科洛沃

生成对抗网络 (GAN)

伊恩·古德费洛提出了生成对抗网络（GAN），这是深度学习领域最重要的创新之一。GAN通过两个神经网络的对抗训练，能够生成极其逼真的图像。

伊恩·古德费洛

ResNet

何恺明等人提出了残差网络（ResNet），通过引入跳跃连接解决了深层网络训练困难的问题。ResNet使得训练数百层的神经网络成为可能。

何恺明

AlphaGo 击败李世石

DeepMind开发的AlphaGo在五番棋比赛中以4比1击败了世界围棋冠军李世石。围棋被认为是AI最难攻克的棋类游戏之一，AlphaGo的胜利被认为是AI历史上的里程碑。

DeepMind AlphaGo

Transformer 架构

Google提出了Transformer架构，这是自然语言处理领域的一次革命性突破。Transformer摒弃了传统的循环结构，完全基于注意力机制，成为现代大语言模型的基础。

Google Brain