S
的
Test
of
Time
奖。它在
10
年前⽤⼀个词去预测周围的词，相当于
context
length
是
5。RNN
把有效的
context
length
提升到了
20。LSTM
涨到⼤⼏⼗。transformer
到了⼏千。现在我们能做到⼏⼗万。
如果你有
10
亿的
context
length，今天看到的问题都不是问题。
此外，其实⽆损压缩就是在⼀⽚混沌中学 杨植麟：核⼼是两点，⼀个是抓⼤放⼩，⼀个是终局思维。我跟很多
researcher
合作过，容易出现的 ⼀个问题就是过分雕花，容易在局部⾥看到有很多可以优化的东西，⽐如我们发现
transformer
解决 了
LSTM
的
context
length
问题，但如果再跳出来⼀层，就会发现本质上每⼀代技术都是在提升
context
length。

海外独⻆兽：你觉得⽉之暗⾯还需要多少这样的⼈才？
杨

完备的AI开发工具，高效支持大模型 开发及训练 AI+科学计算 手机电磁仿真、化合物预训练模型、 飞机气动仿真 MindSpore Lite 简化部署 AI实验室一站式开发 Build-in套件 BERT LSTM Vit ResNet 模型库 图像分类 目标检测 文本分类 … 数据集 在线加载 快速上手官方样例仓库 完备使用教程 代码管理 在线训练 界面启动 Jupyter Notebook