苏黎世联邦理工学院的 Optmax 把 AI 注意力计算从硅片搬向光
一个研究团队提议用薄膜铌酸锂调制器作为 Transformer 注意力机制中 Softmax 和 Sigmoid 的模拟替代方案,从而把这部分计算从硅片搬向光。这一点之所以重要,是因为注意力是每个 Transformer 模型中核心且昂贵的步骤,如果光子模拟路线得到验证,它可能为这部分计算提供一种根本不同的实现方式。
报道来源
- Alpha Signal2026-10-28 18:01
一个研究团队提议用薄膜铌酸锂调制器作为 Transformer 注意力机制中 Softmax 和 Sigmoid 的模拟替代方案,从而把这部分计算从硅片搬向光。这一点之所以重要,是因为注意力是每个 Transformer 模型中核心且昂贵的步骤,如果光子模拟路线得到验证,它可能为这部分计算提供一种根本不同的实现方式。