![【XGAMER 元代碼 - 主題曲: 寂聲 (日本語)】 日語歌詞： Verse 1 目を閉じたいだけ 気にしていないふうに... 内の信念は 正しくない 風と海[真実を]告げて 失くしない 幻がなくて Chorus: 徹夜で戦った 日差し...](https://scontent.fdsa2-1.fna.fbcdn.net/v/t15.5256-10/336656091_162215126698640_3843734250325810940_n.jpg?stp=dst-jpg_p600x600&_nc_cat=102&ccb=1-7&_nc_sid=08861d&_nc_ohc=kQATFNXRo-kAX9EeaEw&_nc_ht=scontent.fdsa2-1.fna&oh=00_AfCnUOW2Bv6j_cgJTtG7RU2CcjvsthXu1Pj6XjGBE5943w&oe=641C69A7#)
.png&fb_obo=1&utld=tszching.uk&stp=c0.5000x0.5000f_dst-emg0_p160x160_q75_u&ccb=13-1&oh=06_AbHte9dNdbu6od1dt_bDvJQdrQLITsrLEPNhBtFxHSuSwQ&oe=63BDB559&_nc_sid=698a6b#){kind=icon}
研究人员推出xLSTM神经网络AI架构 并行化处理Token
IT之家今日（5月13日）消息，研究人员Sepp Hochreiter和Jürgen Schmidhuber在1997年共同提出了长短期记忆（Long short-term memory，LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题。 而最近Sepp Hochreiter在arXiv上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以解决LSTM长期以来“只能按照时序处理信息”的“最大痛点”，从而“迎战”目前广受欢迎的Transformer架构。 据悉，Sepp Hochreiter在新的xLSTM架构中采用了指数型门控循环网络，同时为神经网络结构引入了“sLSTM”和“mLSTM”两项记忆规则，从而允许相关神经网络结构能够有效地利用RAM，实现类Transformer“可同时对所有Token进行处理”的并行化操作。 团队使用了150亿个Token训练基于xLSTM及Transformer架构的两款模型进行测试，在评估后发现xLSTM表现最好，尤其在“语言能力”方面最为突出，据此研究人员认为xLSTM未来有望能够与Transformer进行“一战”。
IT之家今日（5月13日）消息，研究人员Sepp Hochreiter和Jürgen Schmidhuber在1997年共同提出了长短期记忆（Long short-term memory，LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题。
而最近Sepp Hochreiter在arXiv上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以解决LSTM长期以来“只能按照时序处理信息”的“最大痛点”，从而“迎战”目前广受欢迎的Transformer架构。
据悉，Sepp Hochreiter在新的xLSTM架构中采用了指数型门控循环网络，同时为神经网络结构引入了“sLSTM”和“mLSTM”两项记忆规则，从而允许相关神经网络结构能够有效地利用RAM，实现类Transformer“可同时对所有Token进行处理”的并行化操作。
团队使用了150亿个Token训练基于xLSTM及Transformer架构的两款模型进行测试，在评估后发现xLSTM表现最好，尤其在“语言能力”方面最为突出，据此研究人员认为xLSTM未来有望能够与Transformer进行“一战”。
李芷晴
https://tszching.uk
