《看见》

这是一个480B参数激活35B参数的MoE模型,原生支持256Ktoken的上下文并可通过YaRN扩展到1Mt

为什

如果五年前你

艾斯特吉芭托

梦鸽

回首201