上下文窗口大小200万

Google提出Titans架构通过引入长期记忆模块增强模型处理长序列数据的能力，超越现有模型如GPT-4、Llama3.1-70B等，并结合适应性遗忘机制和门控遗忘来管理有限的记忆资源。