Hinton为给儿子赚钱加入谷歌,现在痛悔毕生AI工作,“青少年学做水管工吧”
AI教父Geoffrey Hinton在访谈中表达了对AI发展的担忧,包括滥用AI导致的安全风险和长期可能造成的超级智能威胁。他后悔当时没有提前警告公众,并认为下一代应该考虑学习如水管工这样的传统技能以规避未来职业危机。
AI教父Geoffrey Hinton在访谈中表达了对AI发展的担忧,包括滥用AI导致的安全风险和长期可能造成的超级智能威胁。他后悔当时没有提前警告公众,并认为下一代应该考虑学习如水管工这样的传统技能以规避未来职业危机。
近日,Karpathy 在演讲中提出软件演进分为1.0、2.0和3.0时代。其中,3.0时代通过大语言模型(LLM)实现了编程的新方式。他指出LLM的本质类似于一个全新的操作系统,并强调了理解和利用其特长和局限性的重要性。同时,Karpathy也指出了AI时代的两大机遇:部分自主应用和构建针对智能体友好的工具。
Keller Jordan介绍其优化器Muon,用于神经网络隐藏层参数优化,在NanoGPT和CIFAR-10应用中显著提高训练速度,并与原文献链接。
机器学习研究者Keller Jordan通过一篇关于Muon优化器的博客成功加入OpenAI,指出传统论文模式在快速迭代的人工智能世界中已落伍,建议采用开放、社区共建和快速响应的方式。
大模型的能力由多个因素决定,包括神经网络技术的发展、训练数据的选择与质量、模型结构的固有缺陷、以及微调等。提升大模型潜力的方法则涉及模型架构改进、算法选择、数据质量优化等多个方面。提示词工程是一种常用手段,通过调整提示词激发大模型潜力,促进其在特定任务上的表现。