AI技术正在以前所未有的速度改变着我们的世界。近日,中国工程院院士、清华大学教授郑纬民在QCon北京大会上发表了题为《关于人工智能大模型的几点思考》的演讲,深入剖析了大模型推理架构Mooncake的核心创新与实际应用效果。
近日,中国工程院院士 / 清华大学教授 / 博士生导师郑纬民确认出席 QCon 北京大会发表题为《 关于人工智能大模型的几点思考 》的主题演讲,并将分享 Kimi 幕后的大模型推理架构 Mooncake。
【文/观察者网 熊超然】上个月,全球计算机存储领域的顶级学术会议——第23届USENIX文件与存储技术会议(USENIX Conference on File and Storage Technologies,简称FAST),在美国加利福尼亚州圣克拉拉举行。本届大会上,来自中国的人工智能(AI)初创公司月之暗面(Moonshot ...
【新智元导读】 老黄GTC重点展示的PD分离技术为何成兵家必争之地?UCSD全华人团队力作,创新性地提出预填充-解码分离技术。在严格的延迟约束下,相比现有最先进的服务系统,可实现高达4.48倍的有效产出率或10.2倍更严格的SLO达成率。
今天的GTC大会上,黄仁勋拿出了全新的Blackwell Ultra ...
今天的GTC大会上,黄仁勋拿出了全新的Blackwell Ultra GPU,以及在此基础上衍生的应用于推理、Agent的服务器SKU,也包括基于Blackwell架构的RTX全家桶,这一切都与算力有关,但 接下来更重要的是,如何将源源不断算力,合理有效的消耗掉。
黄仁勋说,如果你有1000块GPU在跑AI推理,过去可能只有一半的算力真正被用上,剩下的要么在等待,要么就是因为任务分配不均,效率打折。但用了Dynamo之后,每一块GPU都会被充分利用,提高推理效率。
在当地时间3月18日召开的GTC大会上,黄仁勋拿出了全新的Blackwell Ultra GPU,以及在此基础上衍生的应用于推理、Agent的服务器SKU,也包括基于Blackwell架构的RTX全家桶,这一切都与算力有关,但 ...
DeepSeek挑起的模型价格战,冲击了市场对英伟达的信仰。黄仁勋的公开回击是,一边向DeepSeek、月之暗面与字节跳动等中国企业致敬,一边将其开源的优化思路,封装在自己的Dynamo中,促进创新的民主化。黄仁勋将Dynamo称为AI工厂的操作系统 ...