原创ChatGPT
GPT5还没出GPT6已在路上(预计GPT6电力需求更高)
近日,有爆料称微软正在使用10万个H100 GPU来训练OpenAI的下一代大模型GPT-6。这一消息引发了人们对未来AI发展对电力需求的担忧和热议。
据内部人士透露,GPT-6将是一个参数超过万亿的大规模多模态模型。为支撑这一训练任务,微软不得不在多个数据中心部署成千上万个顶级GPU。然而,当同时运行十万块H100时,整个所在地区的电网都难以负荷,出现了短暂崩溃。
一位匿名的微软工程师诉苦道:"我们原计划是将设备集中部署,但发现一旦在某个州超过10万个H100,当地电网就会因负荷过高而瘫痪。所以不得不在多地分布式部署,但这又带来了跨地区GPU通信等新难题。"
业内分析人士指出,以当前主流AI算法的能效水平,GPT之类的大型语言模型对计算能源的需求在未来只会呈指数级增长。马斯克等人早就预见到,AI发展终将被能源所掣肘。
不过也有人认为,中短期来看,发达国家现有的发电能力足以支撑AI训练。真正的瓶颈可能还是热量散热和模型生成数据等其他方面。在AI时代,加拿大这样拥有寒冷干燥气候的国家将占据先天优势。
对此,OpenAI的Sam Altman等AI大佬已经看到了问题的症结。他们认为,未来唯有通过发展新能源如核聚变,才能满足智能算力与计算资源的无尽需求,最终突破能源桎梏。
本文来自投稿，不代表本站立场，如若转载，请注明出处并保留链接：https://www.metaguan.cn/chatgpt/4187.html