乐火资讯百科网欢迎您!
搜索
当前所在位置: 首页>数码科技

16384块N卡训练4050亿参数大模型:3小时报错一次

发布时间:2024-08-26 来源:互联网 点击:(3039) 【 字体:

16384块N卡训练4050亿参数大模型:3小时报错一次

微信截图_20240801132226.jpg

如今的AI大模型规模越来越庞大,动辄成百上千亿参数,训练过程不仅需要数万甚至十几万块GPU加速卡,出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。

Meta在报告中披露,为了训练自己的Llama 3 4050亿参数大模型,使用了包含16384块NVIDIA H100 80GB GPU的集群,一共花了45天,期间居然出现了419次意外报错,平均每3个小时就一次,而一半的错误都和GPU及其自带的HBM3内存有关。

要知道,大模型训练的工作量异常庞大,而且需要高度同步,一次错误就可能导致整个训练工作必须从头再来。

报告显示,为期45天的预训练阶段中,总共出现了466次工作中断,其中47次是计划内的自动维护,419次是意外的,且大部分都来自硬件问题,GPU又是最多的,占了其中的58.7%。

具体来说,148次即30.1%的意外中断来自各种GPU失效(包括NVLink总线),72次即17.2%来自HBM3内存失效——毕竟,700W的功耗太热了。

还有19次来自GPU SRAM,17次来自GPU处理器,6次来自GPU静默数据错误,6次来自GPU散热和传感器。

其他错误来自软件bug、网线和网卡等等各个方面。有趣的是,CPU错误只出现了2次。

还好,Llama 3团队非常给力,在这么高的出错几率下,依然维持了超过90%的有效训练时间,而且只有三次GPU报错需要大量人工干预,其他都被自动化管理纠正了。


猜你喜欢

第五届中国工业互联网大赛无锡赛站决赛举办

第五届中国工业互联网大赛无锡赛站决赛举办

以“数字赋能 智创未来”为主题,由工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会等单位主办的第五届中国工业互联···
2023-12-08
点击 859
消息称《光环》和《战争机器》今年都要登陆PS5平台

消息称《光环》和《战争机器》今年都要登陆PS5平台

今日早些时候,业内知情人士NateDrake报道称,Xbox主机独占游戏《光环:士官长合集》将于2025年登陆PS5平台。似乎另一···
2025-01-13
点击 48
索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

近日SIE联席首席执行官赫尔曼·胡尔斯特(Herman Hulst)接受日媒Fami通采访,他谈到《星鸣特攻》的失败,以及Play···
2024-12-30
点击 81
浜口直树:《最终幻想7》重制版第三部开发非常顺利

浜口直树:《最终幻想7》重制版第三部开发非常顺利

据《最终幻想7》重制三部曲的监督浜口直树透露,该三部曲第三部的开发“进展顺利”。《FAMI通》推出了其年度年终专题,在这个专题中,···
2024-12-30
点击 74
网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息距离游戏大奖颁奖典礼还有不到一周的时间,这也意味着未来几天我们将看到一些游戏的新细节···
2024-12-09
点击 93
复旦教授称中国退休年龄还是太早,建议推行延迟退休制度

复旦教授称中国退休年龄还是太早,建议推行延迟退休制···

在当今这个快速发展的时代,退休年龄问题成了一个热门话题。复旦大学的一位教授彭希哲,这位在学术界有着丰富成就的资深教授,近日就提出了···
2024-01-10
点击 329
相关推荐

“双城·纪——亚运之光”纪实影像展在广州和杭州同步正式开幕

“双城·纪——亚运之光”纪实影像展在广州和杭州同步正式开幕
  6月26日,“双城·纪——亚运之光”纪实影像展在广州图书馆和杭州图书馆同步正式开幕。展览以广州和杭州两座城市为空间主线,以亚运会的重大事件为时间主线,展现两座城市的“城”与“人”在亚运会前后的变化以及亚运与城市人文内涵的融合。开幕式当天,还开展了“岭南&江南 文化TALK”活动,展开了一场开启两座城市...

《熟年》何志超去留学了吗

《熟年》何志超去留学了吗
《熟年》何志超决定延缓一年去留学了。 正当倪伟贞与何志超争吵不休时,何美莲突然出现拿出一份文件,上面写着允许何志超延缓一年入学报道。这件事情得以解决,倪伟贞向何志超敞开心扉道出自己为何坚持让他去留学的原因。 当年倪伟民学习成...

东莞旅游景点 东莞去哪里玩儿比较好

东莞旅游景点 东莞去哪里玩儿比较好
松山湖景区景点地址: 东莞松山湖生态园景区开放时间:全天开放景点特色:8平方公里水面的松山湖,四周峰峦环抱,湖面烟波浩渺。有松湖烟雨、松湖花海、状元笔公园、月荷湖公园、梦幻百花洲、桃源公园等主要景点,而一次环湖骑行一定是你不容错过的选择。观音山国家森林公园景点地址: 樟木头镇笔架山大道观音山国家森林公园开放...

为什么要学习呢 为什么要学习

为什么要学习呢 为什么要学习
学习是为了能独立生存,只有读的书足够多的时候,才不会局限于自己的小世界。站到一定高度上,看到的风景才会与众不同。学习不同领域的知识,才能从多个角度看待问题,不会太片面。学习后会发现自己知道的,只不过是知识海洋的一滴微小的水珠,便会怀着谦卑之心、敬畏之心、善良地看待这个世界。在当今时代,知识就...

校园超市必买清单:10元内幸福感爆棚零食

校园超市必买清单:10元内幸福感爆棚零食
校园超市必买清单:10元内幸福感爆棚零食(平价、解馋、便携)一、甜食控狂喜:糖分暴击小包装糖果/巧克力阿尔卑斯硬糖(混合口味,5元/包):经典奶香,一颗含2分钟超满足。德芙巧克力小粒装(8元/盒):丝滑浓郁,适合分享或独享。俄罗斯紫皮糖(10元/袋):花生夹心+巧克力脆皮,甜而不腻。推荐:特点:独立包装,方便携...

平潭蓝眼泪:追光者天堂,海岸线上的梦幻奇观

平潭蓝眼泪:追光者天堂,海岸线上的梦幻奇观
平潭蓝眼泪:追光者天堂,海岸线上的梦幻奇观标题:《平潭蓝眼泪:海岸线上的荧光秘境,追光者的极致浪漫》一、蓝眼泪现象:自然奇观的科学解读形成原理:夜光藻型蓝眼泪:由夜光藻(甲藻门)聚集引发,多见于3-6月,呈现短促蓝色涟漪。海萤型蓝眼泪:由希氏弯喉海萤(介形虫)发光产生,多见于7-8月,发光更持久、颗粒更清...

发行商表示《庄园领主》首发大获成功 超出预期

发行商表示《庄园领主》首发大获成功 超出预期
发行商表示《庄园领主》首发大获成功 超出预期发行商Hooded Horse最近接受采访表示,《庄园领主》取得了令人意想不到的成功,尤其是他们自己也没有预料到。这款游戏一天之内售出了超过一百万份,但显然,它的成功故事并没有就此结束。Hooded Horse首席执行官蒂姆·本德尔表示:“没人会想到这款游戏的首发同时在线玩家数量会...

网贷逾期了怎么协商延期还款

网贷逾期了怎么协商延期还款
网贷逾期了怎么协商延期还款如果你在使用网贷过程中遇到逾期问题,可以通过以下步骤来协商延期还款:1. 找到个人申请网贷的平台或机构想办法联系贷款机构的客服,说明你的情况。表明你有还款意愿,但由于某些原因(如失业、突发医疗费用等)暂时无法按期还款。2. 准备相关证明材料准备一些证明材料来佐证你的情况,例如:失...

存款利率持续下调?内行人建议:手握定期存款的人要做好3件事!

存款利率持续下调?内行人建议:手握定期存款的人要做好3件事!
存款利率持续下调?内行人建议:手握定期存款的人要做好3件事!在金融市场,存款利率的变动总是牵动着广大储户的心。近期,利率的持续下调让不少人开始担忧自己的存款收益。内行人士对此给出建议,手握定期存款的人要做好3件事,以应对可能的利率变动。今天,我们就来聊聊这3件事,看看如何保护我们的存款收益。一、了解存款...

元旦晚会策划书

元旦晚会策划书
元旦晚会策划书为了迎接XX年的元旦的到来,活跃节日气氛,丰富校园文化生活,给师生们提供展示才华的平台,从而推进校园文化建设,全面推进素质教育。学校决定由团委会、各年级组、学生会组织承办XX年元旦文艺晚会。现将晚会的有关事宜通知如下。一、晚会主题:二、晚会时间:三、晚会地点:四、晚会形式:以新颖的题材,经...
返回顶部