乐火资讯百科网欢迎您!
搜索
当前所在位置: 首页>数码科技

16384块N卡训练4050亿参数大模型:3小时报错一次

发布时间:2024-08-26 来源:互联网 点击:(3041) 【 字体:

16384块N卡训练4050亿参数大模型:3小时报错一次

微信截图_20240801132226.jpg

如今的AI大模型规模越来越庞大,动辄成百上千亿参数,训练过程不仅需要数万甚至十几万块GPU加速卡,出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。

Meta在报告中披露,为了训练自己的Llama 3 4050亿参数大模型,使用了包含16384块NVIDIA H100 80GB GPU的集群,一共花了45天,期间居然出现了419次意外报错,平均每3个小时就一次,而一半的错误都和GPU及其自带的HBM3内存有关。

要知道,大模型训练的工作量异常庞大,而且需要高度同步,一次错误就可能导致整个训练工作必须从头再来。

报告显示,为期45天的预训练阶段中,总共出现了466次工作中断,其中47次是计划内的自动维护,419次是意外的,且大部分都来自硬件问题,GPU又是最多的,占了其中的58.7%。

具体来说,148次即30.1%的意外中断来自各种GPU失效(包括NVLink总线),72次即17.2%来自HBM3内存失效——毕竟,700W的功耗太热了。

还有19次来自GPU SRAM,17次来自GPU处理器,6次来自GPU静默数据错误,6次来自GPU散热和传感器。

其他错误来自软件bug、网线和网卡等等各个方面。有趣的是,CPU错误只出现了2次。

还好,Llama 3团队非常给力,在这么高的出错几率下,依然维持了超过90%的有效训练时间,而且只有三次GPU报错需要大量人工干预,其他都被自动化管理纠正了。


猜你喜欢

第五届中国工业互联网大赛无锡赛站决赛举办

第五届中国工业互联网大赛无锡赛站决赛举办

以“数字赋能 智创未来”为主题,由工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会等单位主办的第五届中国工业互联···
2023-12-08
点击 863
消息称《光环》和《战争机器》今年都要登陆PS5平台

消息称《光环》和《战争机器》今年都要登陆PS5平台

今日早些时候,业内知情人士NateDrake报道称,Xbox主机独占游戏《光环:士官长合集》将于2025年登陆PS5平台。似乎另一···
2025-01-13
点击 49
索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

近日SIE联席首席执行官赫尔曼·胡尔斯特(Herman Hulst)接受日媒Fami通采访,他谈到《星鸣特攻》的失败,以及Play···
2024-12-30
点击 82
浜口直树:《最终幻想7》重制版第三部开发非常顺利

浜口直树:《最终幻想7》重制版第三部开发非常顺利

据《最终幻想7》重制三部曲的监督浜口直树透露,该三部曲第三部的开发“进展顺利”。《FAMI通》推出了其年度年终专题,在这个专题中,···
2024-12-30
点击 75
网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息距离游戏大奖颁奖典礼还有不到一周的时间,这也意味着未来几天我们将看到一些游戏的新细节···
2024-12-09
点击 93
复旦教授称中国退休年龄还是太早,建议推行延迟退休制度

复旦教授称中国退休年龄还是太早,建议推行延迟退休制···

在当今这个快速发展的时代,退休年龄问题成了一个热门话题。复旦大学的一位教授彭希哲,这位在学术界有着丰富成就的资深教授,近日就提出了···
2024-01-10
点击 329
相关推荐

2024年中考有“变化”,学生考多少分才进入高中?至少要到这个分数

2024年中考有“变化”,学生考多少分才进入高中?至少要到这个分数
2024年中考有“变化”,学生考多少分才进入高中?至少要到这个分数还有一个月左右的时间就要迎接中考这场考试,各地中考考生也都进入紧锣密鼓的复习状态,也让学生陷入无比的焦急和焦躁中,许多学生都处于情绪紧绷的状态,一旦学生的成绩发挥失常,也会直接阻碍学生未来的发展。根据教育学者的预测,2024年参加中考的考生想...

《花戎》魏凌月是孔雀吗

《花戎》魏凌月是孔雀吗
《花戎》魏凌月是孔雀,不是凤凰。 魏凌月前往面圣途中,魔族大尊拦住去路杀害众多侍卫,直接把魏凌月带回魔界,不仅称其为姐姐,还带她回到故城讲述往事。魏凌月没有半点印象,但是魔族大尊完全不担心,因为只要她与花戎融合就能找回记忆。 &nb...

实验室噪音防护:从耳塞到降噪耳机的选择

实验室噪音防护:从耳塞到降噪耳机的选择
实验室噪音防护需根据噪音强度、使用场景及个人需求选择防护设备。以下从耳塞与降噪耳机的特性、适用场景及推荐方案出发,提供科学选择指南。一、耳塞与降噪耳机防护原理对比防护类型工作原理降噪优势局限性耳塞通过物理隔绝声波进入耳道对高频噪音(如设备运转声)效果显著降噪深度有限(25-30dB),对低频噪音(如空调、压...

没有营业执照就不能申请银行贷款吗?

没有营业执照就不能申请银行贷款吗?
银行针对个人是有消费贷这一款项的,在个人信用贷和房产抵押贷里面,都有这一项,但是这2类也是有要求的【一】个人信贷申请条件:名下有按揭房,公积金,社保,保单,,打卡工资额度:单家银行最高30万,如果资质可以,可同时申请几家利息:月息2.87厘到1.1分之间还款方式:先息后本,等额本息期限:最长5年,一般为3年居多征...

启动机坏了怎么检查?

启动机坏了怎么检查?
启动机坏了怎么检查?启动机坏了的检查方法是:检查点火开关是否能导通启动线路,点火开关至起动机断电器导线连接是否可靠、继电器是否损坏、触点是否严重烧蚀;检查起动机磁力开关触点是否烧蚀或调整不当而影响线路导通;检查蓄电池桩头与导线连接是否可靠,电压是否正常。当启动发动机时,将点火开关转到启动位置,启动继...

《神隐》古晋什么时候知道凤隐才是当年的恩人

《神隐》古晋什么时候知道凤隐才是当年的恩人
《神隐》古晋在第28集发现真正恩人是凤隐并非是华姝。 灵风潜入梧桐岛,故意靠近梧桐祖树佯装偶遇凤隐,妄图说几句恭维的话博取对方好感,心生欢喜。然而凤隐已然知晓灵风为人品性,厌恶他自作聪明之举,使出雷火符将他打落在地,这一幕被古晋看在眼里。凤隐继续拆穿灵风的丑陋嘴...

肉粽可以和甜粽一起煮吗,不同口味的粽子可以一起煮吗

肉粽可以和甜粽一起煮吗,不同口味的粽子可以一起煮吗
粽子是很不错的一种美食,它主要是用糯米做的,还可以加各种各样的食材,比如红枣、红豆、咸蛋黄、猪肉等等,味道都是很不错的,口感超级棒。煮粽子也是有一定讲究的,不同口味的粽子最好分开煮,这样避免串味。一、不同口味的粽子可以一起煮吗最好分开煮,不要一起煮,容易串味。如果你想同时做几种口味的粽子,比如海鲜、...

老北京名小吃推荐-冰糖葫芦

老北京名小吃推荐-冰糖葫芦
老北京名小吃推荐-老北京名小吃主要有炸酱面、炒肝、卤煮火烧、艾窝窝、豆汁焦圏、褡裢火烧、豌豆黄、爆肚、驴打滚、面茶、 奶油炸糕、冰糖葫芦。冰糖葫芦老北京名小吃有什么冰糖葫芦是将山楂用竹签串成串后蘸上麦芽糖稀,糖稀遇风迅速变硬,吃起来又酸又甜。山楂的药用功效很多,它能够消食积、散淤血、驱涤虫...

什么颜色的唇彩最适合你,如何用腮红和唇彩,不同肤色妆

什么颜色的唇彩最适合你,如何用腮红和唇彩,不同肤色妆
什么颜色的唇彩最适合你1.棕红:色彩显得朴实,适用于年龄比较大的女性及男士2.橙红:色彩显得热情,富有青春活力适用于青春气息浓郁的女性3.粉红:(桃红色)与红色,紫色相近显得可爱适合少女妆4.玫瑰红:色彩高雅艳丽妩媚而成熟,使妆色显得光彩夺目,应用范围较广,成熟女性5.朱红:活跃,温柔,适合于结婚女性及皮肤白皙的成熟女性6褐...

电冰箱快速除霜的技巧

电冰箱快速除霜的技巧
40.电冰箱快速除霜的技巧 没有自动除霜装置的电冰箱,可用下面方法快速除霜。 首先断开电冰箱电源,把箱内食品取出。然后根据冷冻室大小,将一个或两个铝制饭盒装上 开水放入冷冻室内。数分钟后,冷冻室壁上的霜块开始整块脱落(对尚未脱落的,可用手轻 扳)。如果冻室顶部没有金属蒸发板,盛开水的饭盒应上盖,以免低温下的塑...
返回顶部