乐火资讯百科网欢迎您!
搜索
当前所在位置: 首页>数码科技

16384块N卡训练4050亿参数大模型:3小时报错一次

发布时间:2024-08-26 来源:互联网 点击:(3040) 【 字体:

16384块N卡训练4050亿参数大模型:3小时报错一次

微信截图_20240801132226.jpg

如今的AI大模型规模越来越庞大,动辄成百上千亿参数,训练过程不仅需要数万甚至十几万块GPU加速卡,出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。

Meta在报告中披露,为了训练自己的Llama 3 4050亿参数大模型,使用了包含16384块NVIDIA H100 80GB GPU的集群,一共花了45天,期间居然出现了419次意外报错,平均每3个小时就一次,而一半的错误都和GPU及其自带的HBM3内存有关。

要知道,大模型训练的工作量异常庞大,而且需要高度同步,一次错误就可能导致整个训练工作必须从头再来。

报告显示,为期45天的预训练阶段中,总共出现了466次工作中断,其中47次是计划内的自动维护,419次是意外的,且大部分都来自硬件问题,GPU又是最多的,占了其中的58.7%。

具体来说,148次即30.1%的意外中断来自各种GPU失效(包括NVLink总线),72次即17.2%来自HBM3内存失效——毕竟,700W的功耗太热了。

还有19次来自GPU SRAM,17次来自GPU处理器,6次来自GPU静默数据错误,6次来自GPU散热和传感器。

其他错误来自软件bug、网线和网卡等等各个方面。有趣的是,CPU错误只出现了2次。

还好,Llama 3团队非常给力,在这么高的出错几率下,依然维持了超过90%的有效训练时间,而且只有三次GPU报错需要大量人工干预,其他都被自动化管理纠正了。


猜你喜欢

第五届中国工业互联网大赛无锡赛站决赛举办

第五届中国工业互联网大赛无锡赛站决赛举办

以“数字赋能 智创未来”为主题,由工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会等单位主办的第五届中国工业互联···
2023-12-08
点击 859
消息称《光环》和《战争机器》今年都要登陆PS5平台

消息称《光环》和《战争机器》今年都要登陆PS5平台

今日早些时候,业内知情人士NateDrake报道称,Xbox主机独占游戏《光环:士官长合集》将于2025年登陆PS5平台。似乎另一···
2025-01-13
点击 48
索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

近日SIE联席首席执行官赫尔曼·胡尔斯特(Herman Hulst)接受日媒Fami通采访,他谈到《星鸣特攻》的失败,以及Play···
2024-12-30
点击 81
浜口直树:《最终幻想7》重制版第三部开发非常顺利

浜口直树:《最终幻想7》重制版第三部开发非常顺利

据《最终幻想7》重制三部曲的监督浜口直树透露,该三部曲第三部的开发“进展顺利”。《FAMI通》推出了其年度年终专题,在这个专题中,···
2024-12-30
点击 74
网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息距离游戏大奖颁奖典礼还有不到一周的时间,这也意味着未来几天我们将看到一些游戏的新细节···
2024-12-09
点击 93
复旦教授称中国退休年龄还是太早,建议推行延迟退休制度

复旦教授称中国退休年龄还是太早,建议推行延迟退休制···

在当今这个快速发展的时代,退休年龄问题成了一个热门话题。复旦大学的一位教授彭希哲,这位在学术界有着丰富成就的资深教授,近日就提出了···
2024-01-10
点击 329
相关推荐

重庆特产之城口党参

重庆特产之城口党参
党参(又名:上党人参、辽参、三叶菜、叶子草),为多年生桔梗科草本植物。根长圆柱形,直径1~1.7厘米,顶端有一膨大的根头,具多数瘤状的茎痕,外皮乳黄色至淡灰棕色,有纵横皱纹。茎缠绕,长而多分歧,下部疏生白色粗糙硬毛,上部光滑或近于光滑。叶对生、互生或假轮生:具柄,叶柄长0.5~4厘米,被疏柔毛:叶片卵形或广...

小学生必背谚语歇后语

小学生必背谚语歇后语
谚语火要空心,人要忠心。 2.好事多做,恶事莫为。 3.不怕人有错,就怕改不过。 4.树直用处多,人直朋友多。 5.茄子不开虚花,真人不说假话。 6.学问勤中得。 7.学然后知不足。 8.不知则问,不能则学。 9.敏而好学,不耻下问。 10.玉不琢,不成器;人不学,不知义。 11.光阴似箭,日月如梭。 12.少壮不努力,老大徒伤...

唇炎是对口红哪种物质过敏

唇炎是对口红哪种物质过敏
对于妹子们来说,嘴巴得了唇炎是非常难受的事情,不仅影响我们吃各种好吃的东西,还让我们不能涂口红。而且有的人一涂口红就会有唇炎的情况,比如红肿、发痒,甚至会起泡,这类人是不适合涂口红的,或者口红的类别不适合。那么唇炎过敏该怎么办呢?唇炎口红过敏怎么办建议您先不要再使用口红了,使用红霉素软膏涂抹,或服用...

“民转公”大势已定,民办教师困惑,官方回应

“民转公”大势已定,民办教师困惑,官方回应
“民转公”大势已定,民办教师困惑,官方回应作为一名具有很强稳定性的专业,特别是作为一名在职的在职人员,更是如此。享有终生教职的多数为事业单位,其事业发展得到了切实的保障。在目前的教育方针持续进行调整的时期,伴随着教育方针的持续变革与变革,也导致了老师们的负担与工作压力日益增大,为保持优质的人才,促进...

"具有现实意义的感人作品",儿童电影《远山花开》获专家好评

2月21日,关注农村留守儿童心灵呵护的现实主义电影《远山花开》专家观摩研讨会在北京中国电影资料馆举行,中国电影基金会理事长张丕民、中国电影家协会分党组书记张宏等专家学者出席。大家认为该片关注陕西山村留守儿童,是一部有温度、接地气、具有现实意义、思想内涵和艺术价值的作品,是陕西电影人在新时代奉献给观众...

怎么查交强险是否到期?

怎么查交强险是否到期?
怎么查交强险是否到期?要查询交强险是否到期,可以通过以下几种方法进行查询:1. 保单查询方法一:查看纸质保单纸质保单:查看你之前购买交强险时保险公司提供的纸质保单,上面会有详细的保险起止日期。方法二:电子保单电子保单:如果你通过线上购买的交强险,保险公司会提供电子保单,可以在购买保险时的电子邮件中查找。...

日常的六种抗氧化养颜食物 让你越吃越美丽越吃越年轻

日常的六种抗氧化养颜食物 让你越吃越美丽越吃越年轻
养颜美肤的好食品推荐1、姜生姜可以减少你皮肤的黑色素沉淀,姜含有丰富蛋白质、多种维生素、胡萝卜素、钙、铁、磷等。姜中所含的姜辣素进入体内后,有很强的抗氧化效果,可防止或减少脂褐素的沉积,预防老年斑。姜还能抑制癌细胞活性,喝姜茶还能治疗轻微的感冒,这也是英国人常用的方法。但是,美眉们要注意,吃姜不要一次...

初中学历提升大专学历多少钱?

初中学历提升大专学历多少钱?
初中学历提升大专学历多少钱?学历对我们的工作、生活都有很大影响,很多在职人员选择业余时间,来提升自己的学历。成人教育提升学历的目的就在于取得一份学历,学历也是自身必不可少的条件之一。下面小编为大家解答一下关于学历提升相关信息,希望对大家有所帮助!初中学历提升大专学历多少钱?学历提升费用各省不同,还要...

俄罗斯音乐家开篇奏响《红旗颂》

俄罗斯音乐家开篇奏响《红旗颂》
  迎着渐渐点亮的场灯,马林斯基交响乐团的艺术家们在观众异常热烈的掌声里走上国家大剧院的舞台。随后,指挥大师瓦莱里·捷杰耶夫上场,掌声进一步“升级”成了全场欢呼。昨晚,捷杰耶夫与马林斯基交响乐团在阔别北京三年半之后回归,与期盼他们已久的中国观众再次相见。  这一格外值得铭记的时刻将从此被写入北京这座...

氢能源汽车是未来吗?对比纯电动的优劣势!

氢能源汽车是未来吗?对比纯电动的优劣势!
氢能源汽车被认为是未来的一个重要趋势,但其在市场上的普及程度和技术成熟度与纯电动汽车相比,仍有待提升。以下是氢能源汽车与纯电动汽车的优劣势对比:氢能源汽车的优势零排放和环保:氢能源汽车在运行过程中只产生水,不产生二氧化碳或其他有害气体,有助于减少空气污染和温室气体排放。续航里程长:氢能源汽车通常具有...
返回顶部