乐火资讯百科网欢迎您!
搜索
当前所在位置: 首页>数码科技

16384块N卡训练4050亿参数大模型:3小时报错一次

发布时间:2024-08-26 来源:互联网 点击:(3038) 【 字体:

16384块N卡训练4050亿参数大模型:3小时报错一次

微信截图_20240801132226.jpg

如今的AI大模型规模越来越庞大,动辄成百上千亿参数,训练过程不仅需要数万甚至十几万块GPU加速卡,出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。

Meta在报告中披露,为了训练自己的Llama 3 4050亿参数大模型,使用了包含16384块NVIDIA H100 80GB GPU的集群,一共花了45天,期间居然出现了419次意外报错,平均每3个小时就一次,而一半的错误都和GPU及其自带的HBM3内存有关。

要知道,大模型训练的工作量异常庞大,而且需要高度同步,一次错误就可能导致整个训练工作必须从头再来。

报告显示,为期45天的预训练阶段中,总共出现了466次工作中断,其中47次是计划内的自动维护,419次是意外的,且大部分都来自硬件问题,GPU又是最多的,占了其中的58.7%。

具体来说,148次即30.1%的意外中断来自各种GPU失效(包括NVLink总线),72次即17.2%来自HBM3内存失效——毕竟,700W的功耗太热了。

还有19次来自GPU SRAM,17次来自GPU处理器,6次来自GPU静默数据错误,6次来自GPU散热和传感器。

其他错误来自软件bug、网线和网卡等等各个方面。有趣的是,CPU错误只出现了2次。

还好,Llama 3团队非常给力,在这么高的出错几率下,依然维持了超过90%的有效训练时间,而且只有三次GPU报错需要大量人工干预,其他都被自动化管理纠正了。


猜你喜欢

第五届中国工业互联网大赛无锡赛站决赛举办

第五届中国工业互联网大赛无锡赛站决赛举办

以“数字赋能 智创未来”为主题,由工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会等单位主办的第五届中国工业互联···
2023-12-08
点击 856
消息称《光环》和《战争机器》今年都要登陆PS5平台

消息称《光环》和《战争机器》今年都要登陆PS5平台

今日早些时候,业内知情人士NateDrake报道称,Xbox主机独占游戏《光环:士官长合集》将于2025年登陆PS5平台。似乎另一···
2025-01-13
点击 48
索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

近日SIE联席首席执行官赫尔曼·胡尔斯特(Herman Hulst)接受日媒Fami通采访,他谈到《星鸣特攻》的失败,以及Play···
2024-12-30
点击 80
浜口直树:《最终幻想7》重制版第三部开发非常顺利

浜口直树:《最终幻想7》重制版第三部开发非常顺利

据《最终幻想7》重制三部曲的监督浜口直树透露,该三部曲第三部的开发“进展顺利”。《FAMI通》推出了其年度年终专题,在这个专题中,···
2024-12-30
点击 73
网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息距离游戏大奖颁奖典礼还有不到一周的时间,这也意味着未来几天我们将看到一些游戏的新细节···
2024-12-09
点击 93
复旦教授称中国退休年龄还是太早,建议推行延迟退休制度

复旦教授称中国退休年龄还是太早,建议推行延迟退休制···

在当今这个快速发展的时代,退休年龄问题成了一个热门话题。复旦大学的一位教授彭希哲,这位在学术界有着丰富成就的资深教授,近日就提出了···
2024-01-10
点击 328
相关推荐

中国香料香精化妆品工业协会理事长颜江瑛:三个阶段一个持续 督导企业落实化妆品质量安全主体责任

中国香料香精化妆品工业协会理事长颜江瑛:三个阶段一个持续 督导企业落实化妆品质量安全主体责任
  化妆品的质量安全,事关人民群众的身体健康和生命安全。5·25爱肤日之际,中国香料香精化妆品工业协会理事长颜江瑛围绕《企业落实化妆品质量安全主体责任监督管理规定》的重大意义,及协会如何宣贯相关规定,进行深度解读和分析。倡导行业企业加强质量管理,落实化妆品质量安全主体责任,促进行业自律。  颜江瑛认为,...

房山区非物质文化遗产-秦德泰油酥烧饼

房山区非物质文化遗产-秦德泰油酥烧饼
秦德泰油酥烧饼为房山区非物质文化遗产。“秦德泰油酥烧饼”为房山区级非物质文化遗产项目,是房山地区有特色的传统食品,发展至今已有百余年的历史,长期以来,深受广大人民群众的欢迎和青睐,这种小吃能够长盛不衰,其原因在于一直遵循祖传原有的传统手工制作技艺。秦记祖辈原籍山东,从事做烧饼生意,其二代...

平行志愿录取规则及填报技巧详解 高考志愿填报指导

平行志愿录取规则及填报技巧详解 高考志愿填报指导
填志愿相信大家是最熟悉不过,毕竟各位朋友都有经历过这件事情,填志愿并非是随便的去填的,这个对于大家来说是最清楚不过。接下来出国留学网就给大家详细的讲解一下平行志愿录取规则及填报技巧。平行志愿录取规则及填报技巧1、正确参考往年招生高校录取平均分和位次。高校录取统计数据中,有最高分、平均分...

七天无理由退货的适用范围是什么?

七天无理由退货的适用范围是什么?
网购生鲜食品如何维权?保留证据:及时留存购买凭证、包装、照片、视频等,证明商品存在质量问题(如变质、与描述不符)。与商家协商:主动联系商家,清晰说明问题,要求退款、换货或赔偿。向平台投诉:若协商无果,向销售平台反映,提供证据,寻求平台介入调解。拨打消协电话:拨打12315向消费者协会投诉,请求协助维权。法...

雪窦山门票奉化溪口雪窦山门票多少钱一张

雪窦山门票奉化溪口雪窦山门票多少钱一张
宁波溪口,这里是雪窦山国家级风景名胜区。山和水激荡出这里迷人的风光,这里没有大城市步履匆匆的快节奏,但也不似边陲小镇那般落寞寂静。到雪窦山看看这里最大的弥勒佛。那么,溪口雪窦山门票多少钱一张呢下面就和小编一起来了解下吧。雪窦山门票溪口风景区统票——230元/人(溪口风景区统票+雪窦山景区交通票)溪口风景区统...

居家预防驱除蟑螂的十五种小妙招

居家预防驱除蟑螂的十五种小妙招
摘要:蟑螂神出鬼没,是家家户户生活中的一大麻烦,因为蟑螂并不是什么好东西,最讨厌的是,它还会传播疾病,但蟑螂生命力强,是一种适应能力和繁殖能力都极强的昆虫,号称“打不死的小强”。要“谢绝”及去除蟑螂,必须稍微花点心思,以下是几点有效的驱除蟑螂,预防蟑螂入侵的绝招。居家预防驱除蟑螂的十五种小妙招1、蟑螂...

《为有暗香来》华浅的官配是谁

《为有暗香来》华浅的官配是谁
《为有暗香来》华浅的官配是仲溪午。 华浅太过执迷喜欢仲夜阑,导致一家被灭门,而上天又给过华浅一次机会,她重生了,不再执拗于过去与仲夜阑的情感纠葛,成全仲夜阑和牧遥,而华浅此后也为了弥补上一世对家人的亏欠,更是致力于让误入歧途的家人们重回正途,为了逆改宿命...

假期防溺水安全教育大全详细

假期防溺水安全教育大全详细
1.牢记防溺水措施”六不准”1、 不准私自下水游泳;2、 不准擅自与他人结伴游泳;3、 不准在无家长或老师带队的情况下游泳;4、 不准到不熟悉的水域游泳;5、 不准到无安全设施、无救护人员的水域游泳;6、 不准不会水性的学生擅自下水施救。2. 如何预防?家长或看护人,决不能将儿童单独留在浴缸、浴盆或开放的水源边。家长...

乐火影视推荐《寂静之地:入侵日》

乐火影视推荐《寂静之地:入侵日》
乐火影视推荐《寂静之地:入侵日》<<<<<点击观看全网热门影视在线免费观看完整版电影电视剧(乐火团队整理)寂静之地:入侵日分类:科幻片地区:美国年份:2024导演: 迈克尔·萨诺斯基主演: 露皮塔·尼永奥约瑟夫·奎恩亚历克斯·沃尔夫杰曼·翰苏小肉排尼可TharaSch??nTheaButlerAlfieTodd以利亚·昂...

实际收益率怎么算?

实际收益率怎么算?
实际收益率是指投资或资产在考虑了各种因素后的实际盈利率。它考虑了通货膨胀、税收、手续费等因素,从而更准确地反映了投资的实际盈利情况。实际收益率的计算方法因情况而异,以下是一般情况下计算实际收益率的基本步骤:实际收益率 = ((1 + 名义收益率) / (1 + 通货膨胀率)) - 1其中:名义收益率是投资或资产在没有...
返回顶部