可替代NVIDIA!摩尔线程GPU千卡集群完成30亿参数大模型实训
快科技5月27日消息,摩尔线程、无问芯穹联合宣布,双方已经正式完成MT-infini-3B 3B(30亿参数)规模大模型的实训,基于摩尔线程国产全功能GPU MTT S4000组成的千卡集群,以及无问芯穹的AIStudio PaaS平台。
本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
据悉,这次的MT-infini-3B模型训练总共用时13.2天,全程稳定无中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。
目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型,在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。
无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署,已与摩尔线程达成深度战略合作。
摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配,完成LLama2 700亿参数大模型的训练测试。
T-infini-3B的训练,则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。
就在日前,基于摩尔线程的夸娥千卡集群,憨猴集团也成功完成了7B、34B、70B不同参数量级的大模型分布式训练,双方还达成战略合作。
经双方共同严苛测试,兼容适配程度高,训练效率达到预期,精度符合要求,整个训练过程持续稳定。
本文链接:http://www.huotuzhijia.com/content-21-930-1.html
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
-
合资插混最强匮电也是龙 雪佛兰探界者Plus上市:14.99万起!
雪佛兰首款智电插混SUV探界者Plus今日正式上市,共推4款配置车型,售价区间14 99-17 99万元。该车采用新一代设计语言,延续美式SUV典型的设 [详细] -
光峰科技发布2023年财报:营收22.13亿元 经营现金流大增105%
4月26日晚间,光峰科技披露2023年年报。年报显示,2023年光峰科技实现营业收入22 13亿元;归母净利润实现1 03亿元;整体毛利率达到36 22%; [详细] -
张艺谋《第二十条》网播上线:爱奇艺、腾讯视频、优酷会员免费看
今日,张艺谋电影《第二十条》正式开启网播,上线爱奇艺、腾讯视频、优酷、芒果TV、B站等视频平台,开通平台会员后可免费观看。据了解,《 [详细] -
《蛋仔派对》注重保护未成年人网络安全 保护未成年人不受到诈骗
在目前这个飞速发展的数字化时代,互联网让我们的娱乐生活得到了极大的丰富,各种各样的游戏层出不穷,但网络安全问题也随之凸显,大额充值 [详细] -
百度:AI专利申请量、授权量国内第一
在第24个世界知识产权日来临之际,百度昨日举办专利运用赋能AI产业高质量发展论坛。在论坛上,百度首席技术官王海峰透露,百度在以大模型为 [详细]