国产GPU达到国际水准！摩尔线程已媲美RTX 4090、A100
摩尔线程官方宣布，2024年5月份与智谱AI开展了新一轮GPU大模型适配、性能测试，包括大模型推理、基于夸娥（KUAE）千卡智算集群的大模型预训练。 测试使用的相关大模型，来自智谱AI基座大模型及其开源版本。 测试结果表明，在推理方面，摩尔线程自研全功能GPU显著优于基准对比产品RTX 3090和RTX 4090，其中全部测试用例中优于RTX 3090，在多batch下优于RTX 4090。 在训练方面，摩尔线程夸娥千卡智算集群的训练精度与A100集群相比，误差在1％以内，而集群性能扩展系数超过90％，模型算力利用率（MFU）与A100集群相当。 这一结果，对于中国大模型产品技术生态具有重要的意义： 一是技术自主新突破。 摩尔线程千卡智算集群成功应用ChatGLM预训练，标志着摩尔线程有能力让大模型训练与推理在全国产可控的算力底座上运行，可增强技术自主性，保障信息安全。 二是助力打破算力瓶颈。 根据Scaling laws（尺度定律），有限的算力供应可能成为制约大模型发展的关键瓶颈，而摩尔线程全功能GPU可以提高大模型的迭代速度和自研水平，助推中国大模型更好发展。 三是开拓创新空间。 摩尔线程与智谱AI卓有成效的适配与测试合作，有利于推动实现软硬件的深度融合与协同创新。 四是降低运营成本。 摩尔线程凭进的AGI算力底座，不仅可以兼容适配全球主流AI软件生态，节约迁移成本，而且在单位算力总体拥有成本上拥有较为明显优势，能够有效降低大模型产品研发成本。 值得一提的是，早在2022年8月，智谱AI就开源了GLM-130B模型，2023年又推出了千亿基座对话模型ChatGLM，以及开源版本的ChatGLM-6B。 最近，摩尔线程陆续公布了与国产AI企业在大模型训练、推理方面的合作，主要包括： －第一家接入无问芯穹，适配无穹Infini-AI大模型开发与服务平台，完成LLama2 700亿参数大模型训练测试、MT-infini-3B 3B(30亿参数)规模大模型实训 －完成憨猴集团70亿、340亿。700亿参数量级大模型的分布式训练 －完成与滴普企业大模型Deepexi v1.0的训练、推理适配 －完成羽人科技70亿参数大语言模型YuRen-7b的训练测试 －完成师者AI 70亿参数全学科教育大模型的高强度训练测试
摩尔线程官方宣布，2024年5月份与智谱AI开展了新一轮GPU大模型适配、性能测试，包括大模型推理、基于夸娥（KUAE）千卡智算集群的大模型预训练。
测试使用的相关大模型，来自智谱AI基座大模型及其开源版本。
测试结果表明，在推理方面，摩尔线程自研全功能GPU显著优于基准对比产品RTX 3090和RTX 4090，其中全部测试用例中优于RTX 3090，在多batch下优于RTX 4090。
在训练方面，摩尔线程夸娥千卡智算集群的训练精度与A100集群相比，误差在1％以内，而集群性能扩展系数超过90％，模型算力利用率（MFU）与A100集群相当。
这一结果，对于中国大模型产品技术生态具有重要的意义：
一是技术自主新突破。
摩尔线程千卡智算集群成功应用ChatGLM预训练，标志着摩尔线程有能力让大模型训练与推理在全国产可控的算力底座上运行，可增强技术自主性，保障信息安全。
二是助力打破算力瓶颈。
根据Scaling laws（尺度定律），有限的算力供应可能成为制约大模型发展的关键瓶颈，而摩尔线程全功能GPU可以提高大模型的迭代速度和自研水平，助推中国大模型更好发展。
三是开拓创新空间。
摩尔线程与智谱AI卓有成效的适配与测试合作，有利于推动实现软硬件的深度融合与协同创新。
四是降低运营成本。
摩尔线程凭进的AGI算力底座，不仅可以兼容适配全球主流AI软件生态，节约迁移成本，而且在单位算力总体拥有成本上拥有较为明显优势，能够有效降低大模型产品研发成本。
值得一提的是，早在2022年8月，智谱AI就开源了GLM-130B模型，2023年又推出了千亿基座对话模型ChatGLM，以及开源版本的ChatGLM-6B。
最近，摩尔线程陆续公布了与国产AI企业在大模型训练、推理方面的合作，主要包括：
－第一家接入无问芯穹，适配无穹Infini-AI大模型开发与服务平台，完成LLama2 700亿参数大模型训练测试、MT-infini-3B 3B(30亿参数)规模大模型实训
－完成憨猴集团70亿、340亿。700亿参数量级大模型的分布式训练
－完成与滴普企业大模型Deepexi v1.0的训练、推理适配
－完成羽人科技70亿参数大语言模型YuRen-7b的训练测试
－完成师者AI 70亿参数全学科教育大模型的高强度训练测试
