清华团队推出赤兔大模型推理引擎，硬件成本降低50%
摘要:
清华团队开发出开源大模型推理引擎“赤兔Chitu”，显著降低了硬件成本，削减幅度高达50%，这一创新成果将为人工智能领域带来革命性变革，促进大模型的广泛应用和普及，赤兔Chitu的推出将极大降低企业使用AI技术的门槛，推动人工智能技术的快速发展和落地应用。
石家庄都市网报道，清华大学高性能计算研究所的翟季冬教授团队联合清华系科创企业清程极智共同宣布开发出开源大模型推理引擎——“赤兔Chitu”，这一重大突破为人工智能领域带来革命性进展，并为国产AI芯片的广泛应用和生态建设注入了新的活力。“赤兔Chitu”的成功开发显著降低了硬件成本，削减幅度高达50%，更重要的是，它实现了在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型的能力，解决了长期以来FP8精度模型对特定硬件的依赖，尤其是针对英伟达Hopper架构（如H100/H200）。
在A800集群的测试中,“赤兔”引擎展现出了惊人的性能，在减少GPU使用量50%的情况下，推理速度竟然提升了3.15倍，这不仅大幅减少了企业的硬件成本，也极大地提升了性能输出，为各行各业带来了实实在在的利益。“赤兔”引擎的智能优化技术能够迅速适应不同的芯片架构，使得国产厂商能够专注于硬件的升级，无需过多投入于软件开发，清程极智已与沐曦、燧原等多家厂商合作，推出了“开箱即用”的推理一体机，广泛应用于金融、医疗、教育等众多行业。
清程极智的CEO汤雄超表示,目前国内在推理引擎这一核心环节仍然缺乏生产级的开源产品。“赤兔”引擎的开源是国内AI生态建设的重要一步，它将为各行业提供更高效、更灵活的技术支持，该引擎的推出已经引起了业内的广泛关注。
这一创新成果不仅展示了清华团队在AI领域的强大技术实力,更预示着国产AI技术的进一步发展，我们期待“赤兔Chitu”能在未来推动国产AI技术的创新与应用，为各行各业带来更大的价值。“赤兔Chitu”的出现也将加速AI技术的普及与推广，使得更多的企业和开发者能够利用这一强大的工具推动自身的业务发展和创新。
注：图片已居中展示，以更好地配合文章内容。
