在近日圆满举办的2024数字中国创新大赛中，，嘉游信息AICP算力平台获得2个奖项！！！

《基于私有化大模型的推理训练一体化 Al算力平台》

· 2024数字中国创新大赛·信创赛道 行业贡献奖

· 2024数字中国创新大赛·城市赛道 二等奖

在垂直领域拥有自己的私有化大模型，
，，，已逐渐成为业界共识，，但研发门槛高、
、、、使用成本高、、安全风险高等痛点正在阻碍大模型落地的效率。。。
。嘉游信息于今年3月份正式发布AICP算力平台，，面向各行各业大模型开发部署场景，，，提供一站式大模型训练和推理能力，，，为用户提供向导化配置
、
、、
、一键训练；一半成本、、、五倍性能；模型加密、、、保护知识产权的业务价值。。。

嘉游信息AICP算力平台解决方案

打造“让更多用户用得上的AI”
，，，是嘉游信息AICP算力平台的产品愿景
。。。本次荣获2个奖项，，，，是对我们在AI基础设施领域中阶段性创新成果的一次肯定，
，，
，也是我们在大模型领域持续创新、、、持续投入的动力。。

借由本次获奖的机会，，向各位展示嘉游信息AICP算力平台的最新能力：

向导化配置，，，一键训练 大幅降低研发门槛及成本

嘉游信息AICP算力平台能够管理异构算力GPU资源池，，并内置了主流的开源基模型、
、丰富的开源数据集，，，包括中英文语料库，，，以及医疗、、
、、金融、、教育、、法律等垂直领域的开源数据等，
，，，可帮助用户简化训练准备过程。。。

用户通过三步向导式操作
，，，
，选择基模型、、
、选择数据配比、、
、选择算力资源池，，即可一键开启训练任务，，，无需自行配置100多项复杂的超参数
。。。

同时，，
，
，通过三大关键指标监控和处置，，，，使模型训练过程一目了然，
，，，可有效保障训练稳定、
、高效训练出垂直大模型。。
。。

• 实时资源监控：实时监控GPU
  、、、CPU、、、
  、内存
  、
  、、存储指标
  ，
  ，及时调整，，，防止训练中断
  。。

• Checkpoint管理：本地SSD中保存最新模型状态，
  ，，，即便训练中断也可快速恢复。。。。

• Loss曲线可视：曲线震荡或者上升及时调整训练数据
  ；曲线下降并趋于稳定
  ，，表示训练效果良好。。

多项创新技术加持 实现“一半成本
，，五倍性能”

针对使用成本高，，，平台内置大量训练和推理优化技术
，
，，创新地提供基于业务感知量化（BAQ）能力
，
，，，在不损失大模型在垂直领域效果的同时，，让推理性价比得到数倍的提升。。
。

1. 通过模型量化
   ，
   ，使模型显存占用减少50%，，，需要的GPU数量减少50%。
   。
   。

2. 创新的业务感知量化技术BAQ，，，保证量化后垂直领域业务效果无损。
   。

3. 联合CPU和GPU进行通信优化，，，
   ，让系统总吞吐提升超过20%。。

4. 结合业务数据的注意力稀疏技术，，降低显存占用，，，让推理并发用户数提升30%。。。

5. 对推理缓存进行了混合精度压缩，，让系统总吞吐提升超过30%。。
   。

模型加密 保护知识产权

针对安全风险高的问题
，，，平台内置业界独有的模型动态加密能力，
，，有效保护用户知识产权
，，防止核心的“模型资产”泄露。。。。

动态加密技术可以实现加密后模型的推理效果不变，，具有不依赖于特定硬件加密、、、性能损耗<5%的技术优势。。

在这些核心技术以外，，，嘉游信息AICP算力平台还积极推进信创生态构建
。。。。

提供对AI技术栈的良好兼容性
，，，，通过软硬件联合调优，，，满足大模型训练、、推理任务对算力和性能的要求，，让用户在信创环境中也能进行大模型项目的开发和应用，，，，同时满足合规和业务建设需求。。。

嘉游信息和国内厂商开展了广泛的软硬件兼容测试，，，如华为昇腾系列NPU、、、天数智芯全自研通用GPU等等，，，从测试结果看，，
，，在相同硬件成本下
，，，，国内厂商推理卡性能表现出色，，，，能够在信创场景实现大模型任务承载。。

嘉游信息多年来坚持AI First的研发战略，，，积极探索先进的AI技术应用，
，如今收获专业奖项的肯定，，更拥有广泛的落地实践经验。
。。我们将带着这些激励与认可，，
，继续拓展技术边界，，，以创新能力为用户带来更多智能化
、、
、、个性化的AI解决方案。。。。