近日,在江苏鲲鹏?昇腾生态创新中心的全程支持下,江苏 润和软件 股份有限公司(以下简称“ 润和软件 ”)自主研发的AIRUNS训推一体化平 台完 成与搭载昇腾910C芯片的Atlas 800T A3训练服务器的深度兼容性认证。同时, 润和软件 成为全国首批完成基于“910C昇腾加速库”开发与适配认证的企业,充分彰显了公司在昇腾AI加速技术上的先进性与全面性。
润和软件 AIRUNS训推一体化平 台完 成与搭载昇腾910C芯片的Atlas 800T A3训练服务器的深度兼容性认证
测试结果表明,AIRUNS训推一体化平台在模型接入、推理调度、底层加速等多个关键环节全面适配昇腾硬件特性,能够在昇腾910C平台上稳定释放大模型推理性能,实现高吞吐、低时延与强稳定性的统一,进一步夯实了平台在智算场景中的工程化与规模化能力。
润和软件 AIRUNS推理能力和昇腾原生框架mindIE性能对比
AIRUNS训推一体化平台的推理能力,由模型网关、模型服务及模型引擎三大子系统协同提供。其模型服务与模型引擎通过与昇腾910C芯片的深度适配,不仅充分释放了底层算力,更使平台的整体推理效能获得了大幅增强。
润和软件 AIRUNS训推一体化平台推理能力架构示意图
1
模型服务
围绕昇腾异构加速特性及高速互联特性,对昇腾算力体系进行了深度适配,是对“模型即服务”的工程化抽象。
核心技术:
模型实例编排器:支持在昇腾910C上动态启动单卡、多卡、多机、流水线并行实例。
混合解耦调度架构:将Encode、Prefill与Decode分配到不同的昇腾计算实例上执行,减少资源竞争,实现资源灵活分配。
动态PD分离:根据KV占用、Sequence Length、自回归速率动态调整策略。
在线、离线协同:支持在同一910C计算卡上同时存在推理实例与离线微调任务,通过算力卸载和隔离实现兼容运行。
全局KV缓存协同:模型服务层通过智能化缓存调度框架,将分布式KV状态在多节点间高效组织。
价值体现:通过服务化治理与智能调度,显著提升模型部署效率、服务可靠性与集群整体吞吐能力。
2
模型引擎
负责在昇腾芯片算子级、图级、内存级的极致性能优化,是AIRUNS训推一体化平台与昇腾深度适配的核心能力。
核心技术:
图级并行融合:整合昇腾芯片计算路径与通信链路,使通信与算子执行自然重合,减少图执行的等待窗口。
关键算子专项加速:结合昇腾硬件特性,适配PageAttention、AllReduce等关键算子,使动态形态推理保持稳定高效。
计算图流水化调度:基于事件驱动对请求、计算图和算子级执行的多级拆分与异步化编排。
MoE模型优化:通过专家复制和预测策略实现多NPU间专家处理token不均的问题。
价值体现:依托深度图优化与硬件级加速,全面释放昇腾算力潜能,实现推理性能的倍级增强与资源利用最优化。
作为昇腾生态的紧密合作伙伴, 润和软件 依托开源鸿蒙和开源欧拉双重技术基座优势,构建了从操作系统、中间件到AI大模型的全栈能力。通过自主研发昇腾行业AI解决方案、昇腾算子加速库、DeepSeek全场景“云-边-端”智能生态体系等, 润和软件 在金融、电网、能源、工业等重点领域确立了技术领先地位,此前已获得“最佳昇腾原生开发伙伴”殊荣。
此次完成与昇腾910C芯片的深度兼容性认证,展现了AIRUNS训推一体化平台在快速适配新型号芯片方面的卓越能力。未来, 润和软件 将持续携手昇腾以安全可靠的技术架构与持续优化的性能,助力各行业客户实现智能化升级。
江苏 润和软件 股份有限公司(简称“ 润和软件 ”)成立于2006年,2012年在 深圳证券交易所 创业板上市(证券代码:300339),是首批国家规划布局内重点软件企业、全国文明单位。公司总部位于南京,在北京、上海、深圳、香港等22个国内主要城市设有研发中心或分子公司,在日本、新加坡、美国等国设有海外分支机构,全球员工约17000人,拥有全球化的技术整合、客户响应与服务到达能力。
秉承“做民族软件脊梁,担世界进步责任”使命, 润和软件 致力成为“中国数智技术与服务创新的引领者”,通过国产化、数字化、智能化创新技术,软硬件一体化解决方案能力及全生命周期软件服务体系,激活行业新动能、发展新质生产力,助力广大客户数字化转型和智能化升级。