来源 :上证e互动2024-03-26
瑞芯微(603893)贵公司提到RK3588等产品也能够支持端侧模型的部署，能够详细说明下吗？比如目前有哪些端侧模型的具体应用，可以支持的模型最大参数是多少？
尊敬的投资者，您好！RK3588、RK3576采用高性能CPU和GPU内核，并带有6TNPU处理单元，可以高效支持各类视频、视觉、音频等AI算法的部署，也能够高效支持主流模型架构，针对端侧主流的2B参数数量级别的模型能达到每秒10token以上，满足小模型在边、端侧部署的需求，赋能各种AIoT场景下端侧和边缘计算侧的产品应用。比如近期公司举办的2024年第八届开发者大会展出了基于本地的端侧模型实现的图文搜索及特定目标智能搜索、基于图片对话式提取信息以及离线语音识别、翻译、总结、问答等功能，有效解决了不同AIoT场景的痛点，改善产品使用体验。感谢您对公司的关注！