网宿科技陈云辉：边缘计算技术可以降低大模型的算力成本

　　在近日召开的全球边缘计算大会上，网宿科技边缘智能平台资深架构师陈云辉分享了对大模型时代的思考。他说，未来，大模型将成为一种基础设施，每个行业甚至每个企业都会有属于自己的大模型。而如何更好地将大模型落地到具体应用场景、提升生产力，是产业共同探索的方向。

　　边缘计算技术如何在大模型时代发挥价值？陈云辉认为，边缘计算可以从微调训练和边缘推理两个角度切入。

　　当前，从零开始训练模型面临周期长，GPU需求大、成本高等问题，大模型的使用范式主要为“预训练+微调训练+提示词工程”，即基于预训练好的大模型进行领域知识微调训练或使用提示词工程，再应用到具体的场景，从而降低算力成本。

　　“大模型的参数量巨大，进行所有参数的微调成本非常高，LoRA成为有效的解决方法之一。边缘计算技术可以支持LoRA、QLoRa等轻量微调训练方法，大大降低大模型个性化、领域化的适配成本，促进AIGC在垂直应用场景的落地。”陈云辉分析道。

　　陈云辉还说，大模型推理运算可以从中心下沉到边缘，实现更低的带宽成本、更快的响应速度。网宿在边缘侧有得天独厚的优势，可以很好地赋能边缘推理场景。

　　目前，网宿科技基于网宿边缘智能平台，构建了边缘GPU算力平台、开源大模型训练部署平台，并输出垂直领域的解决方案，以适应市场需求和技术发展，让大模型赋能百业。

　　在当天的大会上，网宿科技展示了其边缘智能平台。该平台可一站式纳管各类架构的边缘设备，满足客户对边缘计算资源的远程管控、数据处理、分析决策、AI应用等诉求。目前该平台已经服务于智能养殖、智能换电、智能勘测、智能安防等场景。

　　陈云辉表示，“未来我们希望打造全栈解决方案，降低AIGC的使用门槛。随着大模型和AIGC广泛应用，网宿边缘智能平台将迎来更多用武之地。”