来源 :星环科技2024-01-11
日前，Gartner?发布了《中国人工智能软件市场指南》（Market Guide for AI Software, China）。在中国超3,000名人工智能软件供应商中，Gartner基于其研究团队及客户反馈，将星环科技列为代表供应商。此前，星环科技也曾凭借Sophon入围Gartner发布的《中国分析平台市场指南》（Market Guide for Analytics Platforms, China）。
“2023年，生成式人工智能正在点燃中国人工智能软件市场。” Gartner指出，“据调研数据显示，约有59%的企业计划将增加对生成式人工智能的投入。”为降低客户训练及微调大模型的门槛，星环科技发布了大模型开发和训练工具Sophon LLMOps，为用户打通了从数据接入和开发、提示工程、大模型微调、大模型上架部署到大模型应用编排和业务效果对齐的全链路流程，从而实现针对大模型的“数据和分析的持续提升”。
便利且规范化的提示工程和数据管理，保障训练数据质量：支持提示模版管理、提示验证评估、提示数据标注以及数据质量控制。可通过人工标注、半自动标注、自动标注等方式来完成数据标注任务。支持监控、更新和维护数据集，以保证数据质量和时效性。可通过数据质量检查、数据版本控制、自动化维护等方式来实现训练和推理数据管理。
高度工程化及封装的流程，让大模型训练和微调变得简单易上手：依托于内置的大模型训练模板，为业务用户提供更方便快捷的大模型训练和微调流程。业务用户只需少量必要的操作，如选择基础模型、配置训练数据集路径、设定学习率等，即可快速启动训练和微调任务。此外，还提供智能化配置工具，避免资源错配、计算产生NaN值等典型微调失败引起的损失。
多版本多种大模型，都可以在一个平台上统一纳管：在大模型上架、体验和部署方面，Sophon LLMOps加强了对预训练大模型和微调后大模型的兼容性和性能表现的优化，以确保用户能够获得无缝、高效的使用体验；支持不同模型之间和模型版本之间的分叉树的维护和展示，从而提高模型的可维护性和可操作性，也可以有效防止版本混乱和误操作的发生。
上线后连续监控，保障可持续的业务效果提升：Sophon LLMOps支持用户通过配置工作流来实现模型自动收敛、动态学习率等功能，提高训练效率和模型的稳定性；支持用户对训练过程的效率和性能监控、训练结果的效果对比评估，通过评估对齐和校准持续训练模型的召回和精度。
敏捷的应用链编排，让大模型真正生产可用：Sophon LLMOps提供了应用和服务编排工具，使用户可以以低代码的方式结合知识库、智能分析和工具、代码执行器等技术和工具，通过向量数据库进行多模态意义下的“语义”检索、召回和串联来协同完成任务，提高从“需求到原型再到生产可用”的开发敏捷性和效率。
报告指出，“中国AI软件市场将继续成为增长最快的市场之一，Gartner预计未来五年将从57.37亿美元增长到154.72亿美元，复合年增长率CAGR为21.9%。”我们也相信，通过Sophon模型全生命周期的强大运营管理能力，服务客户从数据接入获取、模型构建训练、模型运维管理、模型发布迭代，均获得高效便利的使用体验，利用AI技术深度挖掘数据要素的潜在价值。