蚂蚁集团大安全AI算法资深专家郑霖：可信AI仍是非常难的科学命题

　　8月16日，以“大模型见真章”为主题，北京商报深蓝智库举行AI专题分享会，复盘大模型过去200多天的经历，并从中探寻大模型商业化落地的可行之径。会上，蚂蚁集团大安全AI算法资深专家郑霖提到，大模型只有更安全，在产业应用方面才能更深入更广泛。

　　

　　郑霖表示，AI的通用能力和可信要素是大模型发展的双翼。当下大模型发展迅猛，但其在应用方面还会遇到很多风险和挑战，包括AI幻觉、结果不可控、安全以及歧视、偏见的问题。在新AI时代，蚂蚁集团也从四个维度对可信AI做了重新定义，分别为大模型的可靠性、可控性、信息安全合规以及科技伦理安全。

　　“总结下来，我们认为可信AI仍是一个非常难的科学命题，它希望达到的是超大规模数据生成学习范式下的安全、可控、可靠。”郑霖称。

　　据悉，为解决这些问题，蚂蚁集团从2015年就开始了较为系统的可信AI建设，2021年世界人工智能大会期间发布可信AI技术架构，2022年发布“蚁鉴1.0”AI安全检测平台，今年世界人工智能大会上发布“蚁鉴2.0”，新增助力AIGC应用安全的评测能力，同时也成为世界人工智能大会九大“镇馆之宝”之一。

　　蚁鉴2.0可实现用生成式AI能力检测生成式AI模型，可识别数据安全、内容安全、科技伦理三大类的数百种风险，覆盖表格、文本、图像等多种数据和任务类型，是业内首个实现产业级应用的全数据类型AI安全检测平台。

　　目前蚁鉴2.0已全面开放，面向全球开发者免费提供AIGC安全性、AI可解释性、AI鲁棒性（稳健性）三项检测工具，可服务于数字金融、教育、文化、医疗、电商等领域的大规模复杂业务场景。

　　蚂蚁在AI可信方面作出了诸多探索。以内容可靠为例，蚂蚁集团自研了三项技术，确保用户在信息输入、大模型服务以及生成输出过程中不会出现内容安全、数据隐私、科技伦理及合规风险的问题。

　　具体而言，包括三个部分，首先是围栏防御，在用户输入阶段对其输入的风险意图做原子化拆解，理解是否存在攻击意图。其次是极速防御，没有任何模型可以确保风险在第一道关卡就能被拦住，如果此后发现一些相关风险，就会通过极速防御技术快速迭代模型。最后是情景防御，大模型的防御必须要在一定情景下理解用户交互的内容，多源数据融合才能做到更好的风险防御效果。

　　除安全问题外，郑霖认为，大模型还需要重视生态的打造，从底层架构，到中间算法，再到上层应用，整体需要各行各业的从业者参与进来，将生态搭建起来。包括芯片短缺和算力等问题，都需要这样一个生态去解决。

　　在商业化问题上，郑霖提到，数据是一大“障碍”。他认为，大模型需要用对应企业的数据训练模型，但后者可能会认为这些数据是其核心资产，大模型都有强化学习机制，会产生数据合规方面的担忧。

　　但一些新的场景、新的交互方式可能会延伸出新的发展。郑霖举例提到，之前数字人很火，大模型被认为是给元宇宙的数字人提供了灵魂，“垂类大模型可能会有一些更好的产出机会”。