来源 :上证e互动2025-02-13
云天励飞(688343)云天励飞的AI硬件是否支持SGLang、LMDeploy和TensorRT-LLM等主流推理框架？
尊敬的投资者，您好！公司的推理芯片和加速卡目前已经支持适配云天书、通义千问、百川智能、智谱清言、Meta等30+开源大模型，涵盖1.5B参数到70B参数量，预期能使大模型推理成本大幅度下降。谢谢！