创意信息申请大语言模型专利，大幅度提升模型的加载速度

　　金融界2024年1月6日消息，据国家知识产权局公告，创意信息技术股份有限公司申请一项名为“一种大语言模型分层加载方法及装置“，公开号CN117349034A，申请日期为2023年12月。

　　专利摘要显示，本发明提供了一种大语言模型分层加载方法及装置，属于模型加载技术领域。方法包括：根据大语言模型的模型层次结构，在内存中创建对应的空模型，并确定空模型中参数层的元数据信息；依据空模型中参数层的元数据信息进行空间占用计算，并根据空间占用计算结果确定空模型中参数层的设备分布状况；基于空模型中参数层的设备分布状况，从磁盘中分层加载空模型的模型参数权重，并将分层加载的模型参数权重拷贝至空模型中各参数层对应的分布设备；释放已拷贝至分布设备的模型参数权重所占用的内存资源，完成大语言模型的分层加载。本发明可以大幅度提升模型的加载速度，减少模型的加载时间，实现了时间资源与空间资源的模型双向优化加载。