海康威视申请多模态大模型的训练方法等专利, 能够利用筛选后的训练数据进行多模态大模型训练

金融界2024年12月21日消息，国家知识产权局信息显示，杭州海康威视数字技术股份有限公司申请一项名为“多模态大模型的训练方法、装置、存储介质和电子设备”的专利，公开号CN119150997A，申请日期为2024年11月。

专利摘要显示，本申请公开了多模态大模型的训练方法、装置、存储介质和电子设备，训练方法包括：利用预先训练的用于进行标签标注的标签专家LMM，对原始多模态训练数据预测标签；基于答案评级标签对原始多模态训练数据进行过滤，得到过滤数据集；基于过滤数据集中的所有数据样本的图像标签和指令标签，从过滤数据集中选择数据样本作为采样数据，使基于所有采样数据的图像标签和指令标签确定的标签熵最大化；将采样数据作为训练样本进行多模态大模型的训练。应用本申请，能够利用筛选后的训练数据进行多模态大模型训练，并有效保证多模态大模型的性能。

本文源自：金融界