
华为盘古否认抄袭阿里后 其大模型员工自曝存在套壳、续训、洗水印

然而仅隔四天,一项发布于GitHub的研究引发业界关注:用户@HonestAGI通过LLM指纹技术分析指出,盘古Pro MoE与阿里通义千问Qwen-2.5 14B模型的注意力参数分布相似性高达0.927(1.0为完全一致),远超业内0.7以下的正常差异范围。
华为诺亚方舟实验室7月5日发布最新声明,表示盘古 Pro MoE 开源模型是基于昇腾硬件平台开发、训练的基础大模型,并非基于其他厂商模型增量训练而来。
盘古团队表示,盘古 Pro MoE 开源模型部分基础组件的代码实现参考了业界开源实践,涉及其他开源大模型的部分开源代码。我们严格遵循开源许可证的要求,在开源代码文件中清晰标注开源代码的版权声明。这不仅是开源社区的通行做法,也符合业界倡导的开源协作精神。
然而,就在7月6日凌晨,一位自称是盘古大模型团队的员工自曝,确实存在套壳、续训、洗水印的现象。
该员工表示,由于团队初期算力非常有限,虽做出了很多努力和挣扎,但没有预期效果,内部的质疑声和领导的压力也越来越大。后来小模型实验室多次套壳竞品,领导层被指默许造假行为换取短期成果。
自曝文中称:经过内部的分析,他们实际上是使用Qwen 1.5 110B续训而来,通过加层,扩增ffn维度,添加盘古pi论文的一些机制得来,凑够了大概135B的参数。并表示,听同事说他们为了洗掉千问的水印,采取了不少办法,甚至包括故意训了脏数据。他们选择了套壳Deepseekv3续训。他们通过冻住Deepseek加载的参数,进行训练。
最后他表示出于对技术伦理的坚持,决定离职并曝光内幕。
此自曝文章于7月6日发布在云头条公众号。
截至目前,华为并未对此自曝内容发表声明。
来源:新浪科技、亚方舟实验室、云头条
编辑:杨子梦