本文作者:访客

华为盘古否认抄袭阿里后 其大模型员工自曝存在套壳、续训、洗水印

访客 2025-07-07 11:13:30 45026
华为盘古否认抄袭阿里后 其大模型员工自曝存在套壳、续训、洗水印 摘要: 2025年6月30日,华为高调宣布开源其盘古大模型核心组件(Pangu Pro MoE),包括70亿参数稠密模型和720...
2025年6月30日,华为高调宣布开源其盘古大模型核心组件(Pangu Pro MoE),包括70亿参数稠密模型和720亿参数的混合专家模型,宣称这是构建昇腾生态的关键举措。

然而仅隔四天,一项发布于GitHub的研究引发业界关注:用户@HonestAGI通过LLM指纹技术分析指出,盘古Pro MoE与阿里通义千问Qwen-2.5 14B模型的注意力参数分布相似性高达0.927(1.0为完全一致),远超业内0.7以下的正常差异范围。

华为盘古否认抄袭阿里后 其大模型员工自曝存在套壳、续训、洗水印 华为诺亚方舟实验室声明截图

华为诺亚方舟实验室7月5日发布最新声明,表示盘古 Pro MoE 开源模型是基于昇腾硬件平台开发、训练的基础大模型,并非基于其他厂商模型增量训练而来。

盘古团队表示,盘古 Pro MoE 开源模型部分基础组件的代码实现参考了业界开源实践,涉及其他开源大模型的部分开源代码。我们严格遵循开源许可证的要求,在开源代码文件中清晰标注开源代码的版权声明。这不仅是开源社区的通行做法,也符合业界倡导的开源协作精神。

然而,就在7月6日凌晨,一位自称是盘古大模型团队的员工自曝,确实存在套壳、续训、洗水印的现象。

华为盘古否认抄袭阿里后 其大模型员工自曝存在套壳、续训、洗水印 爆料文章截图

该员工表示,由于团队初期算力非常有限,虽做出了很多努力和挣扎,但没有预期效果,内部的质疑声和领导的压力也越来越大。后来小模型实验室多次套壳竞品,领导层被指默许造假行为换取短期成果。

自曝文中称:经过内部的分析,他们实际上是使用Qwen 1.5 110B续训而来,通过加层,扩增ffn维度,添加盘古pi论文的一些机制得来,凑够了大概135B的参数。并表示,听同事说他们为了洗掉千问的水印,采取了不少办法,甚至包括故意训了脏数据。他们选择了套壳Deepseekv3续训。他们通过冻住Deepseek加载的参数,进行训练。

最后他表示出于对技术伦理的坚持,决定离职并曝光内幕。

此自曝文章于7月6日发布在云头条公众号。

截至目前,华为并未对此自曝内容发表声明。

来源:新浪科技、亚方舟实验室、云头条

编辑:杨子梦

阅读
分享