小众博客AI最离谱的一幕发生了：Llama曾是开源世界的精神图腾，这次被自家项目背刺了，影响是致命的。原因是：Meta 居然偷偷蒸馏了阿里的千问大模型。这事已经被彭博社、新浪财经都报道了。
事情是这样的，在X(推特)上cyberworrior用户爆料：Meta内部拿到了 236B Qwen 数据，直接用来训练牛油果。
这事儿后来被媒体曝光，目前彭博社、新浪财经都报道了，说明基本实锤，但你觉得 Meta 会承认吗?打死都不会! 一旦公开承认蒸馏中国 AI，Llama的脸就彻底丢光了!
别忘了，四年前，小扎的 Llama 模型可是全球开源界的精神图腾，下载量全球第一，风光无限!而阿里千问，那时候还在努力追赶。谁能想到，短短四年，曾经的追赶者成了老师，不仅全球下载量超过 Llama，而且 23 天就把千问 APP 的月活打到 3000 万——全球增长最快的 AI 应用!
Avocado(牛油果)这个项目，是扎克伯格亲自盯的，他压根不放心别人，直接上手抓。项目放在 Meta 的 TBD Lab 里面，由一个28岁的华裔天才——Alexandr Wang带队，他也是 Scale AI 的创始人。不过看新闻说，这个团队的高管之间好像并不太和气，争议挺大，经常吵架。
从研发路线看，“牛油果(Avocado)”是一个混合模型，对标就是GPT-5和谷歌 Gemini这些大模型。
当然，“牛油果”不是“专抄”阿里，它还蒸馏了谷歌的Gemma和OpenAI的GPT-oss，可以说全世界比较牛的大模型，它都蒸馏过了。
蒸馏阿里千问目的：Meta想把千问强大的多语言能力，尤其是中文、越南语、印尼语、其他亚洲小语种全给弄过来，包括他的顶级的性能。
蒸馏谷歌Gemma目的：Meta想要的是Gemma安全、编码的独家优势。
蒸馏GPT-oss目的：Meta想想要的是GPT最顶尖闭源模型的部分特性和能力。
搞不好以后的大模型都是你蒸馏我，我蒸馏你了!而且现在开发一个顶级AI大模型成本太高了，数据量庞大、算力消耗巨大，时间长。蒸馏可以 直接学习已有模型的能力。所以“牛油果(Avocado)”才会蒸馏了多个模型。因为时间紧、任务重，小扎自己造不完，然后他就赌了一把：走蒸馏路线。对Meta来说这是一个捷径。
为什么 Meta 最看重千问?
Meta资源不够?显然不是。就一句话：千问已经成了全球开源模型的天花板。
(1)千问大模型它的开源协议相对友好，让Meta在法律和技术上有“偷师”的空间。
(2)千问各种排行榜上屡次获得第一，说明它有很强的智商和推理能力。
(3)Llama重英文语言，而中文、日本、韩文、越南语都不行，不如千问有优势。这就是为什么新加坡会选择千问大模型当底座的原因。
这对阿里和Meta意味着什么?
对阿里千问来说：
好处：Meta相当于帮阿里做全球免费推广。硅谷这么挑剔的地方，Meta一用，就等于给千问盖了全球最贵的认证章，其他欧美公司更敢用了。
坏处：技术被别人快速吸干，Meta学的更快了，阿里苦练三年，Meta3个月就学完了。
对Meta来说：
好处：能快速补齐短板，节约了大量时间和金钱就能训练处一个超级大模型。
坏处：千万别被人发现，一发现名声就臭了。
VIA / https://lusongsong.com/blog/post/19138.html
- End -