马斯克最新发布——开源Grok-1，xAI开源超大300B模型！开源百团大战要开启了吗

昨天，XAI 也就是Musk收购后的twitter发布了最新的开源大模型Grok1，just like he said before，如果他做AI公司不会像“close”AI一样，要把它开源出来。那前段时间他们一直闹的也挺不愉快各种互撕，不知道Musk能不能成功拖住Open前进的步伐，商战也好八卦也罢在AI圈这个梁子算是结下了，顺势先发布了一个新产品，先来看看这是什么。

根据官网公开的参数，他是一个314BPM的Moe模型，算是有不错的GPU基础才能玩的转，其次他是一个Moe，多个专家模型相当于在每个模型前都有个router然后通过rounter对需要调用的大模型进行一个分配 所以他是一个大的专家模型。同时也发布了他的模型参数以及inforcing的代码，这是网站github.com/xai-org/grok 感兴趣的可以进来测评一下～

这个read me读完基本就知道怎么去运行这样一个LLM 再点进去看下代码基本还是推理，我在repo里没有看到什么training的部分，不过这个开源推理代码架构是清晰的，展示了怎么去跑inforencing 可以了解到整个结构。

再看看model detail 是从头到尾都是自己的数据进行的训练，不是去fine-tuning别人的模型; 25% waste actived也就是300多B的parameters里active的waste有80多；架构上来说，使用的是JAX and Rust。简介就是这么多，已经有一些推特博主做了解读 比如这个👇

这个Jax 和pytorch相比 社区可以没那么广泛更小众一点，是Google当时最早培育的，能力还是很高端的，只是两者框架有点不同。相比Apple推出的MM1的的大模型来说（感谢苹果的付出），目前还看不出来优势emmm

目前还没办法定量的角度去分析这个Grok1到底什么水平，蹲一个技术报告～虽然融资teaser已经随着发布一起先来了 啊不愧是你👍

总的来说再观望一下吧，比较如果真的能data开源那真的是大圣人了。。顺便再期待一下otw的Llama3 同时苹果也有推开源的心思 其实越有核心技术有商业壁垒的就更不愿意也不舍得去开放，毕竟从开源出发也是为了更多打通闭源。

—END—

  你或许还想看

AI Revolution｜NVIDIA震惊全行业的大招---下一个AI前沿“Foundation Agent”究竟是什么？

AI Revolution｜人工智能计算的高成本背后

洞见｜盖茨笔记·Bill Gates与Open AI创始人Sam Altman深度专访

喜欢本文点个在看

或关注下方公众号

一起探索无限可能的未来