
马斯克最新发布——开源Grok-1,xAI开源超大300B模型!开源百团大战要开启了吗
昨天,XAI 也就是Musk收购后的twitter发布了最新的开源大模型Grok1,just like he said before,如果他做AI公司不会像“close”AI一样,要把它开源出来。那前段时间他们一直闹的也挺不愉快各种互撕,不知道Musk能不能成功拖住Open前进的步伐,商战也好八卦也罢在AI圈这个梁子算是结下了,顺势先发布了一个新产品,先来看看这是什么。 根据官网公开的参数,他是一个314BPM的Moe模型,算是有不错的GPU基础才能玩的转,其次他是一个Moe,多个专家模型相当于在每个模型前都有个router然后通过rounter对需要调用的大模型进行一个分配 所以他是一个大的专家模型。同时也发布了他的模型参数以及inforcing的代码,这是网站github.com/xai-org/grok 感兴趣的可以进来测评一下~ 这个read me读完基本就知道怎么去运行这样一个LLM 再点进去看下代码基本还是推理,我在repo里没有看到什么training的部分,不过这个开源推理代码架构是清晰的,展示了怎么去跑inforencing 可以了解到整个结构。 再看看mode