來了！Kimi開源Moonlight-16B-A3B的MoE模型！！
言簡意賅，發現月之暗面開源MoE模型，總參數量15.29B，激活參數2.24B，使用Muon優化器，在5.7T Tokens的訓練數據下，拿到了很好的效果。
Github：https://github.com/MoonshotAI/Moonlight
HF：https://huggingface.co/moonshotai/Moonlight-16B-A3B
Paper：https://github.com/MoonshotAI/Moonlight/blob/master/Moonlight.pdf
效果如下：
比較 Muon 和 Adam 的擴展定律實驗，發現Muon 的樣本效率比 Adam 高 2 倍。
Muon 優化器原理如下：
同時，Moonlight-16B-A3B的模型架構與DeepSeek-V3一致。
HF快速使用：
from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "moonshotai/Moonlight-16B-A3B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype="auto",
device_map="auto",
trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
messages = [
{"role": "system", "content": "You are a helpful assistant provided by Moonshot-AI."},
{"role": "user", "content": "Is 123 a prime?"}
]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
generated_ids = model.generate(inputs=input_ids, max_new_tokens=500)
response = tokenizer.batch_decode(generated_ids)[0]
print(response)本文轉載自??NLP工作站??，作者： 劉聰NLP
已于2025-2-25 13:57:45修改
贊
收藏
回復
分享
微博
QQ
微信
舉報
回復
相關推薦
