v0.8.1
jerryli1981
released this
26 Apr 08:00
·
1 commit
to 4e7a765971c32a40874f27fa1eb860e3bbc30cff
since this release
--添加LLama3,Mistral,Qwen1.5热门大模型在四种工具链模式上的11款Quick Starts。
--接入llama3模型同时支持Megatron-LM和Megatron Core。
--接入Qwen1.5 32B同时支持Megatron-LM和Megatron Core。
--接入MegaBlocks MoE训练流程。
--通过重新梳理整个训练流程,排查各个环节潜在出错并和HF进行精准对齐后继续预训练/微调效果优化取得进展。
--修复已知的Bugs。