Zephyr 141B-A35B
huggingfaceh4/zephyr-orpo-141b-a35b
Poids du modèleZephyr 141B-A35B is A Mixture of Experts (MoE) model with 141B total parameters and 35B active parameters. Fine-tuned on a mix of publicly available, synthetic datasets.
It is an instruct finetune of Mixtral 8x22B.
#moe
Modalités
Contexte
66K
Publié
12 avr. 2024
Date limite des connaissances
janv. 2024
Actuellement indisponible via le routage dans la région UE. Documentation sur le routage intrarégional