Favicon de baidu

Baidu: ERNIE 4.5 21B A3B

baidu/ernie-4.5-21b-a3b

Poids du modèle

A sophisticated text-based Mixture-of-Experts (MoE) model featuring 21B total parameters with 3B activated per token, delivering exceptional multimodal understanding and generation through heterogeneous MoE structures and modality-isolated routing. Supporting an extensive 131K token context length, the model achieves efficient inference via multi-expert parallel collaboration and quantization, while advanced post-training techniques including SFT, DPO, and UPO ensure optimized performance across diverse applications with specialized routing and balancing losses for superior task handling.

Modalités
Contexte
131K
Publié
12 août 2025
Date limite des connaissances
mars 2025

Activité

Volume de jetons et trafic des requêtes vers ce modèle au fil du temps.

Actuellement indisponible via le routage dans la région UE. Documentation sur le routage intrarégional

Questions fréquentes

Explorer d’autres modèles