A continuation of OpenHermes 2 model, trained on additional code datasets. Potentially the most interesting finding from training on a good ratio (est. of around 7-14% of the total dataset) of code instruction was that it has boosted several non-code benchmarks, including TruthfulQA, AGIEval, and GPT4All suite. It did however reduce BigBench benchmark score, but the net gain overall is significant.
モダリティ
コンテキスト
4K
公開日
2023年11月20日
知識のカットオフ
2023年9月
現在、EU 域内ルーティングでは利用できません。 リージョン内ルーティングのドキュメント