Xwin-LMがHugging Faceで公開、GPT-4をベンチマークで上回る
米OpenAIの生成AI「GPT-4」に次いで、新しい言語モデル「Xwin-LM」がAIモデル共有サイト「Hugging Face」に公開されました。このモデルは、言語モデルのベンチマークサイト「AlpacaEval」でGPT-4を追い抜いて1位を獲得しています。
開発者背景: 中国科学院と清華大学の研究者らが関与？
Xwin-LMの開発者は明記されていませんが、GitHubの履歴によれば、中国科学院や清華大学の博士課程の研究者らが関与しているようです。
技術的概要: Llama2をベースに強化学習などで調整
Xwin-LMは、米Metaが公開したAI「Llama2」を基本とし、教師ありファインチューニング、報酬モデル、リジェクトサンプリング、強化学習を用いて調整されました。このモデルは、70億、130億、700億の3つのパラメータバージョンがあります。
ベンチマーク結果: 勝率でGPT-4を上回るものの注意が必要
特に、最大の「Xwin-LM-70B-V0.1」は、AlpacaEvalの評価基準「Text-Davinci-003」で勝率95.57％を記録しました。これはGPT-4の95.28％を上回っています。ただし、これが現実の性能を代表するわけではありません。
実行環境と利用ライセンス: 個人での実行は困難、ライセンスは不明
Xwin-LM-70B-V0.1のファイルサイズは275GBであり、米Nvidiaのデータセンター向けGPU「A100」が4基必要とされています。実際の性能を確かめるには、他の研究者の報告を待つ必要がありそうです。利用ライセンスについては、Llama2の商用利用が可能なライセンスを継承していると考えられますが、詳細は不明です。
