スーパーコンピュータ「富岳」を用いて学習した大規模言語モデル「Fugaku-LLM」が2024年5月10日に公開された。日本語能力に優れ、国産かつ独自のモデルとして日本語ベンチマークの最高性能を実現。ライセンスに従う条件下では、研究や商業目的で利用することもできる。
近年、米国を中心に大規模言語モデル（LLM）の開発が活発に行われ、研究開発、経済社会、安全保障などあらゆる場面において大きな変革が起きている。日本においては、2023年5月より東京工業大学、東北大学、富士通、理化学研究所がスーパーコンピュータ「富岳」を用いた大規模言語モデルの共同研究開発を開始。同年8月には、名古屋大学、サイバーエージェント、Kotoba Technologiesが加わり、研究を進めてきた。
今回、研究成果として、大規模言語モデル「Fugaku-LLM」を公開。日本の計算機技術を用いて開発した日本語能力に優れた大規模言語モデルで、「富岳」の性能を最大限に活用した分散並列学習を実現した。
研究では、「富岳」を用いることで、大規模言語モデルを学習する際の演算速度を既存技術の6倍、通信速度を3倍に高速化することに成功。これにより「富岳」のCPUを用いて、現実的な時間内で大規模言語モデルを学習することが可能になったという。
通常、大規模言語モデルの学習にはGPUが用いられるが、現在、大規模言語モデルの学習のために世界中でGPU不足が起きており、最新のGPUを大量に入手することは困難となっている。そのような中、GPUではなく富士通製の国産CPUを中央演算処理装置とした「富岳」を用いて大規模言語モデルを学習できたことにより、日本の半導体技術の活用や経済安全保障の観点からも重要な成果が得られたことになる。さらに、今回得られた知見を「富岳」の次世代計算基盤の設計に生かしていくことで、AI分野における日本の優位性確立にも期待が寄せられる。
「Fugaku-LLM」は国内で多く開発されている70億パラメータより高性能となる130億パタメータで設計。透明性と安全性を担保し、高性能かつバランスの取れたモデルとなっている。国産かつ独自のデータで学習を行っているオープンなモデルの中では、日本語ベンチマーク（Japanese MT-Bench）で最高性能を達成。特に人文社会系のタスクでは高いベンチマーク性能を発揮。敬語など日本語の特徴を踏まえた自然な対話を行えることも大きな特徴の1つとなる。
「Fugaku-LLM」は、研究者やエンジニアが大規模言語モデルの開発に活用できるよう、GitHubやHugging Faceを通じて公開しており、ライセンスで定めた条件下において誰でも研究および商業目的での利用が可能。さらに、富士通は、富士通の先端技術を無償で試せる「Fujitsu Research Portal」を通じて、5月10日よりFugaku-LLMの提供を開始している。
今後、多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、さらに効率的な学習方法が創出され、科学シミュレーションと生成AIの連携や、数千のAIによるバーチャルコミュニティの社会シミュレーションなど、次世代の革新的な研究やビジネスでの応用につながることが期待される。
なお、スーパーコンピュータ「富岳」は、世界のスーパーコンピュータに関するランキング「HPCG（High Performance Conjugate Gradient）」および「Graph500」において、9期連続世界第1位獲得。世界に誇る日本のAI研究のための計算資源として、日本のスーパーコンピュータのフラッグシップシステムとして、存在感を示している。
