プレスリリース

〜 LLMの社会実装を加速させる、精度の高い小型モデルを開発 〜


[画像1: https://prcdn.freetls.fastly.net/release_image/10628/165/10628-165-e8b17b99f4f7d25e593924c70f3fbdb4-975x510.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]


　人とAIの協調により「ゆたかな世界を、実装する」株式会社ABEJA（本社：東京都港区、代表取締役CEO：岡田 陽介、以下「ABEJA」）は、経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構（以下、「NEDO」）が協力して実施する、日本の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」※1の元、NEDOが公募した「ポスト5G情報通信システム基盤強化研究開発事業※2／ポスト5G情報通信システムの開発／競争力ある生成AI基盤モデルの開発（助成）」に採択されたことをお知らせします。
　ABEJAは、「特化型モデル開発のためのモデルの小型化」を提案し、主に本事業に必要となる計算リソースについて助成金の交付を受ける予定です。第一期（2024年2月〜2024年8月実施）で得られた知見も活用し、大規模言語モデル（以下「LLM」）の社会実装の推進に貢献してまいります。

背景
　ABEJAは、2012年よりデジタル版EMS 「ABEJA Platform」の研究開発を進め、2018年の正式リリース以降、300社以上のミッションクリティカル領域に基盤システムとして提供しております。
生成AIの一つであるLLMの研究開発には2018年より取り組んでおり、2023年3月以降は、顧客企業のLLMの実装を実現する「ABEJA LLM Series」を「ABEJA Platform」に搭載し、戦略策定から構築、運用まで、一気通貫した顧客支援を行っております。

　ABEJAは、LLMの社会実装における最大の課題は、精度とコストのトレードオフにあると考えております。LLMの精度向上を目的とした学習には都度大規模な計算リソースが必要となり、多額のコストが発生します。多くの企業においては、コストを度外視したまま長期にわたって精度向上を追求することは現実的ではないため、精度限界の境界を意識した研究開発に至ることが予想されます 。

　ABEJAは、そうした課題解決に向けてLLMの研究開発を進める中で、2024年2月にNEDOが公募した第一期となる「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に採択されました。（以下2024年2月採択案件を「第一期」、2024年10月採択案件を「第二期」と表記）
　第一期では、高い精度と高い計算コストパフォーマンスの両立を目的に、LLMの構築とともにRAG※3やAgent※4といったLLMが新しいデータを効率よく取り入れられる周辺技術の研究開発を行いました。結果、構築したLLMは、OpenAIの「GPT-3.5」の精度を上回るものとなっております。※5
　
　ABEJAは、第一期で得られた知見を最大限に活用し、第二期においてもLLMの社会実装を阻む「精度とコストのトレードオフ」の課題解決を目的に、研究開発を進めてまいります。

概要
　LLMは、サイズが大きいほど大規模な計算リソースが必要となり、コストが上がります。LLMをビジネスに実装させるためには、サイズの大きい汎用的なモデルであっても顧客企業の用途に合わせたデータを用いて追加学習するなどのカスタマイズが必要となり、特定領域やタスクに応じた特化型の小型モデルを構築する方がコストや利便性の面で優れているケースが大半です。

　ABEJAは、第一期における取組みのプロセスや得られた成果より、LLMの周辺領域の研究開発においてはまだ技術進歩の余地があり、LLMおよび周辺領域の技術開発に統合的に取り組むことで、経済合理性や実用性を高められると確信しております。
　第二期においてもLLMの周辺領域の技術開発を進め、高い精度を有した50B以下および10Ｂ以下の2つの小型化モデルを構築します。50B以下のモデルにおいては、特定タスクにおいてOpenAI社の「GPT-4」を上回る性能、また10Ｂ以下のモデルにおいては、実運用可能な性能と運用コストの両立の実現に向けて取り組んでまいります。
　なお、事業終了後は、「ABEJA Platform」に搭載している「ABEJA LLM Series」と合わせ、広く提供を行う予定です。

　ABEJAは、第一期に引き続き、生成AIを利活用する企業や組織の増加、社会におけるAI技術革新の大幅な加速、そして次世代の研究者や技術者の育成を目的に、研究開発で得られたLLMおよびソースコードや開発ノウハウなどを社会に提供することでLLMの社会実装を推進し、ABEJAの企業理念である「ゆたかな世界を、実装する」の実現に努めてまいります。

事業概要
公募事業名：ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発／競争力ある生成AI基盤モデルの開発（助成）

当社応募事業名：特化型モデル開発のためのモデルの小型化

実施期間：2024年10月〜2025年4月

目的：
・　LLMの社会実装に向けた、高性能かつパラメータを抑えた小型モデルの研究開発
・　研究開発で得られた成果物（LLM、ソースコード、開発ノウハウなど）を公開し、生成AIの利活用、社会におけるAI技術革新の加速、次世代の研究者や技術者の育成を推

概要：以下要件を満たし実運用を見据えたLLMの開発を行う
・　特定タスクにおいて高性能で実用可能
・　モデルのパラメータサイズの規模を抑えた、50B以下及び10B以下の2つのモデル
・　開発プロセス及び一部学習用ソースコード・モデルの成果物も公開・提供し、コミュニティの活性化・発展にも貢献する。


NEDO公表URL：
https://www.nedo.go.jp/news/press/AA5_101790.html
[画像2: https://prcdn.freetls.fastly.net/release_image/10628/165/10628-165-a272bcf95a877c0ecc33b51e9ae8c643-650x270.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]


■ 実施スケジュール
[画像3: https://prcdn.freetls.fastly.net/release_image/10628/165/10628-165-b38c80e33a7fd5ed86ec7f5e91b6804e-650x275.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]


※1　GENIAC（Generative AI Accelerator Challenge）：日本の生成AI の開発力強化を目的とした経済産業省およびNEDOが推進するプロジェクト。
※2　ポスト5G情報通信システム：第5世代移動通信システム（5G）より更に超低遅延や多数同時接続といった機能が強化されたポスト5Gに対応した通信システムを指す。
ttps://www.meti.go.jp/policy/mono_info_service/joho/post5g/index.htm
※3　RAG：Retrieval-Augmented Generationの略称。外部のデータベースや情報源を結びつける技術。この技術の活用により、LLMが外部のデータベースや情報源の知見を組み込んだ精度の高い回答を生成できるようになる
※4　Agent：自律的なアクションを計画・実行できるようにする技術。この技術を用いることで、LLMが自律的に意思決定をして、入力された内容を基にAPIやツールの活用などのアクションを計画し実行できるようになる。これにより、自律的に学習データに含まれていない外部データを用いた回答を作成することが可能になる。
※5　第一期における当社発表および成果発表は以下よりご確認ください。
https://www.abejainc.com/news/20240202/1
https://www.youtube.com/watch?v=70nYBgBxCdw


■ 株式会社ABEJAについて
本社：東京都港区三田一丁目1番14号 Bizflex麻布十番2階
設立：2012年9月10日
代表者：代表取締役CEO 岡田 陽介
事業：ミッションクリティカル業務へのAI導入支援のため、基盤システムとなるABEJA Platformの開発・導入・運用を行う「デジタルプラットフォーム事業」
URL：https://abejainc.com

プレスリリース提供：PR TIMES