自然言語処理技術は、近年急速に発展しており、様々な分野での応用が期待されています。特に、金融分野では、大量のテキストデータを扱う必要があるため、自然言語処理技術の活用は重要になってきています。しかし、金融分野に特化した言語モデルはまだ少なく、高い性能を発揮するものも限られています。

そこでBloomberg社は、「BloombergGPT」という金融分野に特化した言語モデルを開発しました。BloombergGPTは、同社の広範なデータソースを基にトレーニングされた50億パラメーターの言語モデルであり、金融タスクで高い性能を発揮すると考えられています。本記事では、開発背景やトレーニング方法、評価結果などについて、論文を参照して紹介いたします。論文のURLや著者情報は記事下部にて記載しています。

参照論文情報

• タイトル：BloombergGPT: A Large Language Model for Finance
• 著者：Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, Gideon Mann
• URL：10.48550/arXiv.2303.17564

関連研究

高精度な為替（FX）予測に機械学習でチャレンジ！〜ランダムウォークと比較〜

株価を最も正確に予測できるアルゴリズムは？比較してみた結果・・・

「銅」の価格予測を行うAI手法についての研究報告を解説

目次

• BloombergGPTの開発背景
• 評価結果
• 応用可能性

  • 1. 金融ニュースの要約
  • 2. 投資アドバイス
  • 3. 金融用語解説
  • 4. 金融データの可視化
  • 5. 金融レポートの自動生成

• まとめ
• 関連研究

BloombergGPTの開発背景

Bloomberg社は、金融市場のニュースや企業の財務諸表など、広範なデータソースを持っています。このデータソースを活用することで、金融分野に特化した言語モデルの開発が可能になりました。

金融領域における言語モデルの開発には、大規模なデータセットが必要です。しかし、一般的な企業では大規模なデータセットを持っていることは稀であり、Bloombergのような金融データ企業でなければ、このようなデータセットを構築することは困難です。

Bloombergは、自社が持つ金融市場のニュースや企業の財務諸表などを収集し、これらのテキストデータを整理して大規模なデータセットを構築しました。また、一般的な目的のデータセットからもトークンを追加することで、言語モデルをより幅広い分野に対応するよう調整しました。

BloombergGPTのトレーニングには、「Hugging Face」社が提供する「Transformers」ライブラリーが使用されました。また、「Hugging Face」社が提供する「Distributed Training」機能を使用し、複数のGPUを使用して高速かつ効率的にトレーニングすることが可能でした。

評価結果

BloombergGPTは、標準的なLLMベンチマーク、オープンな金融ベンチマーク、および内部ベンチマークで検証されました。これらのベンチマークにおいて、BloombergGPTは高い性能を発揮しました。特に金融タスクにおいては、BloombergGPTは他の言語モデルよりも優れた性能を発揮しました。具体的なタスクを以下に示します。