LLMのDNAでモデル進化を追跡

LLMに生物のDNAのような「遺伝情報」を定義しようという試みが行われています。

研究者たちは、生物学でDNA配列を比較して種の関係を調べるように、LLMにも同様のことができないかと考えました。
機能的に似ているモデルは似たDNAを持ち、あるモデルを微調整して別のモデルを作ると、
元のモデルと似たDNAになるという定義です。

実際に305個のモデルでテストしたところ、公式には関係が記録されていないモデル同士でも、DNAが似ている場合があり、実は派生関係にあることが見つかったケースがありました。
また、DNAの系統樹から、LLMの進化の変遷も辿ることができました。

現在、何百万ものLLMが存在しますが、どのモデルがどのモデルから派生したのか、モデル間の関係性はほとんど記録されていません。

こうしたLLMの「家系図」を作ることで、リスクの追跡やライセンス違反の検出なども容易になる可能性があります。