言語モデルの世界における大きなブレイクスルーと考えられるBitNet b1.58 2B4Tが登場。
このモデルはほぼ1ビット（正確には1.58ビット）という極めて小さな情報量で、フル精度のモデルとほぼ同じ性能を実現しているとのことです。
今までの言語モデルは、精度を高めるためにたくさんのデータ（ビット）を使って情報を保存していました。
例えて言うと、他のモデルは高級な大型のファイルを使っているのに対して、BitNetはポストイットのような小さなメモで同じ情報を整理できているようなものです。そのため、必要な保管スペース（メモリ）が圧倒的に少なく、情報を取り出す（推論する）のにかかる時間も短く、電力も少なくて済みます。
このように極限まで情報を圧縮しているにもかかわらず、言語理解や数学的推論、コーディング、会話など幅広い能力において、従来の高精度モデルと変わらない性能を示しているようです。
今まで高性能なコンピュータが必要だった言語モデルが、よりシンプルな機器でも動かせるようになる可能性が開かれたことを示唆しています。
