AIニュース・トレンド BLT:トークナイザー不要の新世代Transformerとは
Metaの研究チームが、トークナイザーを使わずにバイト単位で直接テキストを処理する新しいTransformerアーキテクチャ「BLT(Byte Latent Transformer)」を発表しました。推論時のメモリ帯域幅を50%以上削減できるとされており、大規模言語モデルの効率化に向けた新たなアプローチとして注目されています。現時点では研究提案段階ですが、AI技術の方向性を知る上で押さえておきたいトピックです。