Claude Mythosを理論的に再現したプロジェクト
OpenMythosは、Anthropicが開発したClaude Mythosのアーキテクチャを、公開された理論や論文をもとに独自に再構築したプロジェクトです。AnthropicはこれまでMythosに関する技術論文を発表していないため、OpenMythosは完全にオープンな研究からスタートしています。
このプロジェクトの核心は「Recurrent-Depth Transformer（RDT）」と呼ばれる仕組みです。通常のTransformerは一度の処理で答えを出しますが、RDTは内部で最大16回のループを回しながら、少しずつ答えを洗練させていきます。これは人間が難しい問題を考えるとき、何度も頭の中で考え直すプロセスに似ています。
重要なのは、このループ回数を推論時に調整できる点です。簡単な質問には数回のループで済ませ、複雑な問題にはより多くのループを使う。こうして計算リソースを効率的に使い分けられます。
どんな仕組みで動いているのか
OpenMythosのアーキテクチャは3つの部分で構成されています。最初の「Prelude」で入力を処理し、次に「Recurrent Block」で繰り返し思考を深め、最後の「Coda」で結果を出力します。
Recurrent Blockでは、隠れ状態と呼ばれる内部データを更新し続けます。更新式は「h_(t+1) = A·h_t + B·e + Transformer(h_t, e)」という形で、前の状態を受け継ぎながら新しい情報を組み込んでいきます。この仕組みにより、推論が深まるにつれて答えの精度が上がっていくわけです。
また、従来のTransformerで使われるFFN層の代わりに、Mixture-of-Experts（MoE）という仕組みを採用しています。これはDeepSeekの設計を取り入れたもので、ループのステップごとに異なる専門家モデルを呼び出して処理します。共有専門家と選別専門家を組み合わせることで、パラメータ効率を高めています。
さらに、KVキャッシュと呼ばれるメモリ使用量を10〜20倍削減できる設計になっており、推論コストの削減にも貢献しています。
理論的な裏付けと研究成果
このアーキテクチャには複数の学術論文が理論的裏付けを提供しています。Saunshi氏らの2025年の論文では、RDTの各ループがchain-of-thoughtの1ステップと機能的に等価であることが形式的に証明されました。つまり、ループを増やすことが思考の深さを増すことに直結するわけです。
Parcaeという関連研究では、770百万パラメータのRDTが1.3億パラメータの標準Transformerと同等の性能を実現しました。これは約50%のパラメータ削減を意味します。パラメータ数が少なければ、メモリ消費も抑えられますし、推論速度も向上します。
従来のTransformerには「訓練時の深さを超えられない」という制約がありました。たとえば5段階の推論で訓練したモデルは、10段階の推論が必要な問題で失敗します。しかしRDTは推論時にループ数を増やすだけで、再訓練なしに深い推論に対応できます。
安定性を保つための工夫
ループを何度も回すと、計算が不安定になるリスクがあります。OpenMythosはこれを防ぐために、Linear Time-Invariant（LTI）注入制約という仕組みを取り入れています。これはParcaeアーキテクチャから借用したもので、スペクトル半径を1未満に保つことで、ループが暴走しないよう制御します。
また、Adaptive Computation Time（ACT）という仕組みも実装されています。これは「十分に良い答えが出たらループを早期終了する」という判断を自動で行うものです。無駄な計算を省けるため、推論時間の短縮につながります。
さらに、depth-wise LoRA adaptersという技術を使い、ループステップごとにパラメータを微調整できるようにしています。これにより、推論の各段階で最適な処理が可能になります。
フリーランスにとっての意味
OpenMythosは現時点では研究プロジェクトであり、すぐに実務で使えるツールではありません。しかし、この技術が示す方向性は注目に値します。
まず、推論深度を動的に調整できる仕組みは、将来的にAIサービスの料金体系に影響を与える可能性があります。簡単なタスクには軽量な処理、複雑なタスクには深い処理を使い分けることで、コストを最適化できるからです。現在のChatGPTやClaudeは一律料金ですが、将来的には「推論の深さ」に応じた従量課金が登場するかもしれません。
次に、パラメータ効率の向上は、ローカル環境でのAI実行を現実的にします。770百万パラメータで1.3億パラメータ相当の性能が出せるなら、自分のPCやサーバーで高性能なAIを動かせるようになります。クラウドサービスに依存せずに済むため、データのプライバシーを重視するフリーランスには朗報です。
ただし、これはあくまで理論的な再構築であり、実際のClaude Mythosとは異なる可能性があります。Anthropicは公式な技術論文を発表していないため、OpenMythosは「こうではないか」という仮説を形にしたものです。実用レベルの精度や安定性が保証されているわけではありません。
今後の展開と注意点
OpenMythosはGitHubで公開されており、誰でもコードを見たり試したりできます。研究者や技術者にとっては、新しいアーキテクチャを学ぶ良い教材になるでしょう。
このプロジェクトが提供しているのは、以下の4つの研究成果物です。MoE FFNとMulti-Latent Attentionを備えたRDTの完全設定可能なPyTorch実装。LTI安定再帰注入を訓練プリミティブとして統合したコード。ループごとに動的パラメータ調整を可能にするdepth-wise LoRA adapters。そしてループ変換ダイナミクスと推論時推論深さを研究するための再現可能なベースライン。
ただし、このプロジェクトを実際に動かすには、ある程度のプログラミング知識とマシンスペックが必要です。PyTorchに慣れていない人がすぐに使えるものではありません。また、訓練済みモデルが公開されているわけでもないので、ゼロから訓練する必要があります。
フリーランスのライターやデザイナーが今すぐ導入すべき技術ではありませんが、AI業界の技術トレンドを知る上では興味深い動きです。将来的に、こうしたアーキテクチャがChatGPTやClaudeのような商用サービスに組み込まれれば、私たちが使うAIツールの性能やコストに影響を与えるでしょう。
まとめ
OpenMythosは、推論の深さを実行時に制御できる新しいアーキテクチャの実験的な実装です。研究者や技術者には興味深いプロジェクトですが、一般のフリーランスがすぐに使えるものではありません。しばらくは様子見で問題ないでしょう。ただし、この技術が示す方向性は今後のAIサービスに影響を与える可能性があるため、頭の片隅に置いておくと良いかもしれません。詳しく知りたい方は、GitHubリポジトリ（https://github.com/kyegomez/OpenMythos）を確認してみてください。
コメント