LIGHTWEIGHT INTELLIGENCE
小さなモデルで、
豊かな知性を。
モデルの巨大化だけに頼らず、限られた計算資源でも柔軟に動作する言語モデルの可能性を探ります。
PROJECT REI AN INQUIRY INTO INTELLIGENCE
知ることは、
生きること。
Less knowledge.
More understanding.
人間の記憶と認知に着想を得て、
軽量で、人間らしい知性のかたちを探る。
01 PHILOSOPHY問いのはじまり
記憶すること。忘れること。
そのあいだに、理解がある。
知性は、
どこに宿るのか。
人工知能は、より大きく、より多くの知識を蓄える方向へと進化してきました。
しかし、人間の知性は、すべてを覚えていることによって成り立っているわけではありません。
私たちは忘れ、思い出し、知らないことを調べ、経験を通して理解を深めていきます。
Project Reiは、こうした人間の記憶と認知のあり方から着想を得て、知性の新しい可能性を探究します。
大きさだけでは測れない、
知性のかたちを。
知性は、蓄えるものではなく、巡るもの。INTELLIGENCE, IN CIRCULATION.
02 RESEARCH DIRECTIONS四つの探究
小さく、深く、
しなやかに。
より多くを覚えることだけが、理解ではない。
限られた資源から、豊かな知性を生み出すために。
以下は将来的な研究方針です。すべてが実装済みという意味ではありません。
小さなモデルで、
SELECTIVE MEMORY
覚え、整理し、忘れる。
すべての情報を保持するのではなく、重要な情報を選択し、必要に応じて更新する記憶の仕組みを考えます。
RETRIEVAL & EXPLORATION
知らないことは、調べる。
必要な知識をすべて内部に蓄えるのではなく、外部情報を取得し、活用する仕組みを探究します。
HUMAN-INSPIRED LEARNING
経験から、変わっていく。
人間の学習や認知に着想を得て、経験に応じて内部表現や振る舞いを変化させる仕組みを研究します。
03 ARCHITECTURE知識とのつながり
知識を抱えるのではなく、
知識とつながる。
小さな言語モデルを中心に、記憶と検索へ。
理解のための、ひらかれた構造を考えます。
01 / INPUT問い言葉を受け取る
02 / SMALL LANGUAGE MODEL理解し、考える。小さな言語モデル
03 / RESPONSE応答言葉を返す
必要な知識を参照し、経験に応じて記憶を整理する。
この図は研究の方向性を示す概念図であり、現在の実装済み構成ではありません。
04 DEVELOPMENT現在地
IN DEVELOPMENT
研究は、
まだ始まったばかり。
Project Reiは現在、基礎的な言語モデルの実装と学習実験を進めています。
JAXを使用してTransformerの構造を段階的に構築し、学習の仕組みを理解しながら、将来的な研究の基盤を整えています。
RESEARCH NOTES 零 — REI
- Framework
- JAX
- Architecture
- Transformer-based
- Focus
- Language Modeling
- Status
- In Development
これからの探究
- 計算資源を意識したモデルの軽量化
- 記憶の選択・整理・更新
- 外部検索との統合
05 ABOUTこのプロジェクトについて
ひとつの問いから、始まる。
Project Reiは、個人開発ブランドYUKUMOKUによるAI研究プロジェクトです。
既存の技術を学び、実装し、試しながら、人間の記憶や認知に着想を得た新しい知性のあり方を探究しています。
完成された答えを提示するのではなく、問いを重ねながら、少しずつ可能性を広げていくことを大切にしています。