実装によって、見えてくること。
研究の中で生まれた問いや仮説は、実際に実装することで、初めて見えてくる側面があります。
IWASAKUでは、技術を理解するための小さな実験から、将来の応用を見据えた開発まで、目的に応じたプロジェクトを進めています。
完成した成果だけでなく、設計の過程や技術的な課題も、研究開発の一部として捉えています。
IWASAKU / PROJECTS
Projects研究開発プロジェクト
思考を、動く仕組みへ。
01RESEARCH THROUGH CREATION
01 / LANGUAGE MODELS
Project Rei
EXPERIMENTAL RESEARCH小さなモデルから、
知能の仕組みを考える。
- Name
- Project Rei
- Field
- Artificial Intelligence / Language Models
- Technologies
- Python, JAX
- Status
- Experimental Research
Project Reiは、言語モデルの構造と学習過程を基礎から理解し、新しい設計の可能性を検証するための研究開発プロジェクトです。
Transformerを基盤とする言語モデルを自ら実装し、トークン化、Attention、学習アルゴリズム、最適化などの仕組みを段階的に検証しています。
開発には主にPythonとJAXを使用しています。
将来的には、モデルの軽量化や記憶機構、推論方式の改善なども研究課題として扱う予定です。
大きなモデルを作ること自体を目的とせず、限られた計算資源の中で、どのような構造が有効なのかを探ります。
現在は基礎実装と実験を進めている段階であり、新しい方式の有効性が実証されたものではありません。
02RESEARCH STATUS
進行中の、実験。
現在の取り組み
Transformerの基礎実装と、トークン化・Attention・学習・最適化の段階的な検証。
今後扱う予定の課題
モデルの軽量化、記憶機構、推論方式の改善。
Project Reiは進行中の実験的研究プロジェクトです。新しい方式の有効性は、現段階では実証されていません。
未知は、問いから始まる。
当たり前とされる仕組みに、もう一度問いを立てる。
その小さな疑問が、新しい発見の出発点になるかもしれない。
IWASAKU — 原理を問い、未知を拓く。