Skip to content

docs: Консолидация документов JEPA-T, NCA и типов моделей в docs/research/models/ #536

Description

@gHashTag

🎯 Цель

Создать единую точку навигации для всех документов по моделям Trinity: T-JEPA, NCA (Neural Cellular Automata), VSA, Ternary и Hybrid — которые сейчас разбросаны по разным директориям и веткам.


📋 Контекст и мотивация

Аудит репозитория (апрель 2026) выявил 40+ файлов с упоминаниями JEPA/NCA/VSA, разбросанных по:

  • docs/lab/papers/ — экспериментальные отчёты
  • docs/docs/api/, docs/docs/tutorials/ — справочники
  • crates/trios-train-cpu/src/ — реализации
  • specs/ — VIBEE-спецификации
  • origin/gh-pages — research-отчёты
  • .trinity/ — конфиги с весами моделей

При этом в docs/DOCUMENTATION_INDEX.md раздел JEPA & T-JEPA содержит пометку ⚠️ Needs update — статус реализован, но документация не синхронизирована.


🗺️ Обнаруженные документы по категориям

1. JEPA-T (Ternary Joint Embedding Predictive Architecture)

Файл Ветка Статус
docs/lab/papers/2026-03-15-hslm-tjepa.md main ✅ Эксперимент J-000: MSE 1.95→0.30, throughput ~50K tok/s
docs/experiments/FOUND_EXPERIMENTS_SUMMARY.md main, feat/physics-migration-phase-a ✅ Параметры масок, EMA, entropy
crates/trios-train-cpu/src/tjepa.rs main, feat/physics-migration-phase-a ✅ Rust-реализация
crates/trios-train-cpu/src/objective.rs main ✅ Multi-objective (NTP+JEPA+NCA)
docs/lab/papers/sevo-method.md main ✅ SEVO + JEPA objective
docs/whitepaper.md main ✅ Таблица архитектурных параметров
.trinity/wave9.json main ✅ HSLM_JEPA_WEIGHT=0.25
CHANGELOG.md main ✅ T-JEPA v1.0.2

Ключевые параметры T-JEPA (верифицированы из 2026-03-15-hslm-tjepa.md):

mask_ratio=0.3, min_span=3, max_span=9, num_spans=2
EMA: decay_start=0.996, decay_end=1.0
Loss: L2-normalized MSE (no collapse)
Objective: --objective ntp|jepa|hybrid
New files: ema.zig, mask.zig, mse_loss.zig, tjepa.zig, tjepa_trainer.zig

Следующие эксперименты (из Next Steps в paper):

  • J-001: T-JEPA 50K steps
  • H-001: Hybrid 100K (JEPA 50K → NTP 50K)
  • ctx=81: тест 3^4 context (Square Attention Theorem)

2. NCA (Neural Cellular Automata)

Файл Ветка Статус
docs/experiments/FOUND_EXPERIMENTS_SUMMARY.md main, feat/physics-migration-phase-a ✅ Grid 9×9=81, K=9
.trinity/wave9.json main ✅ HSLM_NCA_WEIGHT=0.25
src/tri/evolution.zig main, feat/physics-migration-phase-a ✅ NCA objectives
src/tri/tri_farm.zig main, feat/physics-migration-phase-a ✅ Farm + NCA
src/brain/evolution_simulation.zig main ✅ Сценарии S1-S10

Ключевые параметры NCA:

Grid: 9×9 = 81 = CONTEXT_LEN
Состояний на клетку: K=9
Rollout шагов: 128
Entropy band: min=1.5, max=2.8
Wave 8.5: G1-G8 sweep энтропии

3. VSA (Vector Symbolic Architecture)

Файл Ветка
docs/docs/api/vsa.md main
docs/docs/tutorials/vsa-operations.md main
docs/docs/cheatsheets/vsa-operations.md main
crates/trios-vsa/README.md main
.trinity/ralph/examples/vsa_usage.zig main

4. Ternary

Файл Ветка
docs/docs/concepts/balanced-ternary.md main
docs/docs/adr/002-ternary-representation.md main
docs/docs/research/trinity-level11-hybrid-bipolar-ternary-report.md main

5. Hybrid

Файл Ветка
docs/docs/api/hybrid.md main
crates/trios-hybrid/README.md main
deploy/trinity-nexus/docs/research/trinity-hybrid-v2.0-report.md origin/gh-pages
deploy/trinity-nexus/docs/research/trinity-hybrid-v2.1-report.md origin/gh-pages

6. VIBEE-спецификации

Файл Ветка
specs/tri/model_repository.vibee main
specs/tri/model_training.vibee main
specs/phi/native_ternary_e2e.vibee main
specs/phi/ternary_quant_pipeline.vibee main
deploy/trinity-nexus/phi/e2e_all_models.vibee origin/gh-pages

🏗️ Целевая структура

docs/research/models/
├── README.md                    # Индекс всех моделей + навигация
├── JEPA-T/
│   ├── architecture.md          # TrinityBlock + EMA + маски
│   ├── experiments.md           # J-000 результаты (из 2026-03-15 paper)
│   ├── parameters.md            # Конфиги масок, EMA, весов
│   └── next-experiments.md      # J-001, H-001, ctx=81 планы
├── NCA/
│   ├── architecture.md          # Grid 9×9, K=9, rollout
│   ├── entropy-bands.md         # Wave 8.5 G1-G8 sweep
│   └── integration.md           # Multi-objective: NTP+JEPA+NCA
├── VSA/
│   └── README.md                # Навигация → существующие docs
├── Ternary/
│   └── README.md                # Навигация → balanced-ternary, ADR
└── Hybrid/
    └── README.md                # Навигация + ссылки на gh-pages отчёты

✅ Задачи

Phase 1 — Структура и JEPA-T (приоритет: высокий)

  • Создать docs/research/models/README.md — мастер-индекс
  • Создать docs/research/models/JEPA-T/architecture.md — описание TrinityBlock, EMA sync, маски
  • Создать docs/research/models/JEPA-T/experiments.md — консолидация из 2026-03-15-hslm-tjepa.md (J-000 данные)
  • Создать docs/research/models/JEPA-T/parameters.md — все конфиги масок + EMA + wave9.json веса
  • Создать docs/research/models/JEPA-T/next-experiments.md — J-001, H-001, ctx=81 планы

Phase 2 — NCA (приоритет: высокий)

  • Создать docs/research/models/NCA/architecture.md — Grid, K, rollout параметры
  • Создать docs/research/models/NCA/entropy-bands.md — Wave 8.5 G1-G8
  • Создать docs/research/models/NCA/integration.md — интеграция с JEPA и NTP objectives

Phase 3 — VSA, Ternary, Hybrid (приоритет: средний)

  • Создать docs/research/models/VSA/README.md — навигация к существующим docs
  • Создать docs/research/models/Ternary/README.md — навигация к balanced-ternary + ADR
  • Создать docs/research/models/Hybrid/README.md — навигация + ссылки на gh-pages v2.0/v2.1

Phase 4 — Обновить индексы (приоритет: средний)

  • Обновить docs/DOCUMENTATION_INDEX.md раздел Training & Models → добавить ссылку на docs/research/models/
  • Убрать пометку ⚠️ Needs update у JEPA в индексе — реализация подтверждена
  • Добавить раздел Model Architecture Hub в индекс

🚫 Ограничения

  • НЕ копировать содержимое из docs/docs/api/, docs/docs/tutorials/ — только ссылки
  • НЕ удалять исходные файлы в docs/lab/papers/ — только перелинковать
  • НЕ менять структуру crates/ — только документировать
  • Hybrid v2.0/v2.1 reports из origin/gh-pages — ссылки, не копии

🔍 Верификация

После выполнения проверить:

# Все ссылки в новых файлах валидны
npx markdown-link-check docs/research/models/**/*.md

# Индекс обновлён
grep -n 'research/models' docs/DOCUMENTATION_INDEX.md

# Структура корректна
tree docs/research/models/

📊 Метрики

Метрика Значение
Новых файлов ~12
Обновляемых файлов 1 (DOCUMENTATION_INDEX.md)
Исходных документов для консолидации 30+
Веток с уникальными данными 3 (main, feat/physics-migration-phase-a, gh-pages)
Оценочное время ~2-3 часа

🔗 Связанные ресурсы

  • Исходный paper: docs/lab/papers/2026-03-15-hslm-tjepa.md
  • Текущий индекс: docs/DOCUMENTATION_INDEX.md
  • Эксперименты: docs/experiments/FOUND_EXPERIMENTS_SUMMARY.md
  • Реализация (Rust): crates/trios-train-cpu/src/tjepa.rs
  • Реализация (Zig): src/hslm/tjepa.zig, src/hslm/tjepa_trainer.zig
  • Конфиг весов: .trinity/wave9.json (HSLM_JEPA_WEIGHT=0.25, HSLM_NCA_WEIGHT=0.25)
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    documentationImprovements or additions to documentation

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions