Maggio33/gollem-v6-eksperymenty

GoLLeM v6 — eksperymenty (prywatne)

Robocze repozytorium eksperymentów GoLLeM v6: cel to najlepszy model EN/PL do 64M parametrów. Tu trafiają checkpointy krótkich prób i biegów kolejki danych. To nie są wyniki; wyniki i decyzje opisujemy osobno, po regułach zapisanych przed startem.

Próba 1 (trial1/) — test maszynerii

cel	czy kolejka danych r7 działa na GPU end-to-end (checkpointy, wznowienie, pobranie, pomiary lokalne, tempo, koszt); o danych nie wnioskujemy
model	64M, 14 warstw × d_model 576 × 9 głów (62.9M parametrów), tokenizer EN 12 288 (jak GoLLeM v5)
dane	pula EN z finałów GoLLeM v5 (sha256 ecfd0a40…), podzielona na 12 shardów po ok. 783M tokenów
trening	61 036 kroków × 32 × 1024 tokenów = 2 mld tokenów; cosine 6e-4 → 6e-5, warmup 2 000; Muon + AdamW; seed 1337
kolejka	slot = 10 000 kroków na jednym shardzie; reguła none (nic nie jest odrzucane w tej próbie)
trener	train_gpt_ref_r7.py (sha256 cca8242d…), nadzorca kolejki queue_supervisor.py (3bd4bbea…)
sprzęt	1× RTX 5090 (RunPod), ok. 224 600 tokenów/s
status	w toku (start 2026-09-28 03:48 UTC)

Pliki w trial1/: ckpt_<N>k.pt (checkpoint po każdym przyjętym slocie), queue/ (manifest, decyzje kolejki z sha checkpointów), a po końcu events.jsonl, train.log, run_manifest.json.

Kryteria zaliczenia próby zapisano przed startem (7 punktów: przebieg, tempo, wznowienie po celowym zabiciu trenera, zgodność sha checkpointów, pomiary lokalne, koszt, bezpieczeństwo).