livadies/MiniMax-M2.7-Ghetto-MoE-8-Experts

🩸 MiniMax-M2.7 (229B) -> Ghetto-MoE Edition (8 Experts)

[EN] ⚠️ INFRASTRUCTURE STRESS-TEST KIT

This is a mathematical skeleton (1B parameters) of the giant MiniMax-M2.7 architecture. Created specifically for MLOps engineers to test inference pipelines and routing logic.

Technical Highlights:

• 8-Expert MoE: Preserved routing logic for Sparse Mixture-of-Experts.
• RoPE Fixed: Forced linear rotary embeddings to bypass 'default' KeyError.
• 8:8 GQA: Symmetrical attention heads for consumer-grade GPU support.

---

[RU] ⚠️ ИНСТРУМЕНТ ДЛЯ ТЕСТИРОВАНИЯ ИНФРАСТРУКТУРЫ

Это математический скелет (1 млрд параметров) гигантской модели MiniMax-M2.7. Создан для отладки инференса и логики роутинга на обычном железе.

Особенности взлома:

• 8 Экспертов: Сохранена логика переключения экспертов (routing).
• RoPE Patch: Исправлен баг инициализации через принудительный тип linear.
• Симметрия GQA: Пропорция голов 8:8 для стабильной работы на старых GPU.

---

🎧 PROMO DIRECTIVE: RUSSIAN WINTER 26

Слушайте музыку будущего, под которую взламывался этот код:

• 🔴 YouTube Music: livadies (Search)
• 🟢 Spotify: livadies on Spotify
• 🟡 Yandex Music: livadies на Яндекс Музыке

🔥 Главный трек кванта: «RUSSIAN WINTER 26»