Hawa-Al-Akram/StarO-Ai

# StarO AI (ستارو AI)

أول نموذج لغوي عربي يُبنى من الصفر على يد مطور عمره 14 سنة

من الجلفة، الجزائر

---

---

عن المشروع

StarO AI هو مشروع لبناء نموذج لغوي للغة العربية من الصفر باستخدام PyTorch، وليس مجرد تهيئة لنماذج جاهزة. يقوم على هذا المشروع شاب جزائري عمره 14 سنة، بإمكانيات متواضعة (i3-4130 + 4GB RAM + HDD 2010).

---

المميزات الرئيسية

• مبني من الصفر - كُتب الكود بالكامل بدون الاعتماد على نماذج جاهزة
• دعم العربية - فهم وإنتاج النصوص العربية الفصحى والعامية
• موارد محدودة - صُمم ليعمل على أجهزة متواضعة (حتى 4GB RAM)

---

المواصفات التقنية

تم بناء النموذج بمعمارية ModelStarOLMhead:

• عدد الطبقات: 10
• حجم التضمين: 1024
• عدد رؤوس الانتباه: 16
• حجم السياق: 512 (قابل للتوسيع)
• عدد المفردات: 40,000
• نوع البيانات: float32

عرض ملف الإعدادات الكامل (JSON)

{
    "_class_name": "ModelStarOLMhead",
    "activation_function": "gelu_new",
    "architectures": ["ModelStarOLMhead"],
    "attn_pdrop": 0.1,
    "bos_token_id": 0,
    "dtype": "float32",
    "embd_pdrop": 0.1,
    "eos_token_id": 1,
    "initializer_range": 0.02,
    "layer_norm_epsilon": 1e-05,
    "model_type": "staro",
    "n_ctx": 512,
    "n_embd": 1024,
    "n_head": 16,
    "n_inner": null,
    "n_layer": 10,
    "n_positions": 1024,
    "pad_token_id": 1,
    "resid_pdrop": 0.1,
    "vocab_size": 40000
}