Scaling Indic Pretraining: 2.8 Trilyon Tokens və Açıq Məlumat Yaratma Boru Kəməri

Müəlliflər: AI4Bharat — Sumanth Doddapaneni, Thanmay Jayakumar, Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan, Rudra Murthy, Ujjwal Sharma. NVIDIA — Niket Aqarval, Ramani Akkati, Mohammad Qazim Bhat, Aishwarya Chhabra, Shuoyang Ding, Raviraj Joshi, Anusha Kamath, Abhinav Khattar, Markus Kliegl, Vitali Lavrukhin, Yev Meyer, Sriharsha Niverty, Brandon Norrick, Patshan Padaw, Mostof Padaw, Patshan Padaw, Praveen, Kanishk Singla, Rajpreet Thethy, Utkarsh Vaidya, Ameya Velingker.

AI4Bharat, IIT Madrasın Hindistan dili tədqiqat laboratoriyası, hind dilləri üçün açıq mənbəli verilənlər bazası və modellər qurur. Onun resursları, məsələn, 22 hind dili üçün açıq hazırlıq korpusu olan Sangraha, açıq hind dili modeli tədqiqatının əsasını qoymağa kömək etdi. Birgə açıq mənbəli buraxılışımız cəmiyyət üçün əlçatan olacaq açıq sintetik Hind təlim məlumatlarının əhəmiyyətli genişləndirilməsini təmsil edir. O, riyaziyyat, kod və sual-cavab məzmunu daxil olmaqla, ingilis dili materialının geniş qarışığını hind dillərinə gətirir və komandalara texniki anlayışları izah edə, problemləri həll edə və bu dillərdə suallara cavab verə bilən modellər qurmaq üçün daha çox təlim materialı verir. Hər bir qeyd seçilmiş mənbə sənədinə qayıdır və hər bir çıxış onun daxilinə qarşı yoxlanılır, beləliklə, sintetik mətn real məlumatda əsaslı olaraq qalır.

AI4Bharat-a rəhbərlik edən və 2025-ci il TIME100 AI siyahısına daxil olan Mitesh Khapra əsas problemin adını çəkdi: Hindistan dili texnologiyası ingilis dilini geridə qoyur, çünki "hind dilləri üçün kifayət qədər məlumatımız yoxdur". Biz bu zəngə daha çox data və daha çox məlumat yaratmaq üçün açıq reseptlə cavab veririk.

Korpus insanların necə yazdığını da nəzərə alır. Buraya bütün 22 dil üçün yerli skript məlumatları və 34 dil-skript konfiqurasiyasını əhatə edən on iki dil üçün romanlaşdırılmış mətn daxildir. Bizim iş axınlarımız tənliklər, cədvəllər və kod kimi məzmunu qorumaq üçün yoxlamalarla sənəd səviyyəsində tərcümə, keyfiyyətin qiymətləndirilməsi və məqsədyönlü təmiri birləşdirir. Bu məlumat yerli bilik və mədəni kontekst üçün vacib olaraq qalan təbii müəllifli hind mətnini tamamlayır.

Biz açıq nəsil reseptini paylaşırıq ki, cəmiyyət sadəcə məlumatları çoxaltmaqla yanaşı, bu işi daha da irəli apara bilsin. Komandalar birbaşa korpusdan istifadə edə, göstərişləri və keyfiyyət yoxlamalarını uyğunlaşdıra və ya öz mənbə sənədlərini iş prosesinə gətirə bilər. Həm məlumatları, həm də prosesi açmaqla, biz irimiqyaslı Hind məlumatlarının yaradılmasını daha əlçatan etmək və daha çox tərtibatçının Hindistan dillərində daha güclü modellərə töhfə vermək imkanı verməyi hədəfləyirik.

Nemotoron 3.5 Super VL üçün davam edən hazırlıq bu korpusun və təbii hind mətninin on iki dilli alt dəstindən götürülən 10 milyard Hind tokeni əlavə etdi. Modellə bağlı texniki hesabatımız bütün hekayəni əhatə edir. Gələcək Nemotron modellərində bu korpus üzərində qurmağı planlaşdırırıq.

Korpusda nə var? Şəkil 1. Korpusda 2,601,0 milyard yerli skript tokeni və 224,6 milyard romanlaşdırılmış token var. Saylar Gemma-4 tokenizerindən istifadə edir. Sənəd qeydlərinə tərcümələr və paylaşılan mənbələrin skript variantları daxildir; onlar unikal ingilis sənədinin sayları deyil