TorchNeuron: AWS Trainium-da HF modellərini idarə etmək həmişəkindən daha asandır

TorchNeuron TorchNeuron, həvəsli rejim, torch.compile və FSDP və TP kimi yerli paylanmış API-ləri dəstəkləməyə imkan verən Trainium üçün yeni backend gətirən PyTorch plaginidir. TorchNeuron haqqında daha çox öyrənmək üçün Pytorch bloqunu oxuyun.

20 oktyabr 2026-cı il tarixindən etibarən TorchNeuron ictimai beta olaraq əlçatan olacaq. Tədqiqatçılar və tərtibatçılar onu pip install torch-neuronx ilə quraşdıra biləcəklər.

HF kitabxanalarında yeni backend, doğma interfeys Bu günə qədər AWS Trainium və Inferentia-da Hugging Face təcrübəsi – müvafiq olaraq səmərəli təlim və miqyasda nəticə çıxarmaq üçün nəzərdə tutulmuş AI çipləri – optimal neyron vasitəsilə çatdırılıb. Bu kitabxana PyTorch XLA əsasında qurulmuş məşəl-neuronx paketinə əsaslanır. Bu, o zaman təbii seçim idi, lakin bu, kompilyator kimi düşünmək demək idi: həvəsli icra əvəzinə tənbəl tensorlar, yalnız statik formalar, hər qrafik fasiləsi üçün yenidən tərtib. Optimum Neuron bu mürəkkəbliyi gizlətmək üçün mövcud idi və bunu etmək üçün xüsusi kodu (modelləşdirmə dərsləri, təlimçilər və s.) qorudu.

TorchNeuron bunu dəyişir. O, birbaşa PyTorch-a inteqrasiya edir və neyronu doğma cihaz kimi ifşa edir.

Hugging Face kitabxanaları üçün Trainium hər hansı digər cihaz kimi bir cihaza çevrilir: Transformatorlar, Diffuzorlar, Accelerate, PEFT və TRL hər hansı digər sürətləndiricidə istifadə edəcəyiniz eyni siniflər və skriptlərlə birbaşa onun üzərində işləyir. Bundan sonra Neuron istifadəçilərinə Optimum Neurondan keçmək əvəzinə birbaşa bu kitabxanalardan istifadə etməyi tövsiyə edirik.

Transformers Inference Text generasiyası indi geniş modellər üçün Transformers-də yerli olaraq dəstəklənir. TorchNeuron ilə, Optimum Neuron v0.4.5 ilə 46% ilə müqayisədə, ən çox istifadə edilən 100 ən yaxşı mətn generasiya modelinin 89%-i qutudan kənar dəstəklənir. Siz sadəcə olaraq kodunuzda device_map=neuron arqumentini keçməlisiniz və modeliniz Neuron cihazlarına köçürüləcək.

Aşağıdakılar Neuron instansiyanızdan tam faydalanmağa imkan verəcək tenzor paralelliyi ilə mətn yaratmaq nümunəsidir. Nəzərə alın ki, o, nəsil üçün statik keşdən istifadə edir, çünki bu, tez-tez təkrar kompilyasiyaların qarşısını almaq üçün Neuron ilə şiddətlə tövsiyə olunur.