Google: یەکێک لە بزوێنەرە نوێیەکانی PyTorch لەسەر TPU ئێستا لە Meta کار دەکات

Google لە ٢٠ی تشرینی یەکەم وەشانی نوێی vLLM و SGLang ی ناساند، دوو بزوێنەری بەناوبانگ بۆ کارپێکردنی مۆدێلەکانی ژیریی دەستکرد (inference)، کە لەسەر TorchTPU دروست کراون: ڕێگایەکی نوێ بۆ کارپێکردنی PyTorch ڕاستەوخۆ لەسەر چیپەکانی TPU ی Google. ئەم دوو بزوێنەرە پێشتریش لەسەر TPU بە JAX، چوارچێوەی خودی Google، کاریان دەکرد، و Google دەڵێت ئەو وەشانانەش هەر پشتگیری دەکرێن، بەڵام دەڵێت گەشەپێدەران دەیانویست بە PyTorch کار بکەن، و زۆربەی مۆدێلەکان بە هەمان پێناسەی ئاسایی PyTorch کار دەکەن.

Google دەڵێت وەشانی SGLang، کە لەگەڵ کۆمپانیای RadixArk دروستی کردووە، ئێستا لە Meta بۆ کاری ڕاستەقینە (production) کار دەکات. بەپێی Tom's Hardware، Jana van Greunen، بەڕێوەبەری ئەندازیاریی PyTorch لە Meta، لە پۆستێکی تری Google گوتی Meta «ناتوانێت بە یەک جۆری ڕەقەکاڵا سنووردار بکرێت». Meta خۆی PyTorch ی دروست کردووە. ڕوون نییە Meta ئەم چیپانە لە کوێ بەکار دەهێنێت؛ بەپێی ڕاپۆرتەکان، Meta گرێبەستێکی چەند ساڵەی بۆ بەکرێگرتنی TPU لەگەڵ Google بەستووە.

بەپێی Tom's Hardware، ئەم هەنگاوە ڕۆژێک دوای ئەوە هات کە Amazon ڕایگەیاند TorchNeuron، ڕێگای هاوشێوەی خۆی بۆ کارپێکردنی PyTorch لەسەر چیپەکانی Trainium، بە کۆدی کراوە بڵاو دەکاتەوە، و هەردوو هەنگاوەکە وا دیارە بۆ کەمکردنەوەی پشتبەستن بە نەرمەکاڵای NVIDIA بن.

Inferact، ئەو کۆمپانیایەی vLLM ی لەسەر TPU لەگەڵ Google دروست کرد، دەڵێت لە تاقیکردنەوەیەکدا 16 چیپی Ironwood TPU، بە شێوازی speculative decoding، مۆدێلی Kimi K3 ی بە زیاتر لە 700 token لە چرکەیەکدا بۆ یەک بەکارهێنەر کار پێ کرد، بەراورد بە 452 لەسەر 16 GB200 ی NVIDIA لە ڕێکخستنی بڵاوکراوەی vLLM. ئەمە ژمارەی Inferact خۆیەتی.