گەشەپێدەرێک خێرایی مۆدێلێکی زمانی 27B ی لەسەر RTX 3090 ی کۆن 4.6 هێندە کرد، بێ گۆڕینی کارت یان مۆدێل
نهێنییەکە ڕێگایەکە بە ناوی speculative decoding: بەشێکی خێرا چەند وشەیەک پێشبینی دەکات، و مۆدێلە سەرەکییەکە هەموویان بە یەکجار دەپشکنێت.
بەپێی Wccftech، بەکارهێنەرێکی بە ناوی u/iamMess مۆدێلی Qwen3.8-27B ی لەسەر یەک کارتی 3090 بە 24 کار پێ کرد. خێراییەکە لە سەرەتادا 82 بوو، و بە بەرنامەیەکی کارپێکردنی تایبەت بە خۆی گەیاندییە نزیکەی 382 tok/s.
هۆی خاوی ئەوەیە کە مۆدێل یەک لە دوای یەک دەنووسێت، و بۆ هەر تۆکنێک دەبێت هەموو کێشەکانی مۆدێلەکە لە بخوێنێتەوە. ئەم خوێندنەوەیە، نەک ژماردنەکە، خێراییەکە سنووردار دەکات، بۆیە کارتەکە زۆربەی کات بێکارە. چارەسەرەکە بوو: بەشێکی خێرا چەند تۆکنێک پێشبینی دەکات، و مۆدێلە سەرەکییەکە هەموویان بە یەک هەنگاو دەپشکنێت، ئەوانەی دروستن هەڵدەگرێت و ئەوانی تر فڕێ دەدات. چونکە بڕیاری کۆتایی هەمیشە لای مۆدێلە سەرەکییەکەیە، دەقەکە هیچ ناگۆڕێت: ئەنجامی تاقیکردنەوەیەکی بیرکاری وەک خۆی مایەوە: 96.5%.
خێراییەکە قۆناغ بە قۆناغ بەرز بووەوە: ی ناو خودی مۆدێلەکە گەیاندییە نزیکەی 114 tok/s، و ڕێگایەک کە وشە دووبارەکان لە دەقی ناو گفتوگۆکەدا دەدۆزێتەوە زیاتری کرد. ژمارە بەرزەکە، 382 tok/s، لە کاری دەقێکی درێژدایە کە مۆدێلەکە زۆری لێ وەردەگرێتەوە؛ لە گفتوگۆی ئاساییدا خێراییەکە نزیکەی 133 tok/s بوو. Wccftech دەڵێت هەندێک لە گۆڕانکارییەکان نرخیان هەیە، وەک ئەوەی خوێندنەوەی دەقێکی نوێ لە سەرەتادا دوو هێندە کات دەبات.
کۆمپانیاکانی ئەم هەواڵە:NVIDIA
بۆ تێگەیشتن لەم هەواڵەمۆدێلەکانی ژیریی دەستکرد (LLM) چۆن کار دەکەن؟ڕێنماییەکی پەیوەندیدارپێش کڕینی کارتی گرافیکی بەکارهاتوو، ئەمانە بپشکنەوشەکانی ئەم هەواڵە
لەسەر هەر وشەیەک لێبدە بۆ ڕوونکردنەوەکەی، لێرە یان لە ناو دەقەکەدا.
تۆڕێکی کۆمەڵایەتیی گەورەی گفتوگۆ. زۆرجار یەکەم شوێنە کە بەکارهێنەران کێشە یان دۆزینەوەیەک بڵاو دەکەنەوە، بەڵام قسەی بەکارهێنەران پشتڕاستکراوە نییە.
RTX
ناوی کارتە گرافیکەکانی NVIDIA بۆ یاری و کار، وەک RTX 5080. ژمارەی گەورەتر واتە نەوەی نوێتر یان کارتی بەهێزتر.
GB
گیگابایت: یەکەی پێوانی قەبارەی میمۆری و بیرگە، نزیکەی ملیارێک بایت. یارییەکی گەورە دەتوانێت 100 GB یان زیاتر جێ بگرێت، و 1,000 GB نزیکەی 1 TB دەکات.
VRAMVideo RAM
میمۆریی تایبەتی کارتی گرافیک. داتای وێنەی یاری لێرە هەڵدەگیرێت. کاتێک پڕ دەبێت، یاری دەپچڕێت یان کوالیتیی وێنە دادەبەزێت.
tok/s
تۆکن لە چرکەیەکدا: خێرایی نووسینی مۆدێلێکی زمانی. نزیکەی 20 tok/s بۆ خوێندنەوەی مرۆڤ بەسە، بەڵام بریکار و کاری درێژ خێرایی زیاتریان دەوێت.
speculative decoding
ڕێگایەکی خێراکردنی مۆدێلی زمانی: بەشێکی بچووک و خێرا چەند تۆکنی داهاتوو پێشبینی دەکات، و مۆدێلە گەورەکە هەموویان بە یەک هەنگاو دەپشکنێت. دەقەکە وەک خۆی دەمێنێتەوە، تەنیا خێراتر دێت.
token
تۆکن: پارچە-وشەیەک کە مۆدێلەکانی زمان دەقی پێ دەخوێننەوە و دەنووسن. نرخی بەکارهێنانی مۆدێلەکان بە ملیۆن تۆکن دیاری دەکرێت.
memory
میمۆری: ئەو چیپانەی زانیاری هەڵدەگرن. دوو خێزانی سەرەکیی هەیە: DRAM کە زۆر خێرایە بەڵام بە کوژانەوە ناوەڕۆکەکەی دەسڕێتەوە (RAM و HBM لەم خێزانەن)، و NAND Flash کە زانیاری دەپارێزێت (SSD و بیرگەی تەلەفۆن).
multi-token predictionMTP
توانای مۆدێلێکی زمانی بۆ پێشبینیی چەند تۆکنی داهاتوو پێکەوە، نەک تەنیا یەک دانە. هەم لە ڕاهێناندا یارمەتی دەدات و هەم وەک بەشی خێرای speculative decoding بەکاردێت.
