مۆدێلی ژیریی دەستکرد لەسەر کۆمپیوتەری خۆت: چیت پێویستە؟

١بۆچی لەسەر کۆمپیوتەری خۆت؟

زۆربەی خەڵک ژیریی دەستکرد لە ڕێگەی ماڵپەڕ یان ئەپێکەوە بەکار دەهێنن: پرسیارەکەت دەچێتە سێرڤەری کۆمپانیایەک و وەڵامەکە دەگەڕێتەوە. بەڵام ئێستا هەزاران مۆدێلی کراوە (open-weight) هەن کە دەتوانیت دایانبگریت و لەسەر کۆمپیوتەری خۆت کاریان پێ بکەیت.

سوودەکەی ئەوەیە کە نووسین و فایلەکانت لە ئامێرەکەت دەرناچن، بێ ئینتەرنێت کار دەکات، و پارەی مانگانە نادەیت. بەرامبەر بەمە، مۆدێلە کراوەکان زۆرجار لە گەورەترین مۆدێلە پارەدارەکان لاوازترن، و ئامێرێکی بەهێزیان دەوێت. ئەم ڕێنماییە دەڵێت چ ئامێرێک بۆ چ مۆدێلێک بەسە.

٢گرنگترین شت: میمۆری، نەک خێرایی کارت

مۆدێلێکی زمانی لە ملیاران ژمارە پێکدێت، کە پێیان دەڵێن parameter یان کێش (weights). بۆ ئەوەی مۆدێلەکە کار بکات، هەموو ئەم ژمارانە دەبێت لە میمۆریدا جێ ببنەوە. خێراترین شوێن میمۆریی کارتی گرافیکە (VRAM). ئەگەر مۆدێلەکە تێیدا جێ نەبێتەوە، بەشێکی دەچێتە سەر RAM ی ئاسایی و پرۆسێسەر، و زۆر خاوتر دەبێت.

Ollama ئەمە ڕاستەوخۆ نیشان دەدات: فەرمانی ollama ps دەڵێت مۆدێلەکە بە تەواوی لەسەر کارتەکەیە (100% GPU)، بە تەواوی لەسەر پرۆسێسەرە (100% CPU)، یان دابەش بووە لە نێوانیاندا. بۆ نموونە، لە نموونەیەکی Ollama خۆیدا، مۆدێلێکی 70 ملیار parameter پاش بارکردن 42GB میمۆریی گرتووە.

• ژماردنێکی سادە: هەر ملیارێک parameter بە 16 بیت نزیکەی 2GB دەگرێت، بە 8 بیت نزیکەی 1GB، و بە 4 بیت نزیکەی نیو گیگابایت.
• کەواتە مۆدێلێکی 8 ملیاری (8B) بە 4 بیت نزیکەی 4 تا 5GB دەوێت، مۆدێلێکی 27B نزیکەی 14GB، و مۆدێلێکی 70B نزیکەی 35 تا 40GB.
• جگە لە کێشەکان، گفتوگۆکەش میمۆری دەگرێت: تا دەقی درێژتر بدەیتە مۆدێلەکە (context window)، میمۆریی زیاتر پێویستە. بۆیە هەمیشە چەند گیگابایتێک زیاتر لە قەبارەی مۆدێلەکە دابنێ.

٣کوانتایزکردن: مۆدێلی بچووکتر، کوالیتیی کەمێک کەمتر

مۆدێلەکان بە شێوەی ئاسایی بە 16 بیت بۆ هەر ژمارەیەک دروست دەکرێن. quantization ژمارەکان کورت دەکاتەوە، بۆ نموونە بۆ 8 یان 4 بیت، تا مۆدێلەکە کەمتر میمۆری بگرێت و خێراتر بێت. بەرنامەی llama.cpp لە 1.5 بیتەوە تا 8 بیت پشتگیری دەکات.

نرخی ئەمە کەمێک لە کوالیتییە: 8 بیت زۆر نزیکە لە مۆدێلە ڕەسەنەکە، 4 بیت هاوسەنگییەکی باوە لە نێوان قەبارە و کوالیتیدا، و ژمارە کەمترەکان مۆدێلەکە هەڵەتر دەکەن. زۆرجار مۆدێلێکی گەورەتر بە 4 بیت لە مۆدێلێکی بچووکتر بە 16 بیت باشترە، ئەگەر میمۆرییەکەت هەمان بێت.

ئەگەر مۆدێلێک لەسەر Hugging Face چەند وەشانی هەبوو (وەک Q4، Q5، Q8)، ژمارەکە بیتەکان نیشان دەدات. بە Q4 دەست پێ بکە، و ئەگەر میمۆری ماوە، وەشانی گەورەتر تاقی بکەرەوە.

٤خێرایی: بۆچی پانیی ڕێگای میمۆری گرنگە

مۆدێل وەڵامەکە تۆکن بە تۆکن دەنووسێت، و بۆ هەر تۆکنێک دەبێت هەموو کێشەکانی لە میمۆرییەوە بخوێنێتەوە. بۆیە خێرایی نووسین (tok/s) زیاتر بە memory bandwidth بەندە تا بە هێزی ژماردنی کارتەکە. RTX 3090 بە 936GB/s هێشتا بۆ ئەم کارە بەهێزە، هەرچەندە کارتێکی کۆنە.

ئامێرەکانی میمۆریی هاوبەش، وەک کۆمپیوتەرەکانی Mac ی Apple و لاپتۆپەکانی RTX Spark، میمۆرییەکی زۆریان هەیە بۆ مۆدێلی گەورە، بەڵام ڕێگای میمۆرییان زۆرجار لە کارتێکی گرافیکی گەورە تەسکترە، بۆیە مۆدێلێکی گەورە لەسەریان کار دەکات بەڵام هێواشتر دەنووسێت. ڕێگای وەک speculative decoding دەتوانن خێرایی چەند هێندە بکەن بێ گۆڕینی ئامێر.

٥کام ئامێر بۆ چ مۆدێلێک؟

• بێ کارتی گرافیک: مۆدێلە بچووکەکان (1 تا 4B) لەسەر پرۆسێسەر و RAM کار دەکەن، بەڵام هێواش. بۆ تاقیکردنەوە باشە.
• کارتی 8GB: مۆدێلەکانی نزیکەی 7 تا 8B بە 4 بیت، بە خێراییەکی باش.
• کارتی 12 تا 16GB: مۆدێلەکانی تا نزیکەی 14B بە ئاسوودەیی، و هەندێک مۆدێلی گەورەتر بە بیتی کەمتر.
• کارتی 24 تا 32GB (وەک RTX 3090، RTX 4090 و RTX 5090): مۆدێلەکانی نزیکەی 27 تا 32B بە 4 بیت، کە زۆریان بۆ کۆد و نووسین بەهێزن.
• کارتی پیشەیی و چەند کارتێک پێکەوە: ASUS دەڵێت چوار کارتی Arc Pro B70 ی 32GB پێکەوە 128GB دەدەن، کە بەشی مۆدێلی تا 120 ملیار parameter دەکات.
• ئامێری میمۆریی هاوبەشی زۆر: Meta دەڵێت مۆدێلە کراوەکەی، Muse Spark Open، لەسەر دوو Mac Studio کار دەکات کە هەر یەکەیان 512GB میمۆریی هاوبەشی هەیە.

بۆ ژیریی دەستکرد، کارتێکی کۆنتری میمۆری زۆر زۆرجار لە کارتێکی نوێتری میمۆری کەم باشترە. پێش کڕین، VRAM و پانیی ڕێگای میمۆری بەراورد بکە، نەک تەنیا خێرایی یاری.

٦لە کوێوە دەست پێ بکەیت؟

• Ollama: ئاسانترین ڕێگا. بۆ Windows، macOS و Linux بەردەستە، و بە یەک فەرمان (ollama run و ناوی مۆدێلەکە) مۆدێلێک دادەگرێت و قسەی لەگەڵ دەکەیت.
• llama.cpp: کۆنترۆڵی زیاتر دەدات و زۆر ئامرازی تر بەکاری دەهێنن. دەتوانێت مۆدێلێک کە لە VRAM گەورەترە بەشێکی لەسەر کارت و بەشێکی لەسەر پرۆسێسەر کار پێ بکات.
• کارتەکان: Ollama کارتەکانی NVIDIA ی نەوەی Maxwell بەدواوە (compute capability 5.0) بە درایڤەری نوێ، کارتەکانی AMD Radeon، و چیپەکانی Apple پشتگیری دەکات. llama.cpp یش Vulkan بەکار دەهێنێت، کە زۆربەی کارتەکان دەیناسن.
• مۆدێلەکان: لە Hugging Face و کتێبخانەی Ollama دەدۆزرێنەوە. هەر مۆدێلێک مۆڵەتی خۆی هەیە؛ پێش بەکارهێنانی بازرگانی بیخوێنەوە.

بە مۆدێلێکی بچووک دەست پێ بکە. ئەگەر وەڵامەکان زۆر هێواش بوون، بە ollama ps بزانە مۆدێلەکە بە تەواوی لەسەر کارتەکەیە یان بەشێکی چووەتە سەر پرۆسێسەر.