مدل تریلیون پارامتری دیپ سیک روی تراشه های ملی چین

تصور کنید یک هوش مصنوعی با تریلیون پارامتر که نه روی GPUهای غربی بلکه روی سخت‌افزار ساخت داخل چین اجرا می‌شود. این شبیه بازنویسی فناوری است، و دقیقاً همان چیزی است که دیپ‌سیک با مدل نسل بعدی خود در تلاش برای انجام آن است.

گزارش‌ها حاکی است که دیپ‌سیک V4 به‌صورت انحصاری روی جدیدترین تراشه‌های Ascend هواوی اجرا خواهد شد. این یک تغییر کوچک نیست. این نشان‌دهنده تلاش گسترده‌تری برای اتصال مدل‌های پیشرفته به سیلیکون داخلی است، چرا که کنترل‌های صادراتی دسترسی توسعه‌دهندگان چینی به تراشه‌های سری H انویدیا را دشوارتر می‌کند.

چرا این تغییر؟ تا حدی به این دلیل که مقیاس اکنون نیازمند هماهنگی نزدیک بین معماری مدل و تراشه‌ای است که آن را اجرا می‌کند. دیپ‌سیک قصد دارد حدود یک تریلیون پارامتر را اجرا کند و انتظار می‌رود این استارتاپ صدها هزار پردازنده Ascend 950PR را برای رسیدن به سرعت استنتاج و ظرفیت هدف به‌کار گیرد. هدف: تقریباً 1.8 برابر سرعت بیشتر در استنتاج، پنجره زمینه‌ای نزدیک به یک میلیون توکن، و بهبودهای کارایی ناشی از بهینه‌سازی‌های به‌سبک انگرام.

آن نکته آخر اهمیت دارد. تکنیک‌های انگرام نحوه ذخیره و بازیابی اطلاعات توسط مدل‌ها را بازآرایی می‌کنند، با کاهش سربار حافظه در حالی که عمق استدلال را حفظ می‌کنند. برای مدلی به اندازه V4، چنین ترفندهایی تفاوت بین قابل اجرا و خیال‌پردازی است. گزارش‌ها حاکی است دیپ‌سیک ماه‌ها صرف بازنویسی کدهای پایه و آزمایش بنچمارک با مهندسان هواوی و کمبریکن کرده است تا عملکرد را از پشته جدید استخراج کند.

شرکت‌های فناوری بزرگ چین نیز شرط‌های مشابهی گذاشته‌اند. علی‌بابا، بایت‌دنس و تنسنت سفارش‌های بزرگی برای سیلیکون Ascend 950PR ثبت کرده‌اند که نشان می‌دهد اکوسیستم تراشه داخلی به سرعت در حال تبدیل شدن به سکوی پیش‌فرض برای پروژه‌های مهم هوش مصنوعی در داخل چین است. از این نظر، حرکت دیپ‌سیک هم استراتژیک و هم عملیاتی است.

یک جنبه زمانی هم وجود دارد. تراشه‌های H20 انویدیا با نظارت صادراتی سخت‌گیرانه‌تری مواجه شده‌اند و این شرکت‌های نوپا و ارائه‌دهندگان ابری را مجبور کرده است تا مهاجرت به شتاب‌دهنده‌های تولید داخل را تسریع کنند. دیپ‌سیک پیش‌تر از نسخه‌هایی از Ascend در مدل‌های قبلی استفاده کرده بود، بنابراین مهاجرت کامل به زیرساخت محور هواوی، ادامه‌ای از کارهای موجود است تا جهشی ناگهانی.

به لحاظ کارکردی، گفته می‌شود V4 بر توانمندی‌های پیشرفته کدنویسی و بهبود استدلال چندمرحله‌ای تاکید دارد. به زبان ساده: در نوشتن برنامه‌های پیچیده بهتر عمل می‌کند، در حفظ گفتگوهای طولانی توانمندتر است، و در کنار هم قرار دادن منطق در گستره‌های وسیع متن عملکرد بهتری دارد. گزارش شده دو نسخه اضافی V4 که برای دیگر تراشه‌های ساخت چین سفارشی شده‌اند در حال توسعه‌اند و ممکن است قبل از پایان سال عرضه شوند.

نکته بزرگ‌تر این است که رقابت هوش مصنوعی در حال تقسیم شدن به اکوسیستم‌های سخت‌افزاری است که هر یک برای پشته خاصی از کامپایلرها، ران‌تایم‌ها و ترفندهای بهینه‌سازی تنظیم شده‌اند. برای استارتاپ‌هایی مانند دیپ‌سیک، مسیر رسیدن به عملکرد برتر ممکن است اکنون تا به اندازه نوآوری الگوریتمی از میان سیلیکون داخلی نیز بگذرد.

این رویکرد آیا سود خواهد داد یا نه بستگی دارد به اینکه تیم‌های نرم‌افزاری تا چه حد بتوانند تراشه‌های خام را به سرویس‌های قابل استفاده و قابل اعتماد تبدیل کنند و همچنین به سرعت تغییرات در چشم‌انداز سخت‌افزار هوش مصنوعی جهانی.