بایت دنس آموزش مدل هوش مصنوعی ده تریلیونی را آغاز کرد

بایت‌دنس به‌صورت کم‌صدا آموزش یک غول را آغاز کرده: مدلی از هوش مصنوعی با حدود ۱۰ تریلیون پارامتر. این حرکت جسورانه شرکت را در مرکز یک رقابت جهانی بر سر اندازه و قابلیت مدل‌ها قرار می‌دهد.

به گفته افرادی که با موضوع آشنا هستند، پیش‌آموزش در حال انجام است. این مرحله که در آن مدل مقادیر عظیمی از داده خام را می‌بلعد تا الگوها را بیاموزد، معمولاً سه تا شش ماه طول می‌کشد تا به تنظیم دقیق و انتشار عمومی برسد. پارامترها تنظیمات داخلی‌ای هستند که مدل برای رمزگذاری دانش استفاده می‌کند؛ آن‌ها همهٔ ماجرا را نشان نمی‌دهند اما به‌عنوان شاخصی رایج برای اندازه و پتانسیل یک مدل به کار می‌روند.

چرا اندازه مهم است؟ مدل‌های بزرگ‌تر می‌توانند ظرافت‌های بیشتری را دربرگیرند و در وظایف مختلف تعمیم‌پذیری بهتری داشته باشند، گرچه بازده به‌صورت خطی افزایش نمی‌یابد و کارایی همچنان مهم است. هدف گزارش‌شدهٔ بایت‌دنس برای ۱۰ تریلیون پارامتر این مدل را بیش از سه برابر بزرگ‌تر از کیمی ک۳، سیستمی با ۲.۸ تریلیون پارامتر از یک استارتاپ چینی، و بسیار بزرگ‌تر از بازیگران داخلی قبلی مانند لانگ‌کت ۲.۰ و وی۴-پرو که هر یک در حدود ۱.۶ تریلیون بودند، خواهد کرد.

مقایسهٔ مستقیم با سیستم‌های پیشرو ساخت آمریکا همچنان دشوار است. شرکت‌هایی مثل آنتروپیک و اوپن‌ای‌آی به‌ندرت تعداد دقیق پارامترهای محصولات اصلی خود را منتشر می‌کنند. برآوردهای مستقل، نسخهٔ پیشرفتهٔ آنتروپیک، میتوس ۵، را در نزدیکی هشت تریلیون پارامتر و فیبل ۵ را نزدیک به پنج تریلیون قرار می‌دهند. اگر این برآوردها صحت داشته باشند، تلاش جدید بایت‌دنس آن را در محدوده‌ای قرار می‌دهد که با پیشرفته‌ترین سیستم‌های آنتروپیک قابل مقایسه است.

لایهٔ دیگری در این داستان وجود دارد: تدارکات و هزینه. آموزش در این مقیاس پرهزینه و پرمصرف انرژی است. شرکت‌های فناوری چینی در تلاش‌اند تا چرخه‌های توسعه را فشرده‌تر کنند و کارایی بیشتری از زیرساخت‌های خود بیرون بکشند، با هدف عرضهٔ سیستم‌های قدرتمند بدون افزایش کنترل‌نشدهٔ هزینه‌های عملیاتی. این پاسخ واقع‌گرایانه‌ای به بازاری سخت‌گیرانه است.

هنوز مشخص نیست که صرفاً شمار پارامترها سرنوشت برندگان را تعیین می‌کند یا نه، اما تلاش بایت‌دنس نشان می‌دهد که جبههٔ رقابت از مقالات پژوهشی خلاقانه به مهندسی و استقرار در مقیاس صنعتی منتقل شده است.

انتظار داشته باشید که به‌جای یک پیشرفت تعیین‌کنندهٔ واحد، اعلامیه‌ها و بهبودهای تدریجی بیشتری ببینیم. نبرد اصلی بر سر نحوهٔ تنظیم، مقیاس‌دهی و یکپارچه‌سازی این سیستم‌ها در محصولاتی است که مردم واقعاً از آن‌ها استفاده می‌کنند.