7 دقیقه
وقتی آزمایشگاهی پر از ذهنهای خلاق با کمبود چیپهای حافظه مواجه میشود، پیشرفت نه تنها کند میشود بلکه عملاً متوقف میماند. دمیس هاسابیس، مدیرعامل گوگل دیپمایند، دقیقاً این گِرهٔ سخت را عامل تأخیر در سیستمهای جدید هوش مصنوعی مانند جمینی میداند: تقاضا برای حافظه بهطور قابل توجهی از ظرفیت سختافزاری لازم برای آموزش و استقرار در مقیاس بزرگ پیشی گرفته است. این کمبود حافظه (کمبود چیپ حافظه، کمبود DRAM/HBM) بهعنوان یکی از محدودکنندههای اصلی در زنجیره تأمین تکنولوژیهای هوش مصنوعی شناخته میشود و پیامدهای وسیعی برای توسعه مدلهای بزرگ، تحقیقات پژوهشی و عرضه محصولات جدید دارد.
تصور کنید آموزش یک مدل پیشرفته مثل تلاش برای ساختن یک آسمانخراش است در حالی که ناگهان ناوگان جرثقیلها ناپدید میشود. هنوز میتوان نقشهها را کشید و روی زیباییشناسی بحث کرد، اما دیگر نمیتوان تیرآهنها را بالا برد. برای محققان هوش مصنوعی، «بالا بردن تیرآهن» به معنای رکهایی پر از چیپهای حافظه و شتابدهندهها (accelerators) است. بدون این منابع، آزمایشها فقط در مقیاس کوچک انجام میشوند، عرضهها مرحلهای و پراکنده خواهند بود و نوآوریها زمان بیشتری برای رسیدن به کاربران حقیقی نیاز خواهند داشت. علاوه بر این، پروژههای بزرگ که به حافظهٔ توزیعشده، همگامسازی پارامترها و کش دادههای عظیم نیاز دارند، عملاً غیرقابل انجام یا بسیار پرهزینه میشوند؛ این موضوع سرعت پیشرفت در حوزههای تحقیقاتی همچون مدلهای زبانی بزرگ، بینایی کامپیوتری و آموزش چندوظیفهای را کاهش میدهد.
هاسابیس یک نقشه از نقاط فشار در زنجیره تأمین ترسیم میکند. این کمبود فقط به یک قطعهٔ جداگانه ختم نمیشود؛ بلکه واکنش زنجیرهای از محدودیتهای ظرفیت در کارخانهها، رشد ناگهانی تقاضای جهانی و انتخابهای دشوار سازندگان بین قراردادهای دیرپای گوشیها و لپتاپها و سفارشهای پرسود آزمایشگاههای هوش مصنوعی است. تولید حافظههای با تراکم بالا مانند HBM (High Bandwidth Memory) و DRAM مخصوص مراکز داده نیازمند خطوط تولید ویژه، مواد اولیه خاص و سرمایهگذاریهای بزرگ است؛ در نتیجه، فشار تقاضا باعث افزایش هزینهٔ قطعات و در نهایت گرانتر شدن دستگاههای مصرفی میشود، زیرا سازندگان بخش قابل توجهی از هزینهٔ بالاتر را به مشتری منتقل میکنند. همچنین محدودیت در عرضهٔ حافظه میتواند منجر به اولویتبندی سفارشها به نفع مشتریان با پرداخت بالاتر یا قراردادهای طولانیتر شود که این موضوع رقابت و دسترسی شرکتهای کوچکتر و تقویتکنندگان پژوهشی را دشوارتر میکند.
وضعیت گوگل پیچیده است. این شرکت یک مزیت دارد — واحدهای پردازش تانسور سفارشی (TPU) که خودش طراحی میکند و در مراکز دادهٔ خودش از آنها استفاده میکند و همچنین از طریق خدمات ابری اجاره میدهد — اما حتی آن مزیت هم مشکل کمبود حافظه را از بین نمیبرد. TPUها برای آموزش مدلها در مقیاس وسیع به مخازن عظیمی از حافظه نیاز دارند و وقتی حافظه نایاب میشود، گلوگاه به بخشهای بالاتر زنجیرهٔ تأمین منتقل میشود. اجارهٔ محاسبات بیشتر (compute) همانطور که افزایش تعداد کامیونها راهبندان را رفع نمیکند، مشکل کمبود حافظه را حل نخواهد کرد؛ چون بسیاری از بارهای کاری یادگیری ماشین به جای صرفاً توان محاسباتی، به پهنای باند و ظرفیت حافظهٔ نزدیک به شتابدهنده وابستهاند. از سوی دیگر، طراحی سختافزار سفارشی و یکپارچگی عمودی میتواند تا حدودی بهینهسازیهای خاصی را فراهم کند؛ اما حتی شرکتهایی با منابع وسیع هم در برابر محدودیتهای بازار تولید حافظه آسیبپذیرند.
این مشکل فقط یک دردسر شرکتی نیست؛ پژوهش هم تحت تأثیر قرار میگیرد. آزمایشها و اعتبارسنجی در مقیاس بزرگ به دسترسی به ظرفیت قابل توجهی از حافظه نیاز دارد؛ بدون آن، تیمهایی در گوگل، متا، اوپنایآی و دیگر بازیگران بزرگ برای دسترسی به منابع محدود با یکدیگر رقابت میکنند. این رقابت منابع نحوهٔ اولویتبندی پژوهش را تغییر میدهد: ایدههای پرریسک یا آزمایشی ممکن است هرگز به مقیاسی که برای اثبات کارآمدی لازم است دست نیابند، در حالی که کارهای محافظهکارتر و تدریجی منابع سختافزاری را اشغال میکنند. علاوه بر این، پروژههای مرتبط با آموزش مدلهای چندمیلیارد پارامتری یا سیستمهای با نیاز حافظهٔ زیاد (مثل مدلسازی توزیعشده، چکپوینتهای مکرر و همگامسازی حالت در خوشهها) ممکن است به تعویق بیفتند یا به سمت معماریهایی با کارایی پایینتر سوق داده شوند تا با محدودیتهای حافظه تطابق یابند.
در میدان عمل، سازندگان چیپ اکنون بین سفارشهای مشتریان هوش مصنوعی که خواهان صفحات حافظهٔ عظیماند و مشتریان سنتی الکترونیک مصرفی که توقع عرضهٔ پیوسته دارند، تقسیم شدهاند. بعضی از تولیدکنندگان قراردادهای موجود را موقتاً متوقف میکنند تا خروجی خود را به سمت نیازهای مراکز داده هدایت کنند؛ برخی دیگر قیمتها را افزایش میدهند. هر حرکت بازار را دگرگون میسازد: مصرفکنندگان هزینهٔ بیشتری میپردازند و گروههای پژوهشی برای دریافت سهم خود از منابع صبر بیشتری میکنند یا مجبور میشوند به روشهای جایگزین تکیه کنند. این استراتژیها همچنین میتوانند بر رقابت بین شرکتها تأثیر بگذارند؛ شرکتهایی که به حافظهٔ بیشتر دسترسی دارند میتوانند روند توسعه را سریعتر پیش ببرند و برتری موقتی کسب کنند که به نوبهٔ خود باعث تمرکز قدرت محاسباتی و دادهای خواهد شد.
پس چه عواملی میتواند این معادله را تغییر دهد؟ سرمایهگذاری در کارخانههای جدید تولید حافظه کمک میکند، اما ساخت ظرفیت نیمههادی زمانبر و پرهزینه است و سالها طول میکشد تا خطوط تولید جدید راهاندازی شوند و به ظرفیت عملیاتی برسند. در کوتاهمدت، نوآوریهای نرمافزاری مانند کمدقتسازی (quantization)، فشردهسازی حافظه، برشدادن مدلها (model pruning)، روشهای توزیع کارآمدتر، استفاده از حافظهٔ غیرفرار سریع و بهبود الگوریتمهای تمرین میتوانند کار بیشتری را از همان چیپها بیرون بکشند. تغییرات معماری مدلها — برای مثال طراحی مدلهایی با نیاز حافظه کمتر یا تقسیم بار هوشمند بین حافظهٔ محلی و حافظهٔ سرویسدهنده — نیز میتوانند اشتهای حافظه را کاهش دهند. شرکتهایی که پشتهٔ عمودی یکپارچه دارند — یعنی آنهایی که چیپ خود را طراحی میکنند و کنترل شبکهٔ ابری و مراکز دادهٔ خود را دارند — تا حدی در برابر این شوکها مصون خواهند بود؛ اما تابآوری صنعت به گسترش ظرفیت کلی تولید و تخصیص هوشمندانهٔ سختافزار محدود بستگی دارد. سیاستهای ابرمحاسباتی، برنامهریزی ظرفیت در سطح ملی و بینالمللی و تعامل میان تولیدکنندگان حافظه و مصرفکنندگان بزرگ نیز نقش کلیدی در مدیریت این چالش خواهند داشت.
کمبود سختافزار یک مشکل گذرا نیست؛ بلکه یک محدودیت ساختاری است که اولویتهای پژوهشی، زمانبندی محصولات و قیمتها در سراسر اکوسیستم فناوری را بازتعیین خواهد کرد. این واقعیت به معنای بازنگری در تصمیمگیریهای سرمایهگذاری برای شرکتها، برنامهریزی پژوهشی بلندمدت برای دانشگاهها و آزمایشگاهها و احتمالاً تنظیم سیاستهای صنعتی برای جلوگیری از تمرکز نامتناسب منابع در دست بازیگران بزرگ است. افزون بر این، پیامدهای اقتصادی این محدودیت میتواند موجب افزایش هزینهٔ خدمات ابری، افزایش قیمت سرورها و کاهش دسترسی به فناوریهای پیشرفته برای تازهواردان صنعت گردد.
خلاصه اینکه: رقابت تسلیحاتی در حوزهٔ هوش مصنوعی اکنون از مسیر حافظه میگذرد. تا زمانی که عرضه با اشتیاق بازار همگام نشود، پیشرفتها بهصورت ناپیوسته و مرحلهای ظاهر خواهند شد و نه در قالب رژهای یکنواخت از بهروزرسانیها و عرضهها. این وضعیت نیازمند راهکارهای چندجانبه — سرمایهگذاری طولانیمدت در تولید حافظه، نوآوری در نرمافزار و معماری مدل، و سازوکارهای تخصیص عادلانهٔ منابع — است تا روند توسعهٔ هوش مصنوعی محافظت شده، پایدار و فراگیر باقی بماند.
منبع: smarti
ارسال نظر