آرایه‌های سیستولیک: سلول پایه شتاب دهنده‌های شبکه‌های عصبی عمیق

چکیده: طی چند سخنرانی گذشته توسط مهندس محمدی، دکتر کلباسی و خودم زمینه لازم برای بررسی جزئیات شتاب‌دهنده‌ها در DNN فراهم شده است. به عنوان مثال در سخنرانی‌های گذشته متوجه شدیم که طراحی سخت‌افزاری دامنه محور و یا خاص منظوره چیست. در این سخنرانی قصد دارم در آغاز مدل MISD را معرفی کنم. چه مدل معماری موازی SIMD و چه MISD هردو جزو مدل‌های مورد استفاده در طراحی سخت‌افزاری دامنه محور محسوب می‌شوند. Vector Processorها و GPUها از مدل معماری موازی SIMDنشات گرفته اما آرایه های سیستولیک از مدل MISD تبعیت می‌کنند که البته تمرکز این سخنرانی روی همین دسته است. در ادامه و طی یک مثال ساده کانولوشن، نحوه بکارگیری آرایه‌های سیستولیک در برنامه‌های کاربردی موازی منظم را توضیح خواهم داد. در پایان یک معماری ساده برای آرایه‌های سیستولیک ارائه می‌کنم و مسیرهای پژوهش جدیدی را در این زمینه عنوان خواهم کرد. تقریبا در تمامی شتاب‌دهنده‌های شبکه‌های عصبی عمیق مانند Google TPU و Microsoft Catapult از آرایه‌های سیستولیک به عنوان سلول پایه طراحی استفاده شده است چرا که هسته اصلی DNNها کانولوشن است و عملیات پایه آن خوراک ارایه‌های سیستولیک می‌باشد. این سخنرانی بطور عام برای دوستانی ارزشمند است که به معماری کامپیوتر علاقه دارند. اما بطور خاص عزیزانی…