کارت گرافیگ انویدیا NVIDIA H200 NVL 141GB HBM3e PCIe

NVIDIA H200 NVL 141GB HBM3e PCIe

H200 NVL یک کارت گرافیک حرفه‌ای از شرکت NVIDIA است که در تاریخ ۱۸ نوامبر ۲۰۲۴ معرفی شد. این کارت بر اساس فرآیند ۵ نانومتری ساخته شده و از پردازنده گرافیکی GH100 استفاده می‌کند. این کارت از DirectX پشتیبانی نمی‌کند. از آنجا که H200 NVL از DirectX 11 یا DirectX 12 پشتیبانی نمی‌کند، ممکن است قادر به اجرای تمامی بازی‌ها نباشد. پردازنده گرافیکی GH100 یک چیپ بزرگ با مساحت سطح ۸۱۴ میلی‌متر مربع برای ۸۰ میلیارد ترانزیستور است. این پردازنده دارای ۱۶۸۹۶ واحد سایه‌زنی، ۵۲۸ واحد نقشه‌برداری بافت و ۲۴ واحد ROP است. علاوه بر این، ۵۲۸ هسته تنسور نیز وجود دارد که به بهبود سرعت برنامه‌های یادگیری ماشینی کمک می‌کند. NVIDIA برای کارت دیتاسنتر H200 NVL از ۱۴۱ گیگابایت حافظه از نوع HBM3e در نظر گرفته است که از طریق یک رابط حافظه ۶۱۴۴ بیتی به هم متصل شده‌اند. پردازنده گرافیکی با فرکانس ۱۳۶۵ مگاهرتز کار می‌کند که می‌تواند تا ۱۷۸۵ مگاهرتز تقویت شود و حافظه با فرکانس ۱۵۹۳ مگاهرتز عمل می‌کند.

به عنوان یک کارت دو اسلاته، NVIDIA H200 NVL از یک کانکتور برق ۸ پین EPS برای تأمین برق استفاده می‌کند که حداکثر مصرف برق آن ۶۰۰ وات است. این دستگاه هیچ‌گونه اتصال صفحه‌نمایشی ندارد، زیرا برای اتصال مانیتورها طراحی نشده است. H200 NVL از طریق یک رابط PCI-Express 5.0 x16 و یک درگاه NVLink جدید به شکل 4Way به سایر سیستم و کارت گرافیک ها متصل می‌شود. ابعاد این کارت ۲۶۷ میلی‌متر طول، ۱۱۱ میلی‌متر عرض و دارای یک راه‌حل خنک‌کننده دو اسلاته است.

NVIDIA H200 NVL PCIe

عملکرد بی‌سابقه، مقیاس‌پذیری و امنیت برای هر مرکز داده

کارت گرافیک NVIDIA H200 NVL Tensor Core یک جهش بزرگ در مقیاس AI (هوش مصنوعی) و HPC (محاسبات با عملکرد بالا) ایجاد می‌کند، با عملکرد، مقیاس‌پذیری و امنیت بی‌سابقه برای هر مرکز داده، و شامل مجموعه نرم‌افزاری NVIDIA AI Enterprise است که توسعه و استقرار هوش مصنوعی را ساده می‌کند. H200 بارهای کاری مقیاس اکس‌اسکیل (Exascale) را با موتور اختصاصی Transformer Engine برای مدل‌های زبانی LLMs با تریلیون پارامتر تسریع می‌کند. برای کارهای کوچک‌تر، H200 می‌تواند به تقسیمات MIG (Multi-Instance GPU) با اندازه مناسب تقسیم شود. با استفاده از Hopper Confidential Computing، این قدرت محاسباتی مقیاس‌پذیر می‌تواند برنامه‌های حساس را بر روی زیرساخت‌های اشتراکی مرکز داده ایمن کند. گنجاندن NVIDIA AI Enterprise در خریدهای H200 NVL PCIe زمان توسعه را کاهش داده و استقرار بارهای کاری هوش مصنوعی را ساده می‌کند و H200 را به قدرتمندترین پلتفرم مرکز داده AI و HPC انتها به انتها (End-to-End) تبدیل می‌کند.

معماری NVIDIA Hopper عملکرد، مقیاس‌پذیری و امنیت بی‌سابقه‌ای را به هر مرکز داده ارائه می‌دهد. Hopper بر اساس نسل‌های قبلی از قابلیت‌های جدید هسته محاسباتی، مانند Transformer Engine، تا شبکه‌سازی سریع‌تر ساخته شده است تا مرکز داده را با سرعتی یک‌سویه نسبت به نسل قبلی تقویت کند. NVIDIA NVLink پهنای باند فوق‌العاده بالا و تأخیر بسیار پایین را بین دو برد H200 NVL پشتیبانی می‌کند و از تجمیع حافظه و مقیاس‌پذیری عملکرد (که به پشتیبانی از برنامه نیاز دارد) پشتیبانی می‌کند. MIG نسل دوم GPU را به بخش‌های مجزای با اندازه مناسب تقسیم می‌کند تا QoS (کیفیت خدمات) را برای ۷ برابر بیشتر مستاجران ایمن‌سازی کند. گنجاندن NVIDIA AI Enterprise (که ویژه H200 NVL PCIe است)، مجموعه نرم‌افزاری است که توسعه و استقرار گردش‌های کاری AI شتاب‌دهنده را بهینه می‌کند و از طریق این نوآوری‌های معماری جدید H200 عملکرد را به حداکثر می‌رساند. این پیشرفت‌های فناوری، H200 Tensor Core GPU را به قدرتمندترین GPU ساخته شده تا به امروز تبدیل می‌کند.

پیشرفته‌ترین تراشه جهان

ساخته شده با ۸۰ میلیارد ترانزیستور با استفاده از فرآیند پیشرفته TSMC 4N که به طور خاص برای نیازهای محاسبات شتاب‌دهی‌شده NVIDIA طراحی شده است، H200 پیشرفته‌ترین تراشه‌ای است که تاکنون ساخته شده است. این تراشه پیشرفت‌های عمده‌ای را برای شتاب‌دهی به AI (هوش مصنوعی)، HPC (محاسبات با عملکرد بالا)، پهنای باند حافظه، ارتباطات داخلی و ارتباطات در مقیاس مرکز داده به همراه دارد.

ویژگی‌های پیشرفته اجرای آسنکرون (Asynchronous Transaction)

ویژگی‌های جدید اجرای آسنکرون شامل یک واحد Tensor Memory Accelerator (TMA) است که می‌تواند بلوک‌های بزرگی از داده‌ها را به صورت بسیار کارآمد بین حافظه جهانی و حافظه مشترک جابه‌جا کند. TMA همچنین از کپی‌های آسنکرون بین Thread Blocks در یک Cluster پشتیبانی می‌کند. علاوه بر این، یک Asynchronous Transaction Barrier جدید برای انجام حرکت‌های داده‌ای اتمیک و همگام‌سازی وجود دارد.

**معماری **NVIDIA Hopper

NVIDIA H200 Tensor Core GPU که توسط معماری GPU NVIDIA Hopper تغذیه می‌شود، جهش عظیمی را در عملکرد محاسبات شتاب‌دهی‌شده برای پلتفرم‌های مرکز داده NVIDIA ارائه می‌دهد. H200 بارهای کاری متنوعی را از بارهای کاری کوچک سازمانی، تا exascale HPC و مدل‌های AI با تریلیون پارامتر شتاب‌دهی می‌کند. این کارت با استفاده از فرآیند TSMC 4N که برای NVIDIA سفارشی‌سازی شده و دارای ۸۰ میلیارد ترانزیستور است، و با گنجاندن پیشرفت‌های معماری متعدد، پیشرفته‌ترین تراشه‌ای است که تاکنون ساخته شده است.

هسته‌های تنسور نسل چهارم

هسته‌های تنسور نسل چهارم جدید تا ۶ برابر سریع‌تر از A100 در ارتباطات تراشه به تراشه هستند، از جمله شتاب‌دهی در سطح هر SM، افزایش تعداد SM و فرکانس‌های بالاتر H200. در هر SM، هسته‌های تنسور ۲ برابر نرخ‌های MMA (Matrix Multiply-Accumulate) محاسباتی A100 SM را در داده‌های معادل ارائه می‌دهند و ۴ برابر نرخ A100 را با استفاده از نوع داده جدید FP8، در مقایسه با گزینه‌های قبلی 16bit floating point فراهم می‌کنند. ویژگی Sparsity در H200 باعث بهره‌برداری از پراکندگی ساختاری دقیق در شبکه‌های یادگیری عمیق می‌شود و عملکرد عملیات هسته‌های تنسور استاندارد را دو برابر می‌کند.

فناوری پردازنده گرافیکی چند واحدی (نسل دوم MIG)

با معرفی MIG (Multi-Instance GPU) در Ampere، یک GPU می‌تواند به چندین Instance کوچکتر تقسیم شود که هر کدام دارای حافظه، کش و هسته‌های محاسباتی جداگانه هستند. معماری Hopper MIG را با پشتیبانی از پیکربندی‌های چند مستأجره و چند کاربره در محیط‌های مجازی‌سازی‌شده تا هفت GPU instance امن‌تر می‌کند و هر instance را با استفاده از محاسبات محرمانه در سطح سخت‌افزار و hypervisor ایزوله می‌کند. دیکودرهای ویدیویی اختصاصی برای هر MIG instance، تحلیل‌های ویدیویی هوشمند (IVA) با توان بالا و امنیت در زیرساخت‌های اشتراکی را ارائه می‌دهند. با MIG profiling همزمان در Hopper، مدیران می‌توانند شتاب‌دهی GPU را با اندازه مناسب نظارت کرده و تخصیص منابع را برای کاربران بهینه کنند. برای محققانی که بارهای کاری کوچکتری دارند، به جای اجاره یک CSP instance کامل، می‌توانند از MIG استفاده کنند تا بخشی از GPU را به‌طور امن ایزوله کنند و اطمینان حاصل کنند که داده‌هایشان در حالت سکون، در انتقال و در محاسبات ایمن است.

پشتیبانی از محاسبات محرمانه جدید (Built-In Confidential Computing)

راه‌حل‌های محاسبات محرمانه امروزی مبتنی بر CPU هستند که برای بارهای کاری محاسباتی سنگین مانند AI و HPC محدود هستند. NVIDIA Confidential Computing یک ویژگی امنیتی داخلی(Built-In) در معماری NVIDIA Hopper است که NVIDIA H200 را به اولین شتاب‌دهنده جهان با قابلیت‌های محاسبات محرمانه داخلی تبدیل می‌کند. کاربران می‌توانند محرمانگی و یکپارچگی داده‌ها و برنامه‌های خود را در حین استفاده محافظت کنند و در عین حال از شتاب‌دهی بی‌نظیر H200 بهره‌مند شوند. این ویژگی یک محیط اجرای مورد اعتماد (TEE) مبتنی بر سخت‌افزار ایجاد می‌کند که کل بار کاری اجرا شده بر روی یک GPU H200 واحد، چندین GPU H200 در یک گره، یا MIG instanceهای فردی را ایمن و ایزوله می‌کند. برنامه‌های شتاب‌دهی‌شده توسط GPU می‌توانند بدون تغییر در داخل TEE اجرا شوند و نیازی به تقسیم‌بندی ندارند. کاربران می‌توانند قدرت نرم‌افزار NVIDIA برای AI و HPC را با امنیت ریشه اعتماد سخت‌افزاری ارائه شده توسط NVIDIA Confidential Computing ترکیب کنند.

پراکندگی ساختاری (Structured Sparsity)

شبکه‌های AI بزرگ هستند و میلیون‌ها تا میلیاردها پارامتر دارند. همه این پارامترها برای پیش‌بینی دقیق نیاز نیستند و برخی از آن‌ها می‌توانند به صفر تبدیل شوند تا مدل‌ها “پراکنده” شوند بدون اینکه دقت مدل آسیب ببیند. هسته‌های تنسور در H200 می‌توانند تا ۲ برابر عملکرد بالاتری برای مدل‌های پراکنده ارائه دهند. در حالی که ویژگی پراکندگی بیشتر برای AI inference مفید است، می‌تواند عملکرد آموزش مدل را نیز بهبود بخشد.

موتور Transformer Engine شتاب‌دهنده AI، تا ۳۰ برابر عملکرد بالاتر

مدل‌های Transformer ستون فقرات مدل‌های زبانی (LLMs) هستند که امروزه به‌طور گسترده‌ای استفاده می‌شوند، از BERT تا GPT-3. این مدل‌ها ابتدا برای استفاده در پردازش زبان طبیعی (NLP) توسعه یافتند و انعطاف‌پذیری Transformer به‌طور فزاینده‌ای در بینایی کامپیوتری، کشف دارو و سایر زمینه‌ها به کار گرفته می‌شود. اندازه آن‌ها به طور تصاعدی افزایش می‌یابد و اکنون به تریلیون‌ها پارامتر رسیده است و زمان‌های آموزش آن‌ها به ماه‌ها کشیده شده که برای نیازهای کسب‌وکار غیرعملی است. Transformer Engine از نرم‌افزار و فناوری اختصاصی Hopper Tensor Core استفاده می‌کند که به‌طور خاص برای شتاب‌دهی به آموزش مدل‌هایی که از مهم‌ترین بلوک‌های ساخت مدل AI جهان، یعنی Transformer ساخته شده‌اند، طراحی شده است. Hopper Tensor Cores قابلیت استفاده از فرمت‌های دقت FP8 و FP16 را برای شتاب‌دهی محاسبات AI برای Transformerها دارند.

**زیرسیستم حافظه HBM3e

H200 مقادیر زیادی محاسبات را به مراکز داده می‌آورد. برای استفاده کامل از آن عملکرد محاسباتی، NVIDIA H200 NVL PCIe از حافظه HBM3e با پهنای باند حافظه ۴.۸۹ ترابایت در ثانیه (TB/sec) که ۲۵۰ درصد افزایش نسبت به نسل قبلی دارد، استفاده می‌کند. علاوه بر ۱۴۱ گیگابایت حافظه HBM3e، H200 شامل ۵۰ مگابایت L2 cache است. ترکیب این حافظه سریع‌تر HBM و کش بزرگ‌تر ظرفیت لازم برای شتاب‌دهی به مدل‌های AI محاسباتی فشرده را فراهم می‌آورد.

دستورات DPX جدید

برنامه‌نویسی پویا (Dynamic programming) یک تکنیک الگوریتمی برای حل مشکلات پیچیده بازگشتی است که با شکستن آنها به زیرمسئله‌های ساده‌تر، زمان و پیچیدگی حل مسائل نمایی را کاهش می‌دهد. با ذخیره نتایج زیرمسئله‌ها به‌گونه‌ای که نیازی به محاسبه دوباره آن‌ها نباشد، این روش باعث کاهش زمان و پیچیدگی حل مسائل می‌شود. برنامه‌نویسی پویا به طور معمول در دامنه وسیعی از موارد کاربرد استفاده می‌شود. به عنوان مثال، الگوریتم Floyd-Warshall یک الگوریتم بهینه‌سازی مسیر است که می‌تواند برای نقشه‌برداری کوتاه‌ترین مسیرها برای حمل و نقل و ناوگان‌های تحویل استفاده شود. الگوریتم Smith-Waterman برای هم‌راستاسازی دنباله‌های DNA و برنامه‌های تا خوردن پروتئین استفاده می‌شود. Hopper دستورالعمل‌های DPX را معرفی می‌کند تا الگوریتم‌های برنامه‌نویسی پویا را تا ۴۰ برابر (مقایسه دستورالعمل‌های DPU با CPU تا ۴۰ برابر) نسبت به CPUها و ۷ برابر نسبت به GPUهای معماری NVIDIA Ampere شتاب دهد. این باعث زمان‌های به‌طور چشمگیری سریع‌تر در تشخیص بیماری، بهینه‌سازی مسیرهای زمان واقعی و حتی تحلیل‌های گراف می‌شود.

**ویژگی جدید Thread Block Cluster

این ویژگی کنترل برنامه‌نویسی موقعیت مکانی را در دانه‌بندی بزرگ‌تر از یک Thread Block روی یک SM واحد امکان‌پذیر می‌سازد. این مدل برنامه‌نویسی CUDA را با افزودن یک سطح دیگر به سلسله‌مراتب برنامه‌نویسی گسترش می‌دهد تا شامل Threads، Thread Blocks، Thread Block Clusters و Grids شود. Clusters به چندین Thread Block این امکان را می‌دهند که به صورت همزمان بر روی چندین SM اجرا شوند و داده‌ها را به‌صورت همزمان همگام‌سازی کرده و با هم به اشتراک بگذارند.

NVIDIA NVLink نسل چهارم

این فناوری افزایش ۳ برابری پهنای باند در عملیات all-reduce و افزایش ۵۰ درصدی پهنای باند عمومی نسبت به نسل قبلی NVLink را ارائه می‌دهد. پهنای باند کل ۹۰۰ گیگابایت در ثانیه برای multi-GPU I/O فراهم می‌کند که نزدیک به ۵ برابر پهنای باند PCIe Gen 5 است.

PCIe Gen5 برای CPUها و DPUهای پیشرفته

H200 اولین GPU از NVIDIA است که از PCIe Gen5 پشتیبانی می‌کند و بالاترین سرعت‌های ممکن را با ۱۲۸ گیگابایت در ثانیه (دوطرفه) ارائه می‌دهد. این ارتباط سریع اتصال بهینه‌ای را با CPUهای با عملکرد بالا، همچنین با NVIDIA ConnectX-7 SmartNICs و BlueField-3 DPUs فراهم می‌کند که شتاب‌دهی شبکه Ethernet 400Gb/s یا NDR 400Gb/s InfiniBand را برای بارهای کاری امن HPC و AI فراهم می‌آورد.

آماده برای سازمان‌ها: نرم‌افزار AI توسعه و استقرار را ساده می‌کند

پذیرش AI در سازمان‌ها اکنون به روند اصلی تبدیل شده است و سازمان‌ها به زیرساخت‌های آماده برای AI نیاز دارند که آن‌ها را برای این دوران جدید آینده‌نگر کند. GPUهای NVIDIA H200 Tensor Core برای سرورهای اصلی (PCIe) همراه با نرم‌افزار NVIDIA AI Enterprise ارائه می‌شوند و AI را با بالاترین عملکرد در آموزش، استنتاج و داده‌کاوی برای تقریباً هر سازمانی قابل دسترس می‌سازند. NVIDIA AI Enterprise همراه با NVIDIA H200 ساخت یک پلتفرم آماده برای AI را ساده کرده، توسعه و استقرار AI را با پشتیبانی سطح سازمانی شتاب می‌دهد و عملکرد، امنیت و مقیاس‌پذیری لازم را برای به دست آوردن سریع‌تر بینش‌ها و دستیابی به ارزش تجاری سریع‌تر فراهم می‌کند.