Google Mengklaim TPU v4-nya Mengungguli Nvidia A100

Sebuah makalah ilmiah baru dari Google merinci kinerja platform superkomputer Cloud TPU v4, mengklaimnya memberikan kinerja exascale untuk pembelajaran mesin dengan peningkatan efisiensi.

Penulis makalah penelitian mengklaim TPU v4 1,2x–1,7x lebih cepat dan menggunakan daya 1,3x–1,9x lebih sedikit daripada Nvidia A100 dalam sistem berukuran serupa. Makalah tersebut mencatat bahwa Google belum membandingkan TPU v4 dengan GPU Nvidia H100 yang lebih baru karena ketersediaannya yang terbatas dan arsitektur 4nm (vs arsitektur 7nm TPU v4).

Karena model pembelajaran mesin telah tumbuh lebih besar dan lebih kompleks, demikian pula kebutuhan sumber daya komputasi mereka. Unit Pemrosesan Tensor (TPU) Google adalah akselerator perangkat keras khusus yang digunakan untuk membuat model pembelajaran mesin, khususnya jaringan saraf dalam.

Mesin ini dioptimalkan untuk operasi tensor dan dapat secara signifikan meningkatkan efisiensi dalam pelatihan dan inferensi model ML skala besar. Google mengatakan kinerja, skalabilitas, dan ketersediaan menjadikan superkomputer TPU sebagai pekerja keras model bahasa besarnya seperti LaMDA, MUM, dan PaLM.

CEO Google Sundar Pichai mengumumkan TPU v4 di Google I/O 2021. (Sumber: Google)

Superkomputer TPU v4 berisi 4.096 chip yang saling terhubung melalui sakelar sirkuit optik (OCS) berpemilik, yang diklaim Google lebih cepat, lebih murah, dan menggunakan lebih sedikit daya daripada InfiniBand, teknologi interkoneksi populer lainnya. Google mengklaim teknologi OCS-nya kurang dari 5% dari biaya dan daya sistem TPU v4, menyatakannya secara dinamis mengkonfigurasi ulang topologi interkoneksi superkomputer untuk meningkatkan skala, ketersediaan, pemanfaatan, modularitas, penerapan, keamanan, daya, dan kinerja.

Insinyur Google dan penulis makalah Norm Jouppi dan David Patterson menjelaskan dalam postingan blog bahwa berkat inovasi utama dalam teknologi interkoneksi dan akselerator khusus domain (DSA), Google Cloud TPU v4 memungkinkan lompatan hampir 10x dalam penskalaan kinerja sistem ML dibandingkan TPU v3. Ini juga meningkatkan efisiensi energi sekitar 2-3x dibandingkan dengan DSA ML kontemporer dan mengurangi CO2e sekitar 20x dibandingkan DSA dalam apa yang oleh perusahaan disebut sebagai pusat data lokal biasa.

Sistem TPU v4 telah beroperasi di Google sejak 2020. Chip TPU v4 diluncurkan pada konferensi pengembang I/O 2021 perusahaan. Google mengatakan superkomputer secara aktif digunakan oleh tim AI terkemuka untuk penelitian dan produksi ML di seluruh model bahasa, sistem pemberi rekomendasi, dan AI generatif lainnya.

Mengenai sistem pemberi rekomendasi, Google mengatakan superkomputer TPU-nya juga yang pertama dengan dukungan perangkat keras untuk penyematan, komponen kunci Model Rekomendasi Pembelajaran Mendalam (DLRM) yang digunakan dalam periklanan, peringkat pencarian, YouTube, dan Google Play. Hal ini karena setiap TPU v4 dilengkapi dengan SparseCores, yang merupakan prosesor aliran data yang mempercepat model yang mengandalkan penyematan sebesar 5x–7x tetapi hanya menggunakan 5% area die dan daya.

Seperdelapan pod TPU v4 dari kluster ML Google yang berlokasi di Oklahoma, yang diklaim perusahaan beroperasi dengan ~90% energi bebas karbon.   (Sumber: Google)

Midjourney, startup AI text-to-image, baru-baru ini memilih TPU v4 untuk melatih versi keempat dari model penghasil gambarnya: “Kami bangga dapat bekerja sama dengan Google Cloud untuk memberikan pengalaman yang lancar bagi komunitas kreatif kami yang diberdayakan oleh Google secara global.

Infrastruktur yang dapat diskalakan,” kata David Holz, pendiri dan CEO Midjourney dalam posting blog Google. “Mulai dari melatih versi keempat algoritme kami pada TPU v4 terbaru dengan JAX, hingga menjalankan inferensi pada GPU, kami terkesan dengan kecepatan TPU v4 yang memungkinkan pengguna kami mewujudkan ide cemerlang mereka.”

Superkomputer TPU v4 tersedia untuk peneliti dan pengembang AI di kluster ML Google Cloud di Oklahoma, yang dibuka tahun lalu. Pada kinerja agregat puncak sembilan exaflops, Google yakin cluster ini adalah hub ML terbesar yang tersedia untuk umum yang beroperasi dengan 90% energi bebas karbon. Lihat makalah penelitian TPU v4 di sini.