Thị trường AI hiện đang rất cần một giải pháp thế hệ mới để khắc phục tình trạng tắc nghẽn trong kết nối này, và có vẻ như Broadcom đang phát triển một giải pháp dựa trên quang học gần gũi hơn với chip.
HƯỚNG TỚI TƯƠI LAI: Chúng ta đang tiến gần đến thời điểm mà các kết nối đồng truyền thống sẽ không đủ khả năng mang dữ liệu để khai thác tối đa GPU và các chip chuyên dụng khác.
Broadcom đang nghiên cứu công nghệ photon silicon mới nhằm tăng cường đáng kể băng thông cho GPU và các bộ tăng tốc AI khác. Bằng cách sử dụng quang học tích hợp (CPO), nhà sản xuất chip không có xưởng định hướng tới việc tích hợp các thành phần kết nối quang học trực tiếp vào GPU, giúp nâng cao tốc độ dữ liệu đồng thời giảm nhu cầu về năng lượng.
Công ty đã làm việc với các giải pháp CPO trong vài năm qua và đã trình diễn những tiến bộ mới nhất của mình tại hội nghị Hot Chips gần đây. “Động cơ quang học” của Broadcom được cho là cung cấp băng thông kết nối tổng cộng đạt 1,6 TB/giây, tương đương với 6,4 Tbit/giây hoặc 800 GB/giây ở mỗi chiều.
Kết nối mới này có thể cung cấp truyền tải dữ liệu “không lỗi” đến một chiplet duy nhất, đạt hiệu suất tương đương với NVLink của Nvidia và các giải pháp trung tâm dữ liệu chuyên dụng khác. Tuy nhiên, Broadcom vẫn chưa tích hợp các kết nối quang học của mình vào một GPU sẵn sàng đưa ra thị trường như A100 hay MI250X. Thay vào đó, họ đã sử dụng một chip thử nghiệm được thiết kế để mô phỏng một GPU thực tế cho mục đích trình diễn.
Theo Manish Mehta, phó giám đốc bộ phận hệ thống quang học của Broadcom, các kết nối đồng bắt đầu suy giảm hiệu suất sau chỉ 5 mét. Mặc dù truyền thông quang đã lâu được coi là giải pháp cho vấn đề suy giảm tín hiệu này, nhưng chúng thường yêu cầu mức tiêu thụ năng lượng cao hơn nhiều so với công nghệ dựa trên đồng.
Chẳng hạn, Nvidia ước tính rằng một hệ thống NVL72 sử dụng quang sẽ cần thêm 20 kilowatt cho mỗi giá, ngoài 120 kilowatt mà hệ thống đã tiêu thụ.
Broadcom đã thành công trong việc giảm mức tiêu thụ năng lượng nhờ vào việc sử dụng quang học hợp tác, đưa các bộ chuyển đổi quang riêng lẻ tiếp xúc trực tiếp với GPU. Công ty đã sử dụng công nghệ đóng gói chip trên wafer trên nền tảng (CoWoS) của TSMC để kết nối một cặp bộ nhớ băng thông cao với die tính toán. Các thành phần logic và bộ nhớ của chip nằm trên một interposer silicon, trong khi động cơ quang của Broadcom nằm trên nền tảng.
Mehta đã giải thích rằng công nghệ CPO có thể kết nối tới 512 GPU riêng lẻ qua tám giá, cho phép toàn bộ hệ thống hoạt động như một khối duy nhất. So với đó, Nvidia’s NVL72 có thể đạt được khả năng tính toán thống nhất tương tự với “chỉ” 72 GPU, cho thấy rằng giải pháp của Broadcom có thể mang lại lợi thế cạnh tranh cho những khối lượng công việc AI thế hệ tiếp theo.
Theo Techspot