电科技6月17日消息,这几年GPU显卡的算力几乎完全转向了AI方向,从FP32到FP16到FP8,马上就要普及FP4了,性能一路飙升。
然而AI算力跟传统的HPC高性能计算需要的算力已经背离了,后者对精度要求很高,因此FP64性能至关重要,TOP500榜单上大多数超算还是要看FP64性能的,否则很多科学计算就没法搞。
但是FP64对GPU的要求同样很高,资深的DIY玩家还记得十几年前Kepler架构GPU是如何精简FP64单元的吧,从FP32:FP64的2:1一路精简到了64:1,游戏卡跟计算卡在FP64上分道扬镳了。
最近有篇论文《FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail》引发了HPC社区的热议,文章提出的一种观点就是用FP8架构的硬件来模拟FP64性能,以后算力就狂堆FP8单元了,引发了对FP64硬件设计被GPU厂商放弃的热议。
AMD公司AI与超算业务总监Joseph George也参与了讨论,代表AMD表态了,那就是精度非常重要,AMD不会放弃FP64算力而只支持FP8。
AMD的Instinct系列GPU支持Ozaki——后者就是用论文提到的用FP8模拟FP64的软件,但George表示AMD的客户也没要求将FP64单元从GPU中移除进而专注AI适用的低精度算力。
George表示AMD在这个问题上的立场是科学家如果想把业务跑在FP4、FP6、FP8,那请随意,如果要用Ozaki来软件模拟,AMD的GPU也支持,如果想原生运行FP64,AMD也希望他们这么做。
他表示AMD唯一想做的就是聚焦科学,专注于让答案尽可能准确。
总之,AMD在这方面的观点就是他们不做选择,给科学家们提供所有算力支持,不论是AI用的FP8还是科学计算用的FP64,全都要才是答案。

