证明生成的过程中,约有60%的时间花在MSM上,其余时间由NTT/FTT主导。MSM和NTT都存在性能挑战,通常的解决办法:
●MSM可以在多线程上执行,从而支持并行处理。然而,当处理大型数据向量时,例如6700万个参数,乘法运算可能仍然很慢,并且需要大量的内存资源。此外,MSM存在可扩展性方面的挑战,即使在广泛并行化的情况下也可能保持缓慢。
芯片的硬件指的是运行指令的物理平台,包括处理器、内存、存储设备等等。芯片数据中常出现的“晶体管数量”、“7nm制程”、“存储”等,往往指的就是硬件参数。
软件则包括固件、驱动程序、操作系统、应用程序、算子、编译器和开发工具、模型优化和部署工具、应用生态等等。这些软件指导硬件如何响应用户指令、处理数据和任务,同时通过特定的算法和策略优化硬件资源的使用。芯片数据中常出现的“x86指令集”、“深度学习算子”、“CUDA平台”等,往往指的就是芯片软件。
为了打破英伟达一家独大的局面,前任全球芯片老大英特尔和多年老对手AMD对标CUDA都分别推出了OneAPI和ROCm,Linux基金会更是联合英特尔、谷歌、高通、ARM、三星等公司联合成立了民间号称“反CUDA联盟”的UXL基金会,以开发全新的开源软件套件,让AI开发者能够在基金会成员的任何芯片上进行编程,试图让其取代CUDA,成为AI开发者的开发平台。
早在2021年,英伟达就曾公开表示过“禁止使用转换层在其他硬件平台上运行基于CUDA的软件”,2024年3月,英伟达更是将其升级为“CUDA禁令”,直接添加在了CUDA的终用户许可协议中,已禁止用转译层在其他GPU上运行CUDA软件