硬件层面，也就是所谓的硬件加速， CPU、GPU、FPGA、ASIC。CPU与GPU相比在大数据多任务处理上，肯定GPU更占优势。FPGA与GPU相比，在兼顾了灵活性的基础上，无论是计算能力和功耗性能上都要更强，缺点是性价比太低。ASIC是的，其他的硬件形态都是无法比拟的。
芯片的硬件指的是运行指令的物理平台，包括处理器、内存、存储设备等等。芯片数据中常出现的“晶体管数量”、“7nm制程”、“存储”等，往往指的就是硬件参数。
软件则包括固件、驱动程序、操作系统、应用程序、算子、编译器和开发工具、模型优化和部署工具、应用生态等等。这些软件指导硬件如何响应用户指令、处理数据和任务，同时通过特定的算法和策略优化硬件资源的使用。芯片数据中常出现的“x86指令集”、“深度学习算子”、“CUDA平台”等，往往指的就是芯片软件。
为了打破英伟达一家独大的局面，前任全球芯片老大英特尔和多年老对手AMD对标CUDA都分别推出了OneAPI和ROCm，Linux基金会更是联合英特尔、谷歌、高通、ARM、三星等公司联合成立了民间号称“反CUDA联盟”的UXL基金会，以开发全新的开源软件套件，让AI开发者能够在基金会成员的任何芯片上进行编程，试图让其取代CUDA，成为AI开发者的开发平台。
早在2021年，英伟达就曾公开表示过“禁止使用转换层在其他硬件平台上运行基于CUDA的软件”，2024年3月，英伟达更是将其升级为“CUDA禁令”，直接添加在了CUDA的终用户许可协议中，已禁止用转译层在其他GPU上运行CUDA软件