CUDA / 深度学习 / 多相流仿真 / LLM Agent / 量化系统https://qianakuma.xyz/Firefly6.13.8https://github.com/CuteLeaf/Firefly2026年7月15日 09:54:36https://qianakuma.xyz/posts/2026-07-10-cuda-wmma-fragment/https://qianakuma.xyz/posts/2026-07-10-cuda-wmma-fragment/整理 wmma::fragment、load_matrix_sync、mma_sync 和 store_matrix_sync 的基本关系。Fri, 10 Jul 2026 00:00:00 GMT<section><h2>今天学习内容<a href="#今天学习内容"><span>#</span></a></h2><p>今天主要理解了 WMMA 的基本流程：</p><ol> <li><code>wmma::fragment</code> 用来声明矩阵小块；</li> <li><code>wmma::load_matrix_sync</code> 从全局内存或共享内存加载 tile；</li> <li><code>wmma::mma_sync</code> 在 Tensor Core 上执行矩阵乘加；</li> <li><code>wmma::store_matrix_sync</code> 把结果写回内存。</li> </ol></section> <section><h2>我的理解<a href="#我的理解"><span>#</span></a></h2><p>WMMA 可以看作 CUDA 对 Tensor Core 的高级封装。</p><p>它不是让每个 thread 单独算一个元素，而是让一个 warp 协作完成一个小矩阵乘法。</p></section> <section><h2>后续问题<a href="#后续问题"><span>#</span></a></h2><ul> <li>WMMA 的 fragment 具体如何映射到 warp 内线程？</li> <li><code>wmma::load_matrix_sync</code> 对内存布局有什么要求？</li> <li>WMMA 和 MMA 指令有什么区别？</li> </ul></section>