Tags
2 个页面
NVFP4
为什么生产推理我默认 vLLM：从 NVFP4、Kernel 到 CUDA Graph
2× RTX 5060 Ti 16GB 能跑 27B 大模型吗？先把显存算清楚