-
root authored
- 新增 docs/aiter+flash.optimize.md: 两阶段优化技术总结 (阶段一 aiter w4a16 GEMM + 阶段二 flash fp8 KV + head_dim=512) 涵盖优化原理、瓶颈定位、关键决策、踩坑记录、MTP 调参分析、稳定性排查 - README.md: 加 docs/ 目录树入口 + 技术总结引用链接 - start_flash.sh: ATTN_FLASH_PREFILL 注释修正(=0 会崩,必须=1); num_speculative_tokens 改回 3(生产稳妥,接受率98%) - DEPLOY.md: bench 命令改 vllm bench serve --random-input-len 5120; 性能表更新为最新实测(TPOT 35.02ms / 接受率 98.08%) Co-Authored-By:
Claude <noreply@anthropic.com>3b1cc82b