• root's avatar
    docs: 新增性能优化技术总结 + start_flash.sh 回退 num_spec=3 · 3b1cc82b
    root authored
    
    
    - 新增 docs/aiter+flash.optimize.md: 两阶段优化技术总结
      (阶段一 aiter w4a16 GEMM + 阶段二 flash fp8 KV + head_dim=512)
      涵盖优化原理、瓶颈定位、关键决策、踩坑记录、MTP 调参分析、稳定性排查
    - README.md: 加 docs/ 目录树入口 + 技术总结引用链接
    - start_flash.sh: ATTN_FLASH_PREFILL 注释修正(=0 会崩,必须=1);
      num_speculative_tokens 改回 3(生产稳妥,接受率98%)
    - DEPLOY.md: bench 命令改 vllm bench serve --random-input-len 5120;
      性能表更新为最新实测(TPOT 35.02ms / 接受率 98.08%)
    Co-Authored-By: default avatarClaude <noreply@anthropic.com>
    3b1cc82b
README.md 7.39 KB