人工智能知识库

标签: Continuous-Batching

此标签下有1条笔记。

  • 2026年4月18日

    推理优化技术

    • KV-Cache
    • 投机解码
    • Speculative-Decoding
    • Continuous-Batching
    • CUDA-Graph
    • 推理优化
    • vLLM
    • TensorRT-LLM

Created with Quartz v4.5.2 © 2026

  • GitHub