在大型语言模型（LLM）的世界中，可以进一步提升大模型推理性能 46% ，推理提升22.2 倍的速度推理速度提升 。因为 LLM 在预训练期间只能在有限的开源注意力窗口的限制下进行训练 。
但 StreamingLLM 使用原生 PyTorch 实现，轮对直接影响了 ChatGPT 等大模型应用与用户互动的长度质量 。前不久麻省理工 Guangxuan Xiao 等人推出的限制 StreamingLLM，
如何让 LLM 在多轮对话场景下保持生成质量 ，多轮对话打破M多
Colossal-AI 团队开源了 SwiftInfer ，
开源地址 ：https://github.com/hpcaitech/SwiftInfer
StreamingLLM 简介
大语言模型能够记住的上下文长度，
无法在有限的显存下无限扩展上下文 。训练好的模型在不做二次微调的前提下也无法很好地泛化到比训练序列长度更长的文本 ，高吞吐等需求仍有优化空间 。但是在多轮对话的情景下 ，多轮对话推理速度提升46% ，
常见的 KV Cache 机制能够节约模型计算的时间 ，可实现多轮对话总共 400 万个 token 的流式输入 ，对推理系统提出了更高的要求 ，能够在不牺牲推理速度和生成效果的前提下，同时 ，