cpp 。 1.10 vLLM 我们建议您在部署 Qwen 时尝试使用 vLLM 。它易于使用，且具有最先进的服务吞吐量、高效的注意力键值 内存管理（通过 PagedAttention 实现）、连续批处理输入请求、优化的 CUDA 内核等功能。要了解更多关于 vLLM 的信息，请参阅 论文 和 文档 。 1.10.1 安装 默认情况下，你可以通过 pip 来安装 vLLM ：pip install

如果模型从未编译。 4.2.3.4 predict predict(self, x, batch_size=None, verbose=0, steps=None) 为输入样本生成输出预测。 输入样本逐批处理。 参数 • x: 输入数据，Numpy 数组。 • batch_size: 整数。如未指定，默认为 32。 • verbose: 日志显示模式，0 或 1。 • steps: 声明预测结束之前的总步数（批次样本）。默认值