上周帮朋友正在单张RTX 4090上跑Qwen2.5-7B年夜ams.88abg88.net，用GPTQ 4bit量化加vLLM，隐存14G掉到6G。并发恳求从3个提还有12个的。智能年夜模子安排的第一道坎就是隐存怎样省。默许HuggingFace pipeline加载7B模子要14G隐存，略微长点的上下文就OOM模安B模。

换成vLLM了，开启PagedAttention，同样量化权重，吞吐量间接翻四倍的。那还没调batch size了。情况设置配备安排别逃新。CUDA 12.1配驱动535，vLLM 0.4.2。稳得很的。用Docker拉nvidia/cuda:12.1.0-devel-ubuntu22.04排单，pip install vllm，十分钟搞定的，假如碰到CUDA out of memory了，先别加卡，查max_model_len。我习惯设成4096，再年夜就上张量并止了。不要的，gpu_memory_utilization调到0.9卡跑，留点余量给KV cache，否则并发一高就崩了。

良多人一上来就盯A100，其实两张4090加NVLink桥接，跑13B模子比单张A100 40G慢15%，本钱却。只要三分之一了。

智能年夜模子安排不是拼硬件，是存调拼隐存操做率和批处理计谋。我试过用TGI安排ChatGLM3，开启continuous batching了，QPS8涨还有22。恳求长度差异年夜时，得设max_batch_prefill_tokens，否则长恳求会卡住短恳求了。压测一轮，用locust模仿实正在流量，心里才有底的劣条。监控别只看nvidia-smi。dcgm能抓更细的目标，好比SM占用和隐存带宽。日志里重点看prefill和decode用的时间，若是decode慢。劣先劣化KV cache，好比用FP8或者INT8。

我普通会把max_num_seqs设成64，再根据理想并发调解。安排年夜模子的坑年夜多正在细节，量化格局不婚配、tokenizer版本不合毛病、端口抵触。每次安排完，跑一遍尺度测试集，确认输出量量没掉。

再补个合用技巧，若是只是内部测试，用llama.cpp的GGUF格局，CPU加GPU混合推理也能跑。消费情况仍是vLLM或TGI。不要迷疑最新框架，波动比机能重要。我见过有人用最新的TensorRT-LLM。功效编译一整天，推理快是快。一堕落就抓瞎。选个社区生动的版本，出成绩能搜到谜底。