All pull requests

Pull requests

• 修复：思考块相关的两类静默结束故障（结束标记被提及时误判 / 只有思考没有正文）

  #765·zify9000 opened Oct 15, 2026Contributor·

  ·

• DeepSeek-V4.1 增加带图像的历史缓存

  #764·fluxlinkage opened Oct 10, 2026Contributor·

  ·

• 增加CUDA_NO_STD_20的CMake选项，解决某些GCC/CUDA版本下因C++20不完善导致无法编译的BUG。

  #763·fluxlinkage opened Oct 8, 2026Contributor·

  ·

• 修复 CPU 张量拷贝字节偏移的 int 溢出

  #762·coolthor opened Oct 6, 2026·

  ·

• Qwen3.5/DFlash: schedule short requests during long prefill (opt-in, depends on #755)

  #756·coolthor opened Sep 27, 2026·

  ·

• Qwen3.5: 长 prefill 及时响应取消,并修复 fetch 与取消并发时的悬空指针

  #755·coolthor opened Sep 27, 2026·

  ·

• DeepSeek-V4.1 张量并行：修复任务泄漏与并发 decode 饿死，路由按 token 并行

  #753·igerry opened Sep 24, 2026Contributor·

  ·

• Add bounded chat logprobs to the OpenAI server

  #752·coolthor opened Sep 24, 2026·

  ·

• Qwen3.5 多模态:修复 prefix cache 命中后跳过视觉编码,并加长尾护栏

  #751·coolthor opened Sep 22, 2026·

  ·
  1

• 修复qwen3.8 27b下Dflash2投机解码下自定义 AllReduce 注册缓存无界增长

  #749·wdyun opened Sep 21, 2026·

  ·

• GGUF: 保留量化 embedding，避免 token_embd 展开为 FP32

  #748·zmhuanf opened Sep 21, 2026·

  ·

• 支持 Merkyor/Qwen3.8 文本兼容、多模态 SSD 前缀缓存及启动校验并行

  #747·shenyan-008 opened Sep 20, 2026·

  ·
  1

• 支持 compressed-tensors INT8 per-channel 权重加载与 CUDA 算子

  #746·wdyun opened Sep 19, 2026·

  ·

• gguf: fix IQ2_S/IQ3_S mixed-quant loading, and let IQ3_S use the MMQ fast path

  #744·113636xfh opened Sep 19, 2026·

  ·
  1

• 新增 qwen3_5 多模态 E/PD 分离（Encode 独立部署）

  #743·zify9000 opened Sep 17, 2026Contributor·

  ·

• 均衡 DFlash2 草稿权重显存并修复图片能力上报与含图投机

  #741·tonykee opened Sep 16, 2026·

  ·

• 单个请求的内部错误不再终止服务进程，并支持外部 MTP 与 mmproj 共存

  #732·113636xfh opened Sep 12, 2026·

  ·

• 修复长上下文分块预填充卡顿与 MTP 草稿缓存失步

  #731·113636xfh opened Sep 12, 2026·

  ·
  1

• 改进 Qwen3.5 前缀快照：解码阶段记录、间隔与保留数量、共享缓冲

  #730·113636xfh opened Sep 12, 2026·

  ·

• fix: GGUF UD 混合量化类型导致 MTP 权重无法融合

  #721·jyf2100 opened Sep 8, 2026·2 of 3 tasks·

  ·

• fix: qwen3.5 稠密模型的 cpu/cuda 分层设备字典被融合单卡路径忽略

  #720·jyf2100 opened Sep 8, 2026·2 tasks done·

  ·

• Fix GGUF tokenization: BPE merges are applied left-to-right instead of by merge rank

  #715·cyjin-yl opened Aug 19, 2026·

  ·

• Validate safetensors header fields before using them as sizes

  #713·professor-moody opened Aug 11, 2026·

  ·
  1

• 支持 Qwen3.5/3.6 GGUF、V100 SM70 与原生 Turbo3 KV

  #707·cyjin-yl opened Jul 31, 2026·

  ·
  5

• ft支持w4a8, w4a8 moe, fp8 量化（仅针对SM90 卡子）

  #706·moguizhizi opened Jul 30, 2026·

  ·
  7