INT4 量化推理实战:精度补偿与吞吐提升的取舍
热点引入:低比特量化走到台前 2026 年 11 月,美团发布 LongCat-2.5,对专家权重与激活同时做了 INT4 全量化,官方给出的数据是 prefill 与 decode 吞吐提升约 43%。这个数字背后是一个清晰的产业信号:当模型规模继续膨胀、推理成本成为核心约束, …
共 12 篇
热点引入:低比特量化走到台前 2026 年 11 月,美团发布 LongCat-2.5,对专家权重与激活同时做了 INT4 全量化,官方给出的数据是 prefill 与 decode 吞吐提升约 43%。这个数字背后是一个清晰的产业信号:当模型规模继续膨胀、推理成本成为核心约束, …
热点引入:开源权重的「双刃剑」被摆上台面 2026 年 9 月至 10 月,多家机构(如 CAISI)对开源权重模型展开网络安全能力评测,围绕「开源模型是否应按危险能力分级」的讨论迅速升温;10 月又出现出口管制草案的讨论。一时间,开源模型的安全与合规从议题变成了工程与法务必须正 …
热点引入:当 Agent 开始「上长班」 2026 年 9 月,Cognition 发布 SWE-2 异步软件工程模型,明确面向长程、异步的软件工程任务——不再是「一问一答」,而是把需求丢给它,几个小时后交付一个可用的分支。这类任务的共同特征是:步骤数以百计、跨越数十次工具调用、 …
热点引入:原生多模态成为旗舰标配 2026 年 9 月,GPT-6 系列与 Gemini 4 相继发布,文本、图像、视频的统一理解能力不再是可选项,而是旗舰模型的标配。“原生多模态"这个词随之频繁出现在发布材料里。 但对工程团队来说,“原 …
热点引入:百万 token 上下文是怎么塞进单节点的 2026 年 9 月,DeepSeek V4.1-Flash 发布,通过 FP4 量化与跨层注意力复用,把 KV Cache 压缩约 8 倍,让百万 token 长上下文在单节点上变得可行。消息一出,“KV …
热点引入:175 万亿 Token/日背后的成本账 2026 年 8 月公开数据显示,国内日均 Token 调用量已达约 175 万亿。这个量级意味着,推理成本已经从"技术细节"上升为"商业模式能否成立"的核心变量——每百万 token 的 …
热点引入:开源模型爆发,自托管从"极客玩具"走向选项 2026 年 8 月,国产开源模型密集爆发:Qwen3.8-Max 以 2.4 万亿参数开源,DeepSeek V4-Pro 正式版 GA。开源阵营与闭源旗舰的定性差距持续缩小,越来越多团队开始认真评 …
热点引入:Kimi K3 开源,把 MoE 再次推到台前 2026 年 7 月,月之暗面将 Kimi K3 全量开源,2.8 万亿参数使其成为全球最大开源模型。社区讨论焦点除了其接近闭源旗舰的定性能力,更多落在一个架构事实上:如此体量几乎不可能沿用稠密(dense)结构,MoE( …
热点引入:长文档处理真正开始落地 2026 年 6 月,Claude Sonnet 5 把百万上下文下放到标准定价层,长文档处理的成本大幅下降。此前很多团队不是不想做长文档问答,而是算不过账——把几百页文档塞进模型,单次调用成本让 ROI 无从谈起。定价下探让这件事从" …
热点引入:从"能聊天"到"能干活" 2026 年 5 月,阿里发布 Qwen3.7 Max 等 agent 旗舰模型,宣传重心明显从"对话更自然"转向了"能自主完成多步任务"。整个行业的竞争焦点也在迁 …