4 posts tagged with "AI System"

量化不是“把模型变小”这么简单。它是一套横跨数值表示、压缩算法、硬件指令、推理内核、模型结构、评测方法和部署系统的工程体系。

本文讨论的是 AI/LLM 模型量化，不是金融量化交易。

如果用一句话解释：模型量化是把原来用高精度浮点数表示的权重、激活、KV Cache 或梯度，映射到更低比特的离散表示，从而降低显存、内存带宽、存储和计算成本。

它看起来像一个“压缩模型”的技巧，但真正落地时会牵涉到：

• 数学：舍入、缩放、零点、误差传播、率失真；
• 模型：权重、激活、注意力、MoE、视觉塔、LoRA；
• 算法：PTQ、QAT、GPTQ、AWQ、SmoothQuant、QLoRA、AutoRound；
• 格式：GGUF、GPTQ、AWQ、bitsandbytes、safetensors、compressed-tensors；
• 硬件：CPU SIMD、GPU Tensor Core、FP8、INT8、INT4、FP4、NPU；
• 内核：GEMM、GEMV、weight packing、dequant fusion、KV Cache；
• 服务：prefill、decode、continuous batching、PagedAttention、吞吐与延迟；
• 评测：困惑度、MMLU、GSM8K、长上下文、领域集、安全与回归。

本文从历史讲起，再把专有名词、复杂体系、现代方法和开源生态串成一张完整地图。

图 1 把量化放到完整工程链路里看：先有 FP16/BF16 基座模型和校准样本，再统计权重/激活分布，选择量化粒度和算法，最后打包成 GGUF、GPTQ、AWQ、compressed-tensors 等制品，并交给 vLLM、llama.cpp、TensorRT-LLM 或 Transformers 这类 runtime 执行。任何一个环节选错，都会出现“文件很小但速度不快”“benchmark 没掉但业务格式崩了”“同样 4-bit 在不同框架结果不同”这类问题。

LLM Wiki 不是“给大模型看的百科页面”，而是把组织知识编译成一种人能读、机器能检索、Agent 能遍历、系统能验证的长期知识结构。

先澄清一个容易混淆的点：OKF 在开放知识领域通常指 Open Knowledge Foundation；而本文讨论的 OKF 是面向 LLM Wiki 的 Open Knowledge Format，可以理解为一种工程规范提案，用来约束 AI 原生知识库的目录、页面、元数据、引用、链接、校验和演进方式。

截至 2026-06-19，LLM Wiki 更像一个快速成型的系统范式，而不是已经被 W3C、ISO 或某个基金会正式标准化的协议。腾讯研究者在 2026 年 5 月的 LLM-Wiki 论文中，把它描述为一种“Retrieval as Reasoning”的检索范式：把原始文档编译成结构化 Wiki 页面，提供搜索、阅读和链接跟随工具，并用 Error Book 记录和修复知识构建错误。本文的 OKF 则是在这个方向上给出一套更可落地的格式规范。

"To chunk, or not to chunk — that is the question. But how to chunk is the engineering battle."

在 RAG（检索增强生成）系统中，分块（Chunking）是整个 Pipeline 的地基。检索质量上限由 Embedding 模型决定，下限却由分块质量决定。无论你使用多么强大的 LLM 或 向量数据库，一旦 Chunk 切错了位置、割裂了语义，后续所有优化都是徒劳。

本文将带你由浅入深地走完整条 Chunk 技术发展路线图——从最原始的固定切片，一路升级到 VLM 端到端文档理解。

"The best notebook is not just a place to store information, but a thinking partner that understands context and helps you reason."

Google NotebookLM 展示了 AI 如何革新我们的知识管理方式。本文将详细设计一个开源替代方案，使用现代化技术栈构建一个高性能、可扩展、生产级的智能笔记系统。