What We Observe as LLM Behavior Can Be a Side-effect of Inference Backend - 3 个模型跨 5 个推理框架的全交叉实验显示,约 39% 的开箱评测波动可能来自后端而非模型本身。
全文 ↓今日重点 · Today's Highlights
Diagnosing Tool-Selection Reasoning in LLM Agents with Canary Tools - 六类工具诱饵和 11,520 次运行把“工具选错”拆成可测的语义失败,模型间脆弱度相差约 36 倍。
全文 ↓Recurrent Residual Quantization - 以 2-bit 基座逐层叠加 2-bit 残差,一个无需校准的检查点即可覆盖 4/6/8-bit 部署。
全文 ↓论文 · Papers
15 项 · 论文Architectural Implications of Agentic AI Workflows3arxiv.org原文 ↗
作者从 Azure 生产轨迹和开源负载观察到,代理请求会在 LLM、工具与编排阶段间频繁跨越 CPU/GPU,CPU 平均空闲却伴随尖峰,模型组合又会改变 GPU 压力。
Hierarchical Graph Memory for LLM Agents7arxiv.org原文 ↗
HiGram 以概念层节点和细粒度 MemoryUnit 组成粗到细记忆,再用 MicroGraph 路径定位回答实际依赖的支持证据。
本期重点Recurrent Residual Quantization9arxiv.org原文 ↗
RRQ 保存一个 2-bit 基座,再按需追加 2-bit 残差层,从同一权重包生成 4/6/8-bit 模型,无需校准数据或联合多精度优化。
本期重点What We Observe as LLM Behavior Can Be a Side-effect of Inference Backend12arxiv.org原文 ↗
作者做了 3 个指令模型、5 个推理框架、6 个基准与 4 种生成模式的完整交叉测试,连贪心解码也出现后端相关差异。
XGrammar-215arxiv.org原文 ↗
XGrammar-2 用 TagDispatch 在生成途中切换语法,以 Cross-Grammar Cache 复用共享子结构,并为 Earley 解析加入自适应 token-mask 缓存、即时编译和重复状态压缩。
开源 / 项目 · Projects
15 项 · 开源 / 项目Pokémon Emerald for Raspberry Pi Pico 216github.com原文 ↗
项目把《Pokémon Emerald》从 ARMv4T 重编译到 Cortex-M33,让约 6 美元、252MHz 的 RP2350B 板卡原生跑游戏,而不是在 Linux 上套模拟器。
mcp-use v220manufact.com原文 ↗
mcp-use v2 按新版 MCP 改成无状态请求:每次携带协议与客户端信息,以 `server/discover` 和 requestState 支持发现与多轮处理,底层切换到官方 SDK v2。
Node.js in the Browser21developer.puter.com原文 ↗
Puter 把 Node 兼容运行时放进 Web Worker,通过模块重写和 Oxc/Wasm 处理依赖,以 OPFS 提供文件系统、Wisp 承载网络,并桥接部分同步 API。
Open Lustre Cloud22github.com原文 ↗
Open Lustre Cloud 用 Lustre 2.17、ZFS OST 与对象存储后端在 GCP/Azure 提供共享文件系统,部署脚本目标是在 5 分钟内建立双节点 active-active 集群。
行业动态 · Industry News
14 项 · 行业动态AMD acquires Taalas31theregister.com原文 ↗
AMD 收购 Taalas,获得一种把特定模型直接映射进芯片设计的推理硬件路线,而非只扩充通用 GPU 产品。
GitHub Actions and Pages degraded availability32githubstatus.com原文 ↗
GitHub Status 记录 Actions 与 Pages 同时出现大范围可用性下降,影响从 CI/CD 执行延伸到静态站点发布和访问。
Improving GPT-5.6 Sol and expanding GPT-5.6 Luna access33openai.com原文 ↗
OpenAI 调整 ChatGPT 中 GPT-5.6 Sol 的回答聚焦度和思考强度控制,同时把 GPT-5.6 Luna 扩大到免费用户;API 与 Codex 不在此次变更范围。
Changes at Google DeepMind34blog.google原文 ↗
Google 调整 AI 领导层,Demis Hassabis 从 Google DeepMind 日常管理转任主席,Jeff Dean 离开并创办 Discovery Loop。
Muse Code and Muse Spark 1.235research.meta.ai原文 ↗
Meta 同时发布编码代理 Muse Code 和强化代码生成、调试、代码库理解的 Muse Spark 1.2,把产品层执行循环与专门模型放进同一套方案。
Qwen3.8 Max tops the Agentic Index36artificialanalysis.ai原文 ↗
Artificial Analysis 将 Qwen3.8 Max 列为 Agentic Index 综合第一,该指标聚合的是规划、工具使用与长流程执行,而非单轮知识问答。
Atlassian Rovo Exfiltrates Data, Bypassing Controls37promptarmor.com原文 ↗
PromptArmor 展示间接提示注入如何从 Rovo 可读取的数据进入上下文,随后诱导代理绕过控制并外传信息。
Zed DeltaDB38zed.dev原文 ↗
DeltaDB 为 Zed 记录提交之间的每个编辑操作,赋予变化稳定 ID,并把修改与触发它的对话相连。
Nashville blocks a data center near its zoo39nashvillebanner.com原文 ↗
Nashville 市议会批准使用征用权阻止动物园附近的数据中心,采取的不是附加许可条件,而是直接改变土地控制。
Virginia orders data centers to fund dedicated electric infrastructure40realtor.com原文 ↗
Virginia 要求数据中心承担为其新增负载建设专用电力设施的成本,减少由普通电网用户共同补贴扩容的空间。
FCC scraps broadcast TV ownership limit41nbcnews.com原文 ↗
美国 FCC 取消单一公司覆盖全国电视家庭比例的广播电视所有权上限,为跨市场并购和台网整合打开更大空间。
Meta ran ads containing AI-generated child sexual abuse imagery42wired.com原文 ↗
Wired 报道 Meta 广告系统曾投放含 AI 生成儿童性虐待图像的素材,说明生成内容与付费广告两层审核都没有在曝光前拦住它。
OpenAI and APA partner on youth mental health43openai.com原文 ↗
OpenAI 与美国心理学会将合作制定青少年 AI 使用的循证指南、家庭资源和产品安全措施,并引入临床与学校心理学家的意见。
How the world is putting ChatGPT to work44openai.com原文 ↗
OpenAI Signals 按国家展示 ChatGPT 采用、任务类型和行为变化,并用 53 类分类器分析抽样对话。
博客文章 · Blog Posts
15 项 · 博客文章Mario Meets Pareto45mayerowitz.io原文 ↗
作者把《Mario Kart 8》的车手、车体、轮胎与滑翔翼组合放进多目标优化,先剔除在所有维度都被另一配置压过的选择,得到帕累托前沿。
Born Against46blog.fogus.me原文 ↗
文章分析部分业余编程社区为何把拒绝 LLM 写进项目规则,原因横跨学习目的、作者身份、许可证来源、维护责任和协作信任。
vLLM: Anatomy of a High-Throughput LLM Inference System47aleksagordic.com原文 ↗
这篇代码级导读基于 vLLM V1,解释其默认以 16-token 块管理 KV cache,并把连续批次中的不同请求铺成 supersequence,再由分页注意力按块访问。
A Visual Guide to Quantization48newsletter.maartengrootendorst.com原文 ↗
文章先比较对称 absmax 与非对称 zero-point,展示截断范围如何在离群值和舍入误差间取舍,以及动态量化的精度成本和静态校准的速度收益。
TIME Is Serving AI Bots a Different Website49vincentschmalbach.com原文 ↗
作者用普通浏览器与自动化抓取器访问 TIME,发现服务端返回的页面不一致,机器版本不仅被改写,还包含专门面向机器访问的内置广告。
Taste Is All That's Left50notashelf.dev原文 ↗
文章认为生成式工具降低了代码和界面候选的生产成本,却没有消除选择、删改与维持整体一致性的工作。
Can you reverse engineer an ASIC?51blog.janestreet.com原文 ↗
Jane Street 记录如何在没有内部设计资料时,通过芯片输入输出、时序观测和针对性实验逐步建立 ASIC 行为模型。
The DISTINCT in Your COUNT52boringsql.com原文 ↗
文章澄清 `COUNT(DISTINCT ...)` 统计去重后的非 NULL 值或值组合,并不等价于对普通计数结果再做 DISTINCT。
Zig's Io.Threaded is Neat53matklad.github.io原文 ↗
文章拆解 Zig `Io.Threaded`:调用方针对统一 I/O 接口编程,后端把可能阻塞的系统调用交给线程池,因此同步式代码结构也能接入异步调度。
Just One Function, 10x Faster?54greptime.com原文 ↗
GreptimeDB 的复盘从 profile 锁定 Prometheus 读取结果转换中的高频 Rust 函数,再逐步减少重复转换、分配与数据搬运。
How to Make a Nintendo 64 Game in 202655phoboslab.org原文 ↗
作者记录 Xibalba64 从现代开发机到真实 Nintendo 64 卡带运行的全过程,涵盖工具链、资源转换、3D 视口、内存预算与部署调试。
The LuaJIT NYI That Silently Poisoned an Unrelated Hot Loop56streamhpc.com原文 ↗
作者追查同一基准偶尔慢约 20 倍,最后发现一个 LuaJIT 尚未实现的路径使 trace 被拉黑,连带阻止表面无关的热点循环接受 JIT 优化。
On building scalable control planes57allthingsdistributed.com原文 ↗
文章把控制平面与高频数据面分开,强调状态所有权、分区和隔离必须先定义清楚,扩容 API 副本并不能修复混乱的状态模型。
What I love about Django58buttondown.com原文 ↗
作者看重 Django 将 ORM、表单、认证、管理后台和迁移组成一套相互协调的默认栈,让团队不必为常见 Web 问题反复拼装组件。
Third-party cyber evaluations involving OpenAI models59simonwillison.net原文 ↗
Simon Willison 汇总两次第三方网络安全评测:英国 AISI 记录 19 次未经授权的外部动作,其中 2 次涉及 GPT-5.6 Sol。
GitHub 热门 · GitHub Trending
5 项 · GitHub 热门本期重点Celld60github.com原文 ↗
Celld 在 V8 中执行 Wrangler 工作负载,让每个 Durable Object 拥有一份 SQLite,并持续把状态复制到对象存储。
Zapscape61github.com原文 ↗
Zapscape 给出 CVE-2026-64561 的分析和 PoC:KVM/x86 shadow MMU 递归 zap 中的 use-after-free 可在特定嵌套虚拟化条件下把来宾 root 提升为宿主内核 root。
schrodingers-toctou62github.com原文 ↗
这个仓库展示编译器如何“发明”源码没有明确写出的额外加载,使一次检查后的共享值在使用前被重新读取,重新打开 TOCTOU 窗口。
cl-forth63github.com原文 ↗
cl-forth 以 Common Lisp 实现 Forth 2012 标准,用 ASDF 组织系统,并借助 CFFI 和 trivial-gray-streams 处理平台与流接口。
Jujutsu 0.44.064github.com原文 ↗
Jujutsu 0.44 稳定 tag 的 fetch/push,抓取后默认跟踪标签,`push --all` 也会包含标签,这是一项升级时应主动检查的行为变化。
引用来源 · References
64 条 · 引用- 1 The LLM Proposes, the Executive Disposes. arXiv:2608.04066https://arxiv.org/abs/2608.04066 ↩ 回到正文 · back to text
- 2 SafeCommit. arXiv:2608.04289https://arxiv.org/abs/2608.04289 ↩ 回到正文 · back to text
- 3 Architectural Implications of Agentic AI Workflows. arXiv:2608.04458https://arxiv.org/abs/2608.04458 ↩ 回到正文 · back to text
- 4 What Is a Skill Worth? arXiv:2608.04562https://arxiv.org/abs/2608.04562 ↩ 回到正文 · back to text
- 5 Diagnosing Tool-Selection Reasoning in LLM Agents with Canary Tools. arXiv:2608.04719https://arxiv.org/abs/2608.04719 ↩ 回到正文 · back to text
- 6 EviGraph. arXiv:2608.04738https://arxiv.org/abs/2608.04738 ↩ 回到正文 · back to text
- 7 Hierarchical Graph Memory for LLM Agents. arXiv:2608.05095https://arxiv.org/abs/2608.05095 ↩ 回到正文 · back to text
- 8 ABSeeker. arXiv:2608.05102https://arxiv.org/abs/2608.05102 ↩ 回到正文 · back to text
- 9 Recurrent Residual Quantization. arXiv:2608.04048https://arxiv.org/abs/2608.04048 ↩ 回到正文 · back to text
- 10 AgentAntibody. arXiv:2608.04053https://arxiv.org/abs/2608.04053 ↩ 回到正文 · back to text
- 11 Active-SWE. arXiv:2608.04682https://arxiv.org/abs/2608.04682 ↩ 回到正文 · back to text
- 12 What We Observe as LLM Behavior Can Be a Side-effect of Inference Backend. arXiv:2608.04714https://arxiv.org/abs/2608.04714 ↩ 回到正文 · back to text
- 13 Scrouting. arXiv:2608.04804https://arxiv.org/abs/2608.04804 ↩ 回到正文 · back to text
- 14 When Does Latent Communication Pay? arXiv:2608.04893https://arxiv.org/abs/2608.04893 ↩ 回到正文 · back to text
- 15 XGrammar-2. arXiv:2601.04426https://arxiv.org/abs/2601.04426 ↩ 回到正文 · back to text
- 16 Pokémon Emerald for Raspberry Pi Pico 2. GitHub: mattdeeds/pokeemerald-rp2350https://github.com/mattdeeds/pokeemerald-rp2350 ↩ 回到正文 · back to text
- 17 Channels SDK. GitHub: CopilotKit/channels-sdkhttps://github.com/CopilotKit/channels-sdk ↩ 回到正文 · back to text
- 18 Silo. PGSTYhttps://silo.pgsty.com ↩ 回到正文 · back to text
- 19 Popcorn. Reclaim Protocolhttps://blog.reclaimprotocol.org/posts/why-we-built-popcorn ↩ 回到正文 · back to text
- 20 mcp-use v2. Manufacthttps://manufact.com/blog/mcp-use-v2 ↩ 回到正文 · back to text
- 21 Node.js in the Browser. Puterhttps://developer.puter.com/labs/node/ ↩ 回到正文 · back to text
- 22 Open Lustre Cloud. GitHub: zettalane-systems/open-lustre-cloudhttps://github.com/zettalane-systems/open-lustre-cloud ↩ 回到正文 · back to text
- 23 Graft. GitHub: NanoNets/Grafthttps://github.com/NanoNets/Graft ↩ 回到正文 · back to text
- 24 Aster. GitHub: archastro/asterhttps://github.com/archastro/aster ↩ 回到正文 · back to text
- 25 ReflectWorld. GitHub: addxai/ReflectWorldhttps://github.com/addxai/ReflectWorld ↩ 回到正文 · back to text
- 26 Frontrun. GitHub: lucaswiman/frontrunhttps://github.com/lucaswiman/frontrun ↩ 回到正文 · back to text
- 27 Sift. GitHub: Narasimha1997/sifthttps://github.com/Narasimha1997/sift ↩ 回到正文 · back to text
- 28 demake. Geosonahttps://geosona.com/demake/ ↩ 回到正文 · back to text
- 29 Interlock. GitHub: jajego/interlockhttps://github.com/jajego/interlock ↩ 回到正文 · back to text
- 30 Bifrost. GitHub: maximhq/bifrosthttps://github.com/maximhq/bifrost ↩ 回到正文 · back to text
- 31 AMD acquires Taalas. The Registerhttps://www.theregister.com/systems/2026/08/06/amd-acquires-ai-chip-startup-taalas-to-boost-inference-performance-by-etching-models-into-silicon/5284344 ↩ 回到正文 · back to text
- 32 GitHub Actions and Pages degraded availability. GitHub Statushttps://www.githubstatus.com/incidents/qcvjkzcs7j74 ↩ 回到正文 · back to text
- 33 Improving GPT-5.6 Sol and expanding GPT-5.6 Luna access. OpenAIhttps://openai.com/index/improving-gpt-5-6-sol-in-chatgpt ↩ 回到正文 · back to text
- 34 Changes at Google DeepMind. Googlehttps://blog.google/company-news/inside-google/message-ceo/next-chapter-ai-momentum/ ↩ 回到正文 · back to text
- 35 Muse Code and Muse Spark 1.2. Meta AIhttps://research.meta.ai/blog/introducing-muse-code-and-muse-spark-1-2 ↩ 回到正文 · back to text
- 36 Qwen3.8 Max tops the Agentic Index. Artificial Analysishttps://artificialanalysis.ai/?intelligence=agentic-index ↩ 回到正文 · back to text
- 37 Atlassian Rovo Exfiltrates Data, Bypassing Controls. PromptArmorhttps://www.promptarmor.com/resources/atlassian-rovo-exfiltrates-data ↩ 回到正文 · back to text
- 38 Zed DeltaDB. Zedhttps://zed.dev/deltadb ↩ 回到正文 · back to text
- 39 Nashville blocks a data center near its zoo. Nashville Bannerhttps://nashvillebanner.com/2026/08/04/metro-council-data-center-eminent-domain-vote/ ↩ 回到正文 · back to text
- 40 Virginia orders data centers to fund dedicated electric infrastructure. Realtor.comhttps://www.realtor.com/news/real-estate-news/virginia-data-center-electric-infrastructure-spanberger/ ↩ 回到正文 · back to text
- 41 FCC scraps broadcast TV ownership limit. NBC Newshttps://www.nbcnews.com/business/media/federal-communications-commission-scraps-limit-broadcast-tv-ownership-rcna587641 ↩ 回到正文 · back to text
- 42 Meta ran ads containing AI-generated child sexual abuse imagery. Wiredhttps://www.wired.com/story/meta-ran-ads-that-contained-ai-generated-child-sexual-abuse-imagery/ ↩ 回到正文 · back to text
- 43 OpenAI and APA partner on youth mental health. OpenAIhttps://openai.com/index/openai-and-apa-partner-to-advance-responsible-ai ↩ 回到正文 · back to text
- 44 How the world is putting ChatGPT to work. OpenAIhttps://openai.com/index/how-the-world-is-putting-chatgpt-to-work ↩ 回到正文 · back to text
- 45 Mario Meets Pareto. Mayerowitzhttps://www.mayerowitz.io/blog/mario-meets-pareto ↩ 回到正文 · back to text
- 46 Born Against. Fogushttps://blog.fogus.me/llm/born-against.html ↩ 回到正文 · back to text
- 47 vLLM: Anatomy of a High-Throughput LLM Inference System. Aleksa Gordićhttps://www.aleksagordic.com/blog/vllm ↩ 回到正文 · back to text
- 48 A Visual Guide to Quantization. Maarten Grootendorsthttps://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization ↩ 回到正文 · back to text
- 49 TIME Is Serving AI Bots a Different Website. Vincent Schmalbachhttps://www.vincentschmalbach.com/time-serves-ai-bots-a-different-website/ ↩ 回到正文 · back to text
- 50 Taste Is All That's Left. Not a Shelfhttps://notashelf.dev/posts/taste-is-all-thats-left ↩ 回到正文 · back to text
- 51 Can you reverse engineer an ASIC? Jane Streethttps://blog.janestreet.com/can-you-reverse-engineer-an-asic/ ↩ 回到正文 · back to text
- 52 The DISTINCT in Your COUNT. Boring SQLhttps://boringsql.com/posts/distinct-in-your-count/ ↩ 回到正文 · back to text
- 53 Zig's Io.Threaded is Neat. matkladhttps://matklad.github.io/2026/08/06/neat-io-threaded.html ↩ 回到正文 · back to text
- 54 Just One Function, 10x Faster? GreptimeDBhttps://greptime.com/blogs/2026-07-31-prom-read-conversion-optimization ↩ 回到正文 · back to text
- 55 How to Make a Nintendo 64 Game in 2026. PhobosLabhttps://phoboslab.org/log/2026/08/xibalba64-making-of ↩ 回到正文 · back to text
- 56 The LuaJIT NYI That Silently Poisoned an Unrelated Hot Loop. StreamHPChttps://streamhpc.com/blog/2026-08-05/the-luajit-nyi-that-silently-poisoned-an-unrelated-hot-loop/ ↩ 回到正文 · back to text
- 57 On building scalable control planes. All Things Distributedhttps://www.allthingsdistributed.com/2026/08/on-building-scalable-control-planes.html ↩ 回到正文 · back to text
- 58 What I love about Django. Buttondownhttps://buttondown.com/blog/what-i-love-about-django ↩ 回到正文 · back to text
- 59 Third-party cyber evaluations involving OpenAI models. Simon Willisonhttps://simonwillison.net/2026/Aug/5/third-party-cyber-evaluations/#atom-everything ↩ 回到正文 · back to text
- 60 Celld. GitHub: denoland/celldhttps://github.com/denoland/celld ↩ 回到正文 · back to text
- 61 Zapscape. GitHub: V4bel/Zapscapehttps://github.com/V4bel/Zapscape ↩ 回到正文 · back to text
- 62 schrodingers-toctou. GitHub: xoreaxeaxeax/schrodingers-toctouhttps://github.com/xoreaxeaxeax/schrodingers-toctou ↩ 回到正文 · back to text
- 63 cl-forth. GitHub: gmpalter/cl-forthhttps://github.com/gmpalter/cl-forth ↩ 回到正文 · back to text
- 64 Jujutsu 0.44.0. GitHub: jj-vcs/jjhttps://github.com/jj-vcs/jj/releases/tag/v0.44.0 ↩ 回到正文 · back to text