Wnma's Blogs

本文从基础的量化开始，介绍 TurboQuant（arXiv:2504.19874）的核心设计。

分享一套自用的 ETF 组合投资策略，基于动量、低相关性和均线趋势保护，用 Python 实现自动化选股和风控。

本文介绍 Qwen3.5 在注意力机制上的两大变化：Gated Softmax Attention（Q/K Norm + Gate）与线性复杂度的 Gated DeltaNet。文中说明二者混合比例（每四层中三层为 DeltaNet）、从标准 Attention 到线性 Attention 的数学推导、DeltaNet 的状态递推与门控设计，以及和 Mamba 等工作的联系，便于理解 Qwen3.5 在长序列与推理效率上的取舍。

Bash 操作查询

Git 操作查询

Accelerated Test-Time Scaling with Model-Free Speculative Sampling

STAND（STochastic Adaptive N-gram Drafting），无模型投机解码

介绍投机解码

Fast Inference from Transformers via Speculative Decoding

GitHub

LIMA: Less Is More for Alignment

A Survey on In-context Learning

On the Effect of Pretraining Corpora on In-context Learning by a Large-scale Language Model

In-context Learning and Induction Heads

接 LLM 复杂推理的来源分析I