Wnma's Blogs

记录 LLM 在推理上的理论计算公式

从知识蒸馏的概念出发，介绍 LLM 中的知识蒸馏

对比不同硬件下，LLM 的推理速度

对比 MoE 中负载均衡 Loss 的实现方式，主要有跨层和非跨层两种实现

对于两种场景下介绍 LLM 的 推理加速方法

长输入，短输出

长输出但输出 token 有限

LLM 在宽度上的稀疏性可以通过 MoE 这种架构来优化。而深度上也具备稀疏性，故而可以进行裁剪。

从零开始，用 Cpp 写 PyTorch 的插件，包括 CPU 和 GPU 的版本。

代码

时序数据，使用简单的 HTML 对其进行展示。

在一个文件夹中，有很多个 Python 文件，每个文件都有若干重名函数，需要一一导入。这个时候，可以用 Python 的自动导入包来实现。

使用树莓派的一些记录