ggaaooppeenngg

LoRA一般的设定是认为微调任务应该只需要在一个更小的子空间去训练即可不需要复用基座模型的大空间，从而实现低成本的微调。
LoRA的前提是问题是不是在子空间能得到最优解。在线性回归 y=W x 中，如果最优 W * 是高秩的，那么对 W 施加低秩假设永远不会导致最优解，无论使用什么优化器。

假设有4个chunk，切四份。

LLM推理的核心在于KVCache的调度。

1. 尽可能多次重用KV缓存，以减少所需的计算资源；
2. 每批次最大化token数量，从而改善Model FLOPs Utilization (MFU)。