Skip to content
Ashley MacIsaac - Wing-stockTAPE
0:00 / 0:0036%
Recent[6/47]
Towards High-Goodput LLM Serving with Prefill-decode Multiplexing.zh.dual
点击在新标签页中打开 PDF{target="_blank" rel="noopener"} 大语言模型（LLM）服务必须满足预填充prefill和解码阶段decode的服务等级目标（SLO） - 预
基于 IO 调度器的可借用带宽控制设计
参考文献： BFQ (Budget Fair Queueing) — Linux内核文档 经典QoS调度算法——mClock算法 我们大约参照了mclock的思想设计解决思路，但是如果一个已经派发出去
GPT-3.zh.dual
点击在新标签页中打开 PDF{target="_blank" rel="noopener"}
TVM.zh.dual
点击在新标签页中打开 PDF{target="_blank" rel="noopener"}
问题1(1)：Triton矩阵乘算子融合
这个任务可以这么理解，这个矩阵乘法相加也就是LoRA的思想，下图是GPT-5.4给我的解释。 ![[answer of gpt.png|500]] 然后再对应看一下下面这个题目描述，大概就知道里面每一
问题1(3)：性能对比
经过上一篇：算子1、3融合.md)讨论的方案，老师让我再试了试别的优化，并且我这里还进行了一些别的学习，知道了更多性能相关的知识，这里把我们的实验结果重新书写一下。 我其实这里还有不少问题： - 两个
Blankke
48博客文章
+2本月更新
+2本周更新
暂无精选内容