职位题库

大模型推理工程师面试题库

面向大模型推理工程师相关面试,围绕FlashAttention、在线Softmax、注意力机制、KV Cache、推理优化等主题展开练习,结合题目考察点、回答思路、参考答案和常见误区,梳理知识要点并练习清晰表达。

2 道题目建议用时 6 分钟专项面试练习

全部题目 2 道题

01

请解释KV Cache的核心原理、复用机制和推理显存优化逻辑。

考察候选人对自回归推理中KV Cache机制的理解,以及显存优化和复用策略。
02

请描述 FlashAttention 的计算流程,并解释在线 softmax 是如何实现的。

考察对 FlashAttention 核心机制的理解,特别是分块计算和在线 softmax 的数值稳定性处理。
返回面试题库