01 请介绍你在AI Infra方面的实践经历,特别是与推理模型相关的工程落地、环境适配、OOM排查和压测调优。验证候选人对国产算力生态的熟悉度,以及真实的工程排障能力,尤其是跨平台迁移中的算子兼容性和动态Shape处理难点。 查看学习思路
02 聊聊你对原生和异构算力实践的理解,包括为什么要做适配、痛点在哪以及如何解决。考察候选人对原生与异构算力差异的理解,是否清楚适配的必要性和技术难点,以及是否有通过中间层抹平差异的工程思路。 查看学习思路
03 从产品角度,你们有哪些弹性扩缩容策略?怎么管理GPU资源?考察候选人的集群资源调度思维,包括GPU池化技术(MIG、时间切片、MPS)的权衡,以及扩缩容策略(预测驱动、指标驱动)和冷启动问题的理解。 查看学习思路
04 有没有用过开源框架跑模型?了解里面的模块作用吗?知道推理的瓶颈吗?考察候选人对主流推理框架(vLLM、SGLang)核心模块的理解,以及对推理瓶颈(Prefill计算瓶颈、Decode访存瓶颈、KV Cache显存爆炸)的认知和Profiling调优能力。 查看学习思路