1、模型优化
应用模型压缩技术(如剪枝、量化、知识蒸馏)减少模型复杂度,提升推理效率;
•应用模型自适应推理,模型能够根据输入数据的特征动态调整推理策略,减少不必要的计算;
•实现模型并行与稀疏化技术,提升模型推理速度;
2、Prompt优化
•设计简洁高效的Prompt模板,减少上下文长度和计算复杂度;
•实现Prompt参数化与动态调整,优化推理时间;
•应用Prompt蒸馏与嵌入优化技术,提升推理速度和质量;
3、任务调度与负载均衡
•优化任务调度算法,提高分布式推理任务的分配效率;
•实现负载均衡策略,动态分配任务到不同设备,确保资源利用率最大化;
•应用智能调度技术,根据业务的峰谷差异,实现潮汐调度、抢占调度能智能调度方案;
4、前沿技术研究与应用
•研究动态模型压缩、自适应推理、量化感知推理等前沿技术,并将其应用到实际项目中;
•针对多模态模型(如文本+图像+语音)的推理优化,减少模态间通信开销;
5、政企客户支持与业务需求对接
•理解政企客户的业务需求,确保模型推理优化方案符合实际应用场景和安全规范;
•针对政企客户的复杂业务场景,设计高效的推理优化方案,提升业务效率;
6、系统性问题解决
•综合算力、模型、存储、通信、Prompt、推理框架等多维度,解决模型推理速度的系统性优化问题;
•针对政企客户的实际需求,提供端到端的推理优化解决方案。
职位要求1、教育背景
•计算机科学、人工智能、机器学习、数据科学等相关专业博士。
2、技术能力
•熟悉深度学习模型(如Transformer、BERT等)及其推理过程;
•熟悉模型优化技术(如剪枝、量化、知识蒸馏、模型并行等);
•熟悉推理框架(如TensorFlow、PyTorch、PaddlePaddle)及其优化方法,有图优化经验者优先;
•了解前沿的大模型优化技术(如动态模型压缩、自适应推理、量化感知推理等)。
3、编程能力
•熟练掌握Python/C++/Go等编程语言,有高性能计算经验者优先。
4、经验要求
•有大模型推理优化经验者优先,熟悉政企客户业务场景者加分;
•具备独立分析和解决问题的能力,能够快速学习新技术并应用到实际工作中。
5、其他要求
•具备良好的沟通能力和团队合作精神,能够与业务部门和技术团队高效协作;
•对人工智能技术有浓厚兴趣,具备较强的学习能力和技术钻研精神。