工作内容描述 :1、开发和优化端侧AI模型推理的C++代码,以提升性能、稳定性和效率。
2、负责将大模型(如Transformer、Stable Diffusion等)部署到移动设备、IoT设备等端侧环境。在端侧大模型和传统机器学习模型权衡利弊,根据具体场景选择最优模型组合。
3、结合GGML等轻量级推理框架,进行模型量化、剪枝等操作,实现模型的内存与计算效率优化。与算法团队合作,优化模型的端侧部署与推理效果。
4、撰写高质量的代码,并进行单元测试、调试与性能调优。
其他 :专业:人工智能、计算机科学、软件工程或相关专业