首页 > 全部资讯 > 学术报告519:低延迟高吞吐的机器学习推理系统
学术报告519:低延迟高吞吐的机器学习推理系统
消息日期:2021/11/02
报 告 人:陈全 教授,上海交通大学 报告时间:11月07日(周日)15:30~17:30 报告地点:计1001(腾讯会议ID:715 693 831) 邀 请 人:朱能军 讲师 报告摘要: 随着机器学习的发展,互联网服务软件开始使用机器学习推理向普通用户提供服务。然而现有的机器学习推理系统存在着响应延迟高、运行吞吐低的问题,导致用户体验差。为此,我们研究低延迟高吞吐的机器学习推理系统,提出了请求弹性批处理,以及确定性的OP交错执行技术。可以实现单个机器学习推理服务运行时的低延迟,并且当多个服务同时运行时,显著减少服务质量违反并提高总体吞吐。 报告人简介: 陈全,上海交通大学计算机系教授, 2020年获国家优秀青年科学基金资助。长期从事计算机系统、云计算领域的研究,研究成果获国家技术发明二等奖及多项省部级一等奖。获2017年IEEE TCSC Award for Excellence (Early Career Researcher)、阿里青橙奖。担任SCI期刊Parallel Computing, Frontier of Computer Science编委;主持及参与多项国家自然科学基金项目、重点研发计划项目、及各企业的创新研究计划项目等