建议开一期:参数服务器高性能模型训练课程,参数服务器是个编程框架,用于方便分布式并行程序的编写,其中重点是对大规模参数的分布式存储和协同的支持


**
工业界需要训练大型的机器学习模型,一些广泛使用的特定的模型在规模上的两个特点:

  1. 参数很大,超过单个机器的容纳能力(比如大型Logistic Regression和神经网络)

  2. 训练数据巨大,需要分布式并行提速(大数据)


3.参数服务器就类似于MapReduce,是大规模机器学习在不断使用过程中,抽象出来的框架之一。重点支持的就是参数的分布式,毕竟巨大的模型其实就是巨大的参数

目前有关参数服务器的经典论文也有一些,比较有名的有李沐老师的著作等等,希望能开一期参数服务器的课程。讲述一下业界主流的参数服务器,例如glint,ps-lite等等**
已邀请:

July - 抠细节抠体验,不妥协不将就。

赞同来自:


参数服务器?现在市面上 有类似的课程没

要回复问题请先登录注册

返回顶部