<p>导读：机器学习和深度学习是近年技术的热点，面对众多的机器学习平台如何进行选择，这是一个很困扰的问题。本文对分布式机器学习（ML）平台中使用的设计方法进行了调查，并提出了未来的研究方向。</p>    <p>本文比较了机器学习平台设计方法和使用指南，是我和 Kuo Zhang 和 Salem Alqahtani 同学合作而成。 我们在 2016 年秋天写了这篇文章，并在 ICCCN'17（温哥华）提交了这篇文章。</p>    <p>机器学习，特别是深度学习（DL）在语音识别，图像识别和自然语言处理以及推荐/搜索引擎方面取得了成功。 这些技术在自主驾驶汽车，数字卫生系统，CRM，广告，物联网等方面都有广泛的应用。随着这些资本进入进一步推动技术变革，我们已经看到许多机器学习平台。</p>    <p>由于训练中涉及到的巨大的数据集和模型大小，机器学习平台通常是分布式 ML 平台，通常并行运行了 10 - 100 个 worker 来训练模型。 据估计，数据中心的绝大多数任务将在不久的将来成为机器学习任务。</p>    <p>于是我们决定从分布式系统的角度研究这些 ML 平台，分析这些平台的通信和控制瓶颈。 我们还研究了这些平台的容错性和是否易于编程。</p>    <p>我们根据 3 种基本设计方法对分布式 ML 平台进行分类： </p>    <ol>     <li> <p>基本数据流</p> </li>     <li> <p>参数服务器模型</p> </li>     <li> <p>高级数据流</p> </li>    </ol>    <p>我们简单介绍每种方法，使用 Apache Spark 作为基本数据流方法的示例，PMLS（Petrar）作为参数服务器模型的示例，TensorFlow 和 MXNet 作为高级数据流模型的示例。 我们提供性能评估的评估结果。 有关更多评估结果，请参阅论文。 不幸的是，作为一个来自学术界的小团队我们无法进行规模评估。<br> 在这篇文章末尾，我将介绍分布式 ML 平台未来工作的总结和建议。 如果您已经有了这些分布式 ML 平台的经验，请直接跳到最后。</p>    <h2>Spark</h2>    <p>在 Spark 中，计算被建模为有向无环图（DAG），其中每个顶点表示弹性分布式数据集（RDD），每个边表示RDD上的操作。 RDD 是划分为逻辑（内存中或者交换到磁盘上）分区的对象集合。</p>    <p>在 DAG 上，从顶点A到顶点B的边缘E意味着RDD B是在RDD A上执行操作E的结果。有两种操作：转换和动作。 转换（例如，映射，过滤器，连接）对RDD执行操作并产生新的RDD。</p>    <p><img src="https://simg.open-open.com/show/2297c3be222783ff762b3f083531d9e6.jpg"></p>    <p>Spark 用户将计算作为 DAG 进行建模，该 DAG 会转换并运行 RDD 上的操作。 DAG 被分阶段编译。 每个阶段作为一系列并行运行的任务（每个分区的一个任务）而执行。 窄依赖关系对于高效执行是有好处的，而宽依赖关系则引入瓶颈，因为它们会中断执行流水线并需要执行通信密集的操作。 </p>    <p><img src="https://simg.open-open.com/show/f4f64b4b14d77649074842d2e8e4ccb3.jpg"></p>    <p>通过在区分 DAG 阶段来达成 Spark 中的分布式执行。 该图显示了 master 的架构。 driver 包含两个调度程序组件，DAG 调度程序和任务调度程序，还有负责任务和协调 worker。 </p>    <p>Spark 设计用于一般数据处理，而不是专门用于机器学习。 然而，在 Spark 上使用 MLlib，就可以在 Spark 上做 ML。 在基本设置中，Spark 将模型参数存储在 driver 节点中，而 worker 与 driver 进行通信，以便在每次迭代后更新参数。 对于大规模部署，模型参数可能和 driver 不匹配，并将作为 RDD 维护。 这引入了很多开销，因为需要在每次迭代中创建新的 RDD 以保存新模型参数。 更新模型需要在机器间混洗数据，这限制了Spark 的可扩展性。 这是 Spark 中的基本数据流模型（DAG）不足的地方。 Spark 不支持 ML 中需要的迭代过程。 </p>    <h2>PMLS</h2>    <p>PMLS 专为 ML 设计的。 它引入了参数服务器（PS）以服务于迭代密集的 ML 训练过程。</p>    <p><img src="https://simg.open-open.com/show/bed9fe7790ef48fd29fb5f0e18b2cbc8.jpg"></p>    <p>PS（在图中的绿色框中显示）使用分布式内存键值存储来维护参数信息。 它可以复制和分片：每个节点作为模型（参数空间）的分片的主节点，以及其他分片的副本。 因此，PS相对于节点数量很容易扩展。</p>    <p>PS节点存储和更新模型参数，并响应worker的请求。 worker从其本地PS副本中请求最新的模型参数，并对分配给它们的数据集分区执行计算。</p>    <p>PMLS还采用了同步并行（SSP）模型，该模型放宽了在每次迭代结束时工人进行同步的批量同步平行（BSP）的限制。 SSP减少了worker的同步困难，确保最快的worker不能在最慢的worker之前进行。 由于处理过程的噪声容限，该一致性模型仍然适用于ML训练。 我在2016年4月的博客文章[1]中介绍过。</p>    <p>TensorFlow</p>    <p>Google 有一个基于分布式机器学习平台的参数服务器模型，名为 DistBelief。 （这是我对 DistBelief 论文的评论[2]）可以看出，DistBelief 的主要问题是，它需要混写在 ML 应用程序的低级代码中。 Google 希望其任何员工能够编写 ML 代码，而不需要他们精通分布式执行 - 这与 Google 为大数据处理编写 MapReduce 框架的原因相同。 </p>    <p>所以 TensorFlow 旨在实现这一目标。 TensorFlow 采用数据流范例，但计算图不需要 DAG 高级版本，但可以包括循环和支持可变状态。 我认为 Naiad[3] 设计可能对 TensorFlow 设计有一些影响。 </p>    <p>TensorFlow 表示使用节点和边的有向图进行计算。 节点表示具有可变状态的计算。 边缘表示在节点之间传递的多维数据阵列（张量tensor）。 TensorFlow 要求用户静态地声明这个符号计算图，并且利用图的分区和重写达成分布式计算。 （MXNet，特别是 DyNet，可以动态声明符号计算图，这提高了编程的简单性和灵活性。） </p>    <p><img src="https://simg.open-open.com/show/72d708971b222dbe00b82e7fc8c355ee.jpg"></p>    <p>在 tensorflow 分布式 ML 训练使用参数服务器的方法如图所示。 在 TensorFlow 中使用 PS 抽象时，可以使用参数服务器和数据并行。 TensorFlow 可以做更复杂的事情，但这需要编写自定义代码并进入未知领域。 </p>    <h2>一些评估结果</h2>    <p>对于我们的评估，我们使用了 Amazon EC2 m4.xlarge 实例。 每个包含 4 个 vCPU（英特尔至强处理器E5-2676 v3）和 16GB RAM。 EBS 带宽为 750Mbps。 我们使用两种常用的机器学习任务进行评估：使用多层神经网络的 2 级逻辑回归和图像分类。 我只是在这里提供几张对比图，你可以查看我们的论文进行更多的实验。 我们的实验有几个限制：我们使用的机器少，不能测试规模。我们也仅限于 CPU 计算，并没有用 GPU 测试。</p>    <p><img src="https://simg.open-open.com/show/5249807c2ecf97a1c71bb542c307275e.png"></p>    <p>该图显示了逻辑回归执行的速度。 Spark 仅在 PMLS 和 MXNet 之后。</p>    <p><img src="https://simg.open-open.com/show/db954cca1f4237954064c932d9aa0438.jpg"></p>    <p>该图显示了 DNN 平台的速度。 与单层逻辑回归相比，Spark 的性能损失比两层神经网络更大。 这是因为需要更多的迭代计算。 我们将 driver 的参数保存在 Spark 中，而如果我们将参数保存在 RDD 中并且在每次迭代之后更新，情况会更糟。</p>    <p><img src="https://simg.open-open.com/show/dd857bcc03939a11af5bc10161e37823.jpg"></p>    <p>该图显示了平台的 CPU 利用率。 Spark 应用程序似乎具有更高 CPU 利用率（序列化开销）。</p>    <h2>结语和未来方向</h2>    <p>ML / DL应用程序的并行计算并非很出色，从并发算法的角度来看略微无趣。 在分布式ML平台上的参数服务器是决定性因素。<br> 就瓶颈而言，网络仍然是分布式ML应用程序的瓶颈。 与其在更先进的通用数据流平台上工作，不如提供更好的数据/模型，将数据/模型作为一等公民来处理。<br> 但是，也可能会有一些惊喜和微妙之处。 在Spark中，CPU开销正在成为瓶颈[4]。Spark中使用的编程语言（即Scala / JVM）会显着影响其性能。 因此，需要更好的工具来进行分布式ML平台的监视和/或性能预测。 近来已经提出了一些解决Spark数据处理应用程序问题的工具，如Ernest[5]和CherryPick[6]。<br> 分布式系统支持ML运行时还有许多开放性问题，例如资源调度和运行时性能改进。 通过对应用程序的运行时监控/分析，下一代分布式ML平台应为运行的任务提供计算，内存，网络资源的通用运行时弹性配置和调度。<br> 最后还有编程和软件工程支持的问题。 适用于ML应用程序的[分布式]编程抽象是什么？ 这还需要更多的分析ML应用程序的验证和验证（测试具有特别有问题输入的DNN）。</p>    <ol>     <li> <p>https://muratbuffalo.blogspot.com/2016/04/petuum-new-platform-for-distributed.html</p> </li>     <li> <p>https://muratbuffalo.blogspot.com/2017/01/google-distbelief-paper-large-scale.html</p> </li>     <li> <p>http://muratbuffalo.blogspot.com/2014/03/naiad-timely-dataflow-system.html</p> </li>     <li> <p>http://muratbuffalo.blogspot.com/2017/05/paper-summary-making-sense-of.html</p> </li>     <li> <p>https://spark-summit.org/east-2017/events/ernest-efficient-performance-prediction-for-advanced-analytics-on-apache-spark/</p> </li>     <li> <p>https://blog.acolyer.org/2017/05/04/cherrypick-adaptively-unearthing-the-best-cloud-configurations-for-big-data-analytics/</p> </li>    </ol>    <p>英文原文：http://muratbuffalo.blogspot.com/2017/07/a-comparison-of-distributed-machine.html</p>    <p>本文作者 Murat，由 Jesse 翻译，转载译文请注明出处，技术原创及架构实践文章，欢迎通过公众号菜单「联系我们」进行投稿。</p>    <h2>推荐阅读</h2>    <ul>     <li> <p><a href="http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547942&idx=1&sn=6683987febfe0812a705d4c95409fd89&chksm=813a7c3eb64df5289ebb70bcf14fefe8ad248949350d6d861600c51d87a41dd06ba924f2f24c&scene=21#wechat_redirect" rel="nofollow,noindex">一键搭建深度学习平台，基于Docker/Mesos和NVIDIA GPU详细教程 </a></p> </li>     <li> <p><a href="http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653548904&idx=1&sn=5e6b6479dbfa43915bf23cd00d0ae7ad&chksm=813a60f0b64de9e6e424a492b4f04696fd3a549ce9ae6dd548c23b75c21f5b0bf6d616e2608f&scene=21#wechat_redirect" rel="nofollow,noindex">迭代速度慢？成熟的机器学习流如何设计：微博大规模机器学习框架Weiflow揭秘 </a></p> </li>     <li> <p><a href="http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653548893&idx=1&sn=6217b66347b9c2e508b515f23681ba6d&chksm=813a60c5b64de9d3048d8c093d4b93ffd9956706c2d2ce541cc7c74bbcfb12a35cf91527476d&scene=21#wechat_redirect" rel="nofollow,noindex">使用深度学习方法实现面部表情包识别 </a></p> </li>     <li> <p><a href="http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547218&idx=1&sn=3ada8b2f72cfc67dce923ab69a4aa7a2&scene=21#wechat_redirect" rel="nofollow,noindex">Spark的RDD原理以及2.0特性的介绍 </a></p> </li>     <li> <p><a href="http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653548867&idx=1&sn=f2a7f1a4f874d47a1ad97bf59f5ce696&chksm=813a60dbb64de9cd71ffc194899bd72b6c69e1fba07a8c48278683d7bc69f3215863663dad97&scene=21#wechat_redirect" rel="nofollow,noindex">机器学习平台痛点与模型提升方法：基于Spark的机器学习平台在点融网风控应用介绍 </a></p> </li>    </ul>    <p><strong><img src="https://simg.open-open.com/show/4732e2596e9184982625f463792f381f.jpg"> </strong></p>    <p>长按二维码 关注「高可用架构」公众号</p>    <p> </p>    <p> </p>