Apache Spark的分布式深度学习框架BigDL的概述
BigDL是基于Apache Spark的分布式深度学习框架，借助现有的Spark集群来运行深度学习计算，并简化存储在Hadoop中的大数据集的数据加载。BigDL在每个Spark任务中使用英特尔MKL和多线程编程。因此，在单节点Xeon（即与主流GPU 相当）上，它比开箱即用开源Caffe，Torch或TensorFlow快了数量级。BigDL可以通过利用Apache Spark（快速分布式数据处理框架），以及高效实施同步SGD和全面减少Spark的通信，从而有效地扩展到“大数据规模”上的数据分析
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
gpu
+关注
关注
28文章
5097浏览量
134415 -
大数据
+关注
关注
64文章
9029浏览量
143036 -
深度学习
+关注
关注
73文章
5590浏览量
123889
发布评论请先 登录
相关推荐
热点推荐
大数据分析中Spark，Hadoop，Hive框架该用哪种开源分布式系统
众所周知，大数据开发和分析、机器学习、数据挖掘中，都离不开各种开源分布式系统。最常见的就是 Hadoop、Hive、Spark这三个框架了。最近不少朋友有问到关于这些的问题： 大厂里还
RDMA技术在Apache Spark中的应用
背景介绍 在当今数据驱动的时代，Apache Spark已经成为了处理大规模数据集的首选框架。作为一个开源的分布式计算系统，Spark因其高
Hadoop的整体框架组成
Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供
发表于 05-11 16:00
hadoop和spark的区别
处理的工具，spark本身并不会进行分布式数据的存储。2、两者的部署：Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据
发表于 11-30 15:51
HarmonyOS分布式应用框架深入解读
KB级到GB级设备）。针对上述挑战，HarmonyOS作为一款面向万物互联时代的、全新的分布式操作系统，将迎刃而解，这得益于HarmonyOS的分布式应用框架，这些多设备组成一个超级终端，充分发挥
发表于 11-22 15:15
如何使用Apache Spark 2.0
，Spark 2.0现在比以往更易使用。在这部分，我将介绍如何使用Apache Spark 2.0。并将重点关注DataFrames作为新Dataset API的无类型版本。 到Spark
发表于 09-28 19:00
•0次下载
基于Spark和BigDL的深度学习技术的案例解析
本文主要分享英特尔和京东在基于Spark和BigDL的深度学习技术在搭建大规模图片特征提取框架上的实战经验。 图像特征提取被广泛地应用于相似
发表于 12-05 16:14
•3124次阅读
Spark分布式下的模糊C均值算法
针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高，对算法的大数据适应能力和性能要求更高的问题，提出一种在Spark分布式内存计算平台下的模糊C均值（FCM）算法Spark-FCM。首先
发表于 12-23 09:59
•0次下载
spark和hadoop的区别
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解
盘点分布式存储系统的主流框架
整个大数据处理的体系，按我的理解可以分为两个部分，一个是分布式存储系统、另一个是分布式计算框架。分布式存储系统主流是HadoopDFS，其他还有Ceph和Swift。
发表于 08-06 09:07
•2994次阅读
一文详细了解APACHE SPARK开源框架
Apache Spark 是一个开源框架，适用于跨集群计算机并行处理大数据任务。它是在全球广泛应用的分布式处理框架之一。
APACHE MXNET深度学习框架的概念、工作原理及用例
Apache MXNet 是一个灵活且可扩展的深度学习框架，支持多种深度学习模型、编程语言，并且
工商网监
评论