0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

标签 > spark

spark

+关注1人关注

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;

文章:54 浏览:19707 帖子:53

spark技术

RDMA技术在Apache Spark中的应用

RDMA技术在Apache Spark中的应用

背景介绍 在当今数据驱动的时代,Apache Spark已经成为了处理大规模数据集的首选框架。作为一个开源的分布式计算系统,Spark因其高效的大数据处...

2024-03-25 标签:数据集RDMASPARK 909 0

基于DPU和HADOS-RACE加速Spark 3.x

基于DPU和HADOS-RACE加速Spark 3.x

背景简介 Apache Spark(下文简称Spark)是一种开源集群计算引擎,支持批/流计算、SQL分析、机器学习、图计算等计算范式,以其强大的容错能...

2024-03-25 标签:DPUSPARKRACE 857 0

Blaze: 用Rust重写Spark执行层,平均提升30%算力

Blaze: 用Rust重写Spark执行层,平均提升30%算力

随着机器硬件的发展,RAM的价格也大幅降低,这时Spark提出了弹性分布式数据集(RDD),这是一种分布式内存抽象,可以让程序员以容错的方式在大型集群上...

2023-11-22 标签:磁盘SPARKRust 375 0

分析Hive与Spark分区策略的异同点

随着技术的不断的发展,大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark,它...

2023-04-11 标签:数据存储IOPsHDFS 451 0

MapReduce和Spark概要介绍

MapReduce是一种编程模型,可用于大规模数据集(数据量大于1TB的数据集)的并行运算。

2023-03-20 标签:SQL编程语言RDD 958 0

浅析数据优势

这是数据处理引擎的发电站,它们正竞相定义下一个大数据时代 当涉及到大数据时,流计算和它所带来的实时强大分析的重要性是不可避免的。此外,当涉及到流计...

2023-02-24 标签:数据处理大数据SPARK 412 0

Docker入门指南之Docker使用场景介绍

Docker入门指南之Docker使用场景介绍

在大数据平台型产品的开发过程中,经常要跟许多模块打交道,包括Hadoop、Hive、Spark、Zookeeper……等多达几十个开源组件,为了不影响团...

2023-02-06 标签:大数据SPARKDocker 401 0

Spark的两种核心Shuffle详解

Spark的两种核心Shuffle详解

 Spark 之所以一开始就提供基于 Hash 的 Shuffle 实现机制,其主要目的之一就是为了避免不需要的排序,大家想下 Hadoop 中的 Ma...

2022-08-11 标签:二进制磁盘SPARK 1661 0

关于Spark on Kubernetes实现方案

关于Spark on Kubernetes实现方案

存储与计算分离架构,这是公认的未来大方向,存算分离提供了独立的扩展性,客户可以做到数据入湖,计算引擎按需扩容,这样的解耦方式会得到更高的性价比。

2020-10-12 标签:阿里云SPARK云原生 2577 0

大数据分析中Spark,Hadoop,Hive框架该用哪种开源分布式系统

众所周知,大数据开发和分析、机器学习、数据挖掘中,都离不开各种开源分布式系统。最常见的就是 Hadoop、Hive、Spark这三个框架了。最近不少朋友...

2020-09-17 标签:SQL机器学习Hadoop 4028 0

来看看Spark和Flink各自的优劣和主要区别

来看看Spark和Flink各自的优劣和主要区别

Flink是统一的流和批处理框架,基本数据模型是数据流,以及事件(Event)的序列,Flink从设计之初秉持了一个观点:批是流的特例。每一条数据都可以...

2019-03-15 标签:gpu数据集SPARK 3.1万 0

工业大数据挖掘的利器——Spark MLlib

工业大数据挖掘的利器——Spark MLlib

格物汇之前刊发的《工业大数据处理领域的网红Apache Spark》中提到,在中国制造2025的技术路线图中,工业大数据是作为重要突破点来规划的,而在未...

2019-01-10 标签:智能制造工业互联网SPARK 4586 0

基于Intel Analytics Zoo上分布式TensorFlow的美的/KUKA工业检测平台

背景 工业检查(用于产品缺陷检测)是现代制造业的重要组成部分。随着人工智能,计算机视觉和大数据技术的发展,我们可以建立先进的工业检测系统以实现和人类水平...

2018-10-17 标签:英特尔Web服务SPARK 6227 0

宝信利用Spark Analytics Zoo对基于LSTM的时间序列异常检测的探索

摘要:宝信和英特尔相关团队利用Analytics Zoo在无监督的基于时间序列异常检测用例上进行了有益的合作探索,本文分享了合作项目的结果和经验。 背景...

2018-10-17 标签:HadoopApacheSPARK 5545 0

Spark和Flink的技术与场景进行全面分析与对比

自从数据处理需求超过了传统数据库能有效处理的数据量之后,Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Go...

2018-08-01 标签:数据处理机器学习Spark 2.9万 0

一文读懂 Spark 内存管理

一文读懂 Spark 内存管理

作为一个 JVM 进程,Executor 的内存管理建立在 JVM 的内存管理之上,Spark 对 JVM 的堆内(On-heap)空间进行了更为详细的...

2018-06-04 标签:javarddspark 821 0

什么是Hadoop? Spark和Hadoop对比

Hadoop在2006年开始成为雅虎项目,随后成为顶级的Apache开源项目。它是一种通用的分布式处理形式,具有多个组件: HDFS(分布式文件系统)...

2018-06-04 标签:机器学习hadoopspark 6588 0

spark和hadoop的区别

spark和hadoop的区别

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

2018-02-12 标签:数据分析hadoopspark 1.4万 0

机器学习实例:Spark与Python结合设计

Apache Spark是处理和使用大数据最广泛的框架之一,Python是数据分析、机器学习等领域最广泛使用的编程语言之一。如果想要获得更棒的机器学习能...

2018-07-01 标签:机器学习PythonSpark 2613 0

相关标签

相关话题

换一批
  • ESP8266
    ESP8266
    +关注
    wifi模块ESP8266的默认波特率是115200,但是单片机不能达到那么快的传输速率,只能使用4800bps,那么设置的时候,必不可少的要先用转串口调试下载器。
  • 呼吸灯
    呼吸灯
    +关注
    呼吸灯是指灯光在微电脑的控制之下完成由亮到暗的逐渐变化,感觉好像是人在呼吸。其广泛应用于手机之上,并成为各大品牌新款手机的卖点之一,起到一个通知提醒的作用。
  • 点位图
    点位图
    +关注
    点位图法是把一幅图像分成许许多多的像素,每个像素用若干个二进制位来指定该像素的颜色、亮度和属性。因此一幅图像由许许多多描述每个像素的数据组成,这些数据通常称为图像数据,而这些数据通常是作为一个文件来存储的,这种文件又称为图像文件。
  • BTS7960
    BTS7960
    +关注
  • 核心板
    核心板
    +关注
  • STM32F407
    STM32F407
    +关注
  • 电气原理图
    电气原理图
    +关注
    电气原理图是用来表明设备电气的工作原理及各电器元件的作用,相互之间的关系的一种表示方式。 运用电气原理图的方法和技巧,对于分析电气线路,排除电路故障、程序编写是十分有益的。电气原理图一般由主电路、控制电路、保护、配电电路等几部分组成。
  • 彩电图纸
    彩电图纸
    +关注
  • TX-1C
    TX-1C
    +关注
  • 工程师白皮书
    工程师白皮书
    +关注
  • epM240
    epM240
    +关注
  • MStar
    MStar
    +关注
  • 液晶彩电图纸
    液晶彩电图纸
    +关注
    要想看懂液晶彩电图纸,前提是电子常识,把电视机的分成几个部分,电源线进部分是电源部分接喇叭的是音频电路,有一个高压包的是行电路,连接显象管上面线圈的是场电路(其中有两条线属于行输出),高频头(插天线的铁盒子)是接收电路。
  • SIM900
    SIM900
    +关注
  • 电路图纸
    电路图纸
    +关注
  • 开关电路图
    开关电路图
    +关注
  • 红外对管
    红外对管
    +关注
  • MC33035
    MC33035
    +关注
  • 晶体管测试仪
    晶体管测试仪
    +关注
  • 台灯电路图
    台灯电路图
    +关注
  • 电池保护板
    电池保护板
    +关注
  • STM32F103VET6
    STM32F103VET6
    +关注
    STM32F103VET6是一个32位高密性能微控制器单元,有着三个12位模数转换器和4个通用16位计时器,外加两个PWM计时器,另外有着标准和先进的通讯接口,高达两个I²C,三个SPI和两个I²S,一个SDIO,五个USART,一个USB和一个CAN。
  • 照明灯电路图
    照明灯电路图
    +关注
  • 非隔离电源
    非隔离电源
    +关注
  • CSR8635
    CSR8635
    +关注
  • 彩电电路图
    彩电电路图
    +关注
  • 曙光
    曙光
    +关注
  • mega16
    mega16
    +关注
  • 超声波模块
    超声波模块
    +关注
  • MSP430G2
    MSP430G2
    +关注

关注此标签的用户(1人)

weixiaogang

编辑推荐厂商产品技术软件/工具OS/语言教程专题

电机控制 DSP 氮化镓 功率放大器 ChatGPT 自动驾驶 TI 瑞萨电子
BLDC PLC 碳化硅 二极管 OpenAI 元宇宙 安森美 ADI
无刷电机 FOC IGBT 逆变器 文心一言 5G 英飞凌 罗姆
直流电机 PID MOSFET 传感器 人工智能 物联网 NXP 赛灵思
步进电机 SPWM 充电桩 IPM 机器视觉 无人机 三菱电机 ST
伺服电机 SVPWM 光伏发电 UPS AR 智能电网 国民技术 Microchip
瑞萨 沁恒股份 全志 国民技术 瑞芯微 兆易创新 芯海科技 Altium
德州仪器 Vishay Micron Skyworks AMS TAIYOYUDEN 纳芯微 HARTING
adi Cypress Littelfuse Avago FTDI Cirrus LogIC Intersil Qualcomm
st Murata Panasonic Altera Bourns 矽力杰 Samtec 扬兴科技
microchip TDK Rohm Silicon Labs 圣邦微电子 安费诺工业 ixys Isocom Compo
安森美 DIODES Nidec Intel EPSON 乐鑫 Realtek ERNI电子
TE Connectivity Toshiba OMRON Sensirion Broadcom Semtech 旺宏 英飞凌
Nexperia Lattice KEMET 顺络电子 霍尼韦尔 pulse ISSI NXP
Xilinx 广濑电机 金升阳 君耀电子 聚洵 Liteon 新洁能 Maxim
MPS 亿光 Exar 菲尼克斯 CUI WIZnet Molex Yageo
Samsung 风华高科 WINBOND 长晶科技 晶导微电子 上海贝岭 KOA Echelon
Coilcraft LRC trinamic
放大器 运算放大器 差动放大器 电流感应放大器 比较器 仪表放大器 可变增益放大器 隔离放大器
时钟 时钟振荡器 时钟发生器 时钟缓冲器 定时器 寄存器 实时时钟 PWM 调制器
视频放大器 功率放大器 频率转换器 扬声器放大器 音频转换器 音频开关 音频接口 音频编解码器
模数转换器 数模转换器 数字电位器 触摸屏控制器 AFE ADC DAC 电源管理
线性稳压器 LDO 开关稳压器 DC/DC 降压转换器 电源模块 MOSFET IGBT
振荡器 谐振器 滤波器 电容器 电感器 电阻器 二极管 晶体管
变送器 传感器 解析器 编码器 陀螺仪 加速计 温度传感器 压力传感器
电机驱动器 步进驱动器 TWS BLDC 无刷直流驱动器 湿度传感器 光学传感器 图像传感器
数字隔离器 ESD 保护 收发器 桥接器 多路复用器 氮化镓 PFC 数字电源
开关电源 步进电机 无线充电 LabVIEW EMC PLC OLED 单片机
5G m2m DSP MCU ASIC CPU ROM DRAM
NB-IoT LoRa Zigbee NFC 蓝牙 RFID Wi-Fi SIGFOX
Type-C USB 以太网 仿真器 RISC RAM 寄存器 GPU
语音识别 万用表 CPLD 耦合 电路仿真 电容滤波 保护电路 看门狗
CAN CSI DSI DVI Ethernet HDMI I2C RS-485
SDI nas DMA HomeKit 阈值电压 UART 机器学习 TensorFlow
Arduino BeagleBone 树莓派 STM32 MSP430 EFM32 ARM mbed EDA
示波器 LPC imx8 PSoC Altium Designer Allegro Mentor Pads
OrCAD Cadence AutoCAD 华秋DFM Keil MATLAB MPLAB Quartus
C++ Java Python JavaScript node.js RISC-V verilog Tensorflow
Android iOS linux RTOS FreeRTOS LiteOS RT-THread uCOS
DuerOS Brillo Windows11 HarmonyOS
林超文PCB设计:PADS教程,PADS视频教程 郑振宇老师:Altium Designer教程,Altium Designer视频教程
张飞实战电子视频教程 朱有鹏老师:海思HI3518e教程,HI3518e视频教程
李增老师:信号完整性教程,高速电路仿真教程 华为鸿蒙系统教程,HarmonyOS视频教程
赛盛:EMC设计教程,EMC视频教程 杜洋老师:STM32教程,STM32视频教程
唐佐林:c语言基础教程,c语言基础视频教程 张飞:BUCK电源教程,BUCK电源视频教程
正点原子:FPGA教程,FPGA视频教程 韦东山老师:嵌入式教程,嵌入式视频教程
张先凤老师:C语言基础视频教程 许孝刚老师:Modbus通讯视频教程
王振涛老师:NB-IoT开发视频教程 Mill老师:FPGA教程,Zynq视频教程
C语言视频教程 RK3566芯片资料合集
朱有鹏老师:U-Boot源码分析视频教程 开源硬件专题