0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Docker入门指南之Docker使用场景介绍

jf_78858299 来源:CSDN 作者:一只楠喃 2023-02-06 15:38 次阅读

一、为什么使用Docker

随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟,业界有不少的大数据研发团队开始使用Docker。

简单来说,Docker会让大数据平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线环境的运维更加有质量保障。

图片

1.1 Docker的使用场景一

在大数据平台型产品的开发过程中,经常要跟许多模块打交道,包括Hadoop、Hive、Spark、Zookeeper……等多达几十个开源组件,为了不影响团队成员间的工作任务协同,开发人员其实非常需要自己有一套独立的集群环境,以便反复测试自己负责的模块。

可真实的企业开发环境往往只有一两个大的虚拟集群,这可怎么办?难道要给每个开发人员都配几台独立的物理机器?

1.2 Docker的使用场景二

针对每一次新版本的发布,产品测试组都需要反复的重装整个平台以便发现问题,而正如本文前面所阐述的那样,大数据平台所依赖的组件繁多,不同组件模块依赖的底层库也不尽相同。

经常会出现各种依赖冲突问题,而一旦安装完成,就很难再让Linux系统恢复到一个非常干净的状态。

通过Remove、UnInstall、rpm -e等手动方式卸载,往往需要花费很长的时间,那如何才能快速地恢复大数据平台集群的系统环境?

1.3 Docker的使用场景三

当测试人员在测试大数据平台过程中发现了一个BUG,需要保存现场,这里面包括相关的大数据组件配置、进程状态、运行日志、还有一些中间数据。

可是,平台集群服务器节点数量很多,针对每个进程的配置目录和日志文件,都相对较独立。

一般都需要专业的开发工程师或者运维工程师进入相关服务器节点,按照不同组件的个性化配置信息,手工方式收集所需的各个条目信息,然后打包汇集到日志中心服务器进行统一分析。

而目前业界并没有一款能够自动分布式收集故障相关的日志系统,但测试工作还要继续,怎么办?

传统解决方案的缺陷

想要解决这些问题,第一个想到的方案当然是用虚拟机,但这种方式并不能完美的解决以上问

题,比如:

  • 虽然虚拟机也可以完成系统环境的迁移,但这并不是它所擅长的,不够灵活,很笨重。

  • 虚拟机的快照可以保存当前的状态,但要恢复回去,就得把当前正在运行的虚拟机关闭,所以

    并不适合频繁保存当前状态的业务场景。

  • 虽然可以给每个人都分配几个虚拟机用,但它是一个完整的系统,本身需要较多的资源,底层

    物理机的资源很快就被用完了,所以我们需要寻找其它方式来弥补这些不足

**

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据
    +关注

    关注

    64

    文章

    8649

    浏览量

    136589
  • SPARK
    +关注

    关注

    1

    文章

    99

    浏览量

    19728
  • Docker
    +关注

    关注

    0

    文章

    437

    浏览量

    11603
  • hive
    +关注

    关注

    0

    文章

    10

    浏览量

    3794
收藏 人收藏

    评论

    相关推荐

    19.Docker网络模式overlay网络的应用场景

    前端Docker
    电子学习
    发布于 :2023年02月03日 11:57:41

    Docker是什么?

    docker1-原理介绍
    发表于 08-22 11:02

    Docker的安装步骤

    一篇文章入门Docker
    发表于 04-06 09:35

    Docker是什么?

    为什么是Docker?尽管现在的Docker已经风靡全球,但还是有很多开发者(特别是嵌入式开发者)对Docker认识还是仅仅停留在它的服务器应用上面。殊不知,Docker已经是微软Az
    发表于 10-28 07:11

    Docker入门指南

    指南介绍了如何使用Docker简化嵌入式设备和服务器上的多体系结构应用程序部署。 快速扩展软件环境可能是一项既困难又耗时的任务。在本指南中,我们将向您展示
    发表于 08-02 06:09

    docker基础知识和使用bmnnsdk时的docker常用命令

    本文旨在介绍docker基础知识和使用bmnnsdk时的docker常用命令,帮助没有接触过docker的开发者快速上手。 一、docker
    发表于 09-18 07:59

    Docker监控实战分析

    Docker 优势 那为什么 Docker 越来越火呢?一谈起 Docker 总是会跟着让人联想到轻量这个词,甚至会有一种通过 Docker 启动一个服务会节省很多资源的错觉。然而
    发表于 10-13 17:05 2次下载
    <b class='flag-5'>Docker</b>监控实战分析

    学习 Docker 容器的 8 个命令分享

    利用这 8 个命令可以学习 Docker 容器的基本管理方式。这是一个为 Docker 初学者准备的,带有示范命令输出的指南
    发表于 06-22 12:03 1246次阅读
    学习 <b class='flag-5'>Docker</b> 容器的 8 个命令分享

    Docker——从入门到实践

    docker_practice.zip
    发表于 04-19 10:44 0次下载
    <b class='flag-5'>Docker</b>——从<b class='flag-5'>入门</b>到实践

    Docker中文指南

    chinese_docker.zip
    发表于 04-19 10:15 2次下载
    <b class='flag-5'>Docker</b>中文<b class='flag-5'>指南</b>

    docker技术入门与实战

    入门docker的首本书,系统化掌握容器技术栈
    发表于 06-09 14:38 0次下载

    docker的4种网络模式配置

    Docker 使用 Linux 桥接,在宿主机虚拟一个 Docker 容器网桥(docker0),Docker 启动一个容器时会根据 Docker
    的头像 发表于 10-10 10:37 945次阅读

    docker进入容器的方法有哪些

    Docker是一种流行的容器化平台,它能够快速构建、交付和运行应用程序。在使用Docker时,我们经常需要进入容器进行调试、管理和运行命令等操作。本文将详细介绍Docker进入容器的各
    的头像 发表于 11-23 09:45 3391次阅读

    docker核心组件有哪些

    Docker Image、Docker Container、Docker Registry 和 Docker Compose。以下将详细介绍
    的头像 发表于 11-23 09:47 735次阅读

    如何利用树莓派安装DockerDocker-compose呢?

    本文主要演示了树莓派如何安装DockerDocker-compose的过程。
    的头像 发表于 12-14 16:19 1199次阅读
    如何利用树莓派安装<b class='flag-5'>Docker</b>和<b class='flag-5'>Docker</b>-compose呢?