0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

做Docker Image的一些技巧

马哥Linux运维 来源:马哥Linux运维 作者:马哥Linux运维 2022-07-22 10:58 次阅读

最近做了一个好玩的工具,叫xbin.io[1]。其中有一项工作是为不同的工具来构建 Docker 镜像,让他们都运行在 Docker 中(实际上,是兼容 Docker image 的其他 sandbox 系统,没有直接用 Docker)。支持的工具越来越多,为了节省资源,Build 的 Docker image 就越小越好,文件越少,其实启动速度也会略微快一些,也会更安全一些。

这篇文章来介绍一下做 Docker Image 的一些技巧。

在之前的博客Docker (容器) 的原理[2]中介绍过 Docker image 是如何工作的。简单来说,就是使用 Linux 的overlayfs[3], overlay file system 可以做到,将两个 file system merge 在一起,下层的文件系统只读,上层的文件系统可写。如果你读,找到上层就读上层的,否则的话就找到下层的给你读。然后写的话会写入到上层。这样,其实对于最终用户来说,可以认为只有一个 merge 之后的文件系统,用起来和普通文件系统没有什么区别。

有了这个功能,Docker 运行的时候,从最下层的文件系统开始,merge 两层,得到新的 fs 然后再 merge 上一层,然后再 merge 最上一层,最后得到最终的 directory,然后用chroot[4]改变进程的 root 目录,启动 container。

654c381a-05da-11ed-ba43-dac502259ad0.png

了解了原理之后,你会发现,这种设计对于 Docker 来说非常合适:

如果 2 个 image 都是基于 Ubuntu,那么两个 Image 可以共用 Ubuntu 的 base image,只需要存储一份;

如果 pull 新的 image,某一层如果已经存在,那么这一层之前的内容其实就不需要 pull 了;

后面 build image 的技巧其实都是基于这两点。

另外稍微提一下,Docker image其实就是一个 tar 包[5]。一般来说我们通过Dockerfile用docker built命令来构建,但是其实也可以用其他工具构建,只要构建出来的image 符合 Docker 的规范[6],就可以运行。比如,之前的博文Build 一个最小的 Redis Docker Image[7]就是用 Nix 构建出来的。

技巧1:删除缓存

一般的包管理器,比如apt,pip等,下载包的时候,都会下载缓存,下次安装同一个包的时候不必从网络上下载,直接使用缓存即可。

但是在 Docker Image 中,我们是不需要这些缓存的。所以我们在Dockerfile中下载东西一般会使用这种命令:

RUNdnfinstall-y--setopt=tsflags=nodocs
httpdvim&&
systemctlenablehttpd&&
dnfcleanall

在包安装好之后,去删除缓存。

一个常见的错误是,有人会这么写:

FROMfedora
RUNdnfinstall-ymariadb
RUNdnfinstall-ywordpress
RUNdnfcleanall

Dockerfile 里面的每一个RUN都会创建一层新的 layer,如上所说,这样其实是创建了 3 层 layer,前 2 层带来了缓存,第三层删除了缓存。如同 git 一样,你在一个新的 commit 里面删除了之前的文件,其实文件还是在 git 历史中的,最终的 docker image 其实没有减少。

但是 Docker 有了一个新的功能,docker build --squash。squash 功能会在 Docker 完成构建之后,将所有的 layers 压缩成一个 layer,也就是说,最终构建出来的 Docker image 只有一层。所以,如上在多个RUN中写 clean 命令,其实也可以。我不太喜欢这种方式,因为前文提到的,多个 image 共享 base image 以及加速 pull 的 feature 其实就用不到了。

一些常见的包管理器删除缓存的方法:

yum yum clean all
dnf dnf clean all
rvm rvm cleanup all
gem gem cleanup
cpan rm -rf ~/.cpan/{build,sources}/*
pip rm -rf ~/.cache/pip/*
apt-get apt-get clean

另外,上面这个命令其实还有一个缺点。因为我们在同一个RUN中写多行,不容易看出这个dnf到底安装了什么。而且,第一行和最后一行不一样,如果修改,diff 看到的会是两行内容,很不友好,容易出错。

可以写成这种形式,比较清晰。

RUNtrue
&&dnfinstall-y--setopt=tsflags=nodocs
httpdvim
&&systemctlenablehttpd
&&dnfcleanall
&&true

技巧2:改动不频繁的内容往前放

通过前文介绍过的原理,可以知道,对于一个 Docker image 有 ABCD 四层,B 修改了,那么 BCD 会改变。

根据这个原理,我们在构建的时候可以将系统依赖往前写,因为像apt,dnf这些安装的东西,是很少修改的。然后写应用的库依赖,比如pip install,最后 copy 应用。

比如下面这个 Dockerfile,就会在每次代码改变的时候都重新 Build 大部分 layers,即使只改了一个网页的标题。

FROMpython:3.7-buster

#copysource
RUNmkdir-p/opt/app
COPYmyapp/opt/app/myapp/
WORKDIR/opt/app

#installdependenciesnginx
RUNapt-getupdate&&apt-getinstallnginx
RUNpipinstall-rrequirements.txt
RUNchown-Rwww-data:www-data/opt/app

#startserver
EXPOSE8020
STOPSIGNALSIGTERM
CMD["/opt/app/start-server.sh"]

我们可以改成,先安装 Nginx,再单独 copyrequirements.txt,然后安装pip依赖,最后 copy 应用代码。

FROMpython:3.7-buster

#installdependenciesnginx
RUNapt-getupdate&&apt-getinstallnginx
COPYmyapp/requirements.txt/opt/app/myapp/requirements.txt
RUNpipinstall-rrequirements.txt

#copysource
RUNmkdir-p/opt/app
COPYmyapp/opt/app/myapp/
WORKDIR/opt/app

RUNchown-Rwww-data:www-data/opt/app

#startserver
EXPOSE8020
STOPSIGNALSIGTERM
CMD["/opt/app/start-server.sh"]

技巧3:构建和运行 Image 分离

我们在编译应用的时候需要很多构建工具,比如 gcc, golang 等。但是在运行的时候不需要。在构建完成之后,去删除那些构建工具是很麻烦的。

我们可以这样:使用一个 Docker 作为 builder,安装所有的构建依赖,进行构建,构建完成后,重新选择一个 Base image,然后将构建的产物复制到新的 base image,这样,最终的 image 只含有运行需要的东西。

比如,这是安装一个 golang 应用pup的代码:

FROMgolangasbuild
ENVCGO_ENABLED0
RUNgoinstallgithub.com/ericchiang/pup@latest

FROMalpine:3.15.4asrun
COPY--from=build/go/bin/pup/usr/local/bin/pup

我们使用golang这个 1G 多大的 image 来安装,安装完成之后将 binary 复制到 alpine, 最终的产物只有 10M 左右。这种方法特别适合一些静态编译的编程语言,比如 golang 和 rust.

技巧4:检查构建产物

这是最有用的一个技巧了。

dive 是一个 TUI,命令行的交互式 App,它可以让你看到 docker 每一层里面都有什么。

dive ubuntu:latest命令可以看到 ubuntu image 里面都有什么文件。内容会显示为两侧,左边显示每一层的信息,右边显示当前层(会包含之前的所有层)的文件内容,本层新添加的文件会用黄色来显示。通过tab键可以切换左右的操作。

656e6296-05da-11ed-ba43-dac502259ad0.png

一个非常有用的功能是,按下ctrl+U可以只显示当前层相比于前一层增加的内容,这样,就可以看到增加的文件是否是预期的了。

按ctrl+Space可以折叠起来所有的目录,然后交互式地打开他们查看,就像是 Docker 中的ncdu。

审核编辑:彭静

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 镜像
    +关注

    关注

    0

    文章

    153

    浏览量

    10562
  • root
    +关注

    关注

    1

    文章

    80

    浏览量

    21217
  • Docker
    +关注

    关注

    0

    文章

    430

    浏览量

    11573

原文标题:4 个超实用的 Docker 镜像构建技巧

文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    docker核心组件有哪些

    Docker ImageDocker Container、Docker Registry 和 Docker Compose。以下将详细介
    的头像 发表于 11-23 09:47 537次阅读

    docker exec命令的使用方法

    的基本格式如下所示: docker exec [OPTIONS] CONTAINER COMMAND [ARG...] 其中,OPTIONS表示一些可选的参数选
    的头像 发表于 11-23 09:33 610次阅读

    docker部署对性能的影响

    Docker 是一个流行的容器化平台,它提供了一种轻量级的虚拟化技术,使得应用程序可以在独立的容器中运行。然而,部署应用程序到 Docker 容器中可能会对性能产生一些影响。在本文中,我们将探讨
    的头像 发表于 11-23 09:31 548次阅读

    docker部署mysql的坏处

    Docker 是一种虚拟化技术,它允许开发人员在容器内打包应用程序及其所有依赖项,从而实现在不同环境中运行相同的应用程序的能力。然而,在使用 Docker 部署 MySQL 时,也存在一些潜在
    的头像 发表于 11-23 09:29 539次阅读

    请问单片机运行一些没有解析解的函数该如何?

    单片机运行一些没有解析解的函数该如何?
    发表于 11-07 07:27

    使用Docker容器编译OK3568源代码

    ;lt; rksdkbuilder-v1.1.tar 可以使用docker image命令查看,镜像是否存在 docker images | grep rksdkbuilder
    发表于 10-19 10:36

    docker基础知识和使用bmnnsdk时的docker常用命令

    ./docker_run_bmnnsdk.sh 添加命名docker image:--name=yourname,运行脚本文件,之后可以重复使用该容器,省去一些重复初始化容器操作。
    发表于 09-18 07:59

    docker 搜索镜像,docker查看镜像详细信息(docker下载镜像命令)

    search [parameter] [image] 通过“docker search用户可以根据镜像名称和描述信息查找Docker Hub中的镜像。例如,以下命令可以找到所有名称,包括“mysql”的镜像
    的头像 发表于 07-19 09:46 1060次阅读

    docker容器中构建yocto imx-image时出错怎么解决?

    yocto imx-image。 我认为 Docker 已经设置成功。我在 ubuntu 20.04 中键入 docker info 命令,系统用服务器版本回复我:20.10.14。 我尝试运行这两个命令
    发表于 06-08 09:30

    【米尔瑞萨RZ/G2L开发板-试用体验】docker下使用yocto构建开发板镜像和SDK

    安装docker $ sudo apt-get install docker-engine docker-io #安装docker $ sudo usermod -aG
    发表于 05-31 15:39

    如何让个uno成为ringmaster向网络上的每个其他uno发送一些数据并触发它们一些工作?

    数据并触发它们一些工作,处理它们的数据并将其发送回第个 uno。 看起来这应该是相当直截了当的,但这超出了我的理解范围,我正在寻找个做过这件事的人的可靠例子。
    发表于 05-23 07:06

    docker一些常用命令总结

    Docker是一种容器化技术,可以将应用程序及其依赖项打包成一个独立的容器,从而实现应用程序的快速部署、移植和扩展。本文将详细介绍Docker的各种命令及其使用方法。
    的头像 发表于 05-11 17:04 330次阅读

    ESP-IDF Docker从入口点保留环境变量的问题求解

    docker run -dit --name test -w /project espressif/idf bash替代解决方案:我可以吗只设置一些路径并且从不运行 export.sh 文件?
    发表于 04-13 06:59

    imx-5.15.71-2.2.0为imx-image-full填充SDK大约需要个小时,是否可以删除一些东西以加快速度并缩小尺寸?

    从 imx-5.15.71-2.2.0 为 imx-image-full 填充 SDK 大约需要个小时。安装后最终 SDK 约为 26 GB。是否可以删除一些东西以加快速度并缩小尺寸?
    发表于 04-06 07:38

    无法设置GOLDVIP S32G Docker镜像怎么解决?

    在下面的快照中提到。因此,但 ii 执行了手册中提到的相同命令程序,使用 docker 自动启用以太网端口,但未启用。我尝试了一些命令并再次启用以太网端口显示相同的错误。
    发表于 03-31 07:04