0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

PyCharm + Docker:打造最舒适的深度学习炼丹炉

人工智能与大数据技术 来源:YXQ 2019-07-05 15:15 次阅读

一般炼丹都在服务器上,很少有人在本机跑代码的。之前自己捣鼓怎么用本地的编辑器配上远程服务器的环境来营造一个最舒服的姿势。最开始用VS Code的SFTP插件,但是用着还是不顺手,因为不能用远程的环境,最后还是选择了强大的PyCharm。下面的这个教程最开始只是自己用,后来写了一篇博客分享给实验室的人,没想到大家都开始用上了。这次专门写一篇更详细的供有缘人使用。

开始之前你可以对比以下条件来确定自己是否真的需要这样做:

使用PyCharm作为主力IDE写Python而不是其他(我非常推荐大家用)

深度学习炼丹师(当然你可以不是,但如果是,你会更舒服)

服务器在远程或者局域网(局域网的体验最佳)

使用Docker(能够熟练使用最佳)

当你配置完成之后,你将能在本地PyCharm IDE上使用远程服务器的Python解释器和环境进行调试和运行,同时能够很方便的将代码在本地和服务器上进行同步。

OK,废话不多说,正式开始我们的PyCharm+Docker的远程环境配置之旅。

首先你需要满足以下两个必备条件:

使用PyCharm专业版,记住一定是专业版(社区版不提供远程服务)

在服务器上安装docker和nvidia-docker

1. 新建docker container

首先按照如下命令新建一个docker容器(关于docker的使用这里不废话,建议不熟悉的童鞋先去学一下如何使用docker,教程很多):

sudo nvidia-docker run -it -p [host_port]:[container_port](do not use 8888) --name:[container_name] [image_name] -v [container_path]:[host_path] /bin/bash

举个栗子:

sudo nvidia-docker run -p 5592:5592 -p 5593:5593 -p 8022:22 --name=“liuzhen_tf” -v ~/workspace/liuzhen/remote_workspace:/workspace/liuzhen/remote_workspace -it tensorflow/tensorflow:latest-gpu /bin/bash

正确执行完之后,现在我们就处在新建的docker容器里了(端口映射,容器名,镜像和路径映射这些换成你自己的就行,但是一定要留一个端口映射到容器22端口,因为SFTP默认使用22端口)。

2. 配置SSH服务

接着我们在刚刚新建的容器里配置SSH服务,首先安装openssh-server:

$ apt update$ apt install -y openssh-server

然后建立一个配置文件夹并进行必要的配置:

$ mkdir /var/run/sshd$ echo ‘root:passwd’ | chpasswd# 这里使用你自己想设置的用户名和密码,但是一定要记住!$ sed -i ‘s/PermitRootLogin prohibit-password/PermitRootLogin yes/’ /etc/ssh/sshd_config$ sed ‘s@sessions*requireds*pam_loginuid.so@session optional pam_loginuid.so@g’ -i /etc/pam.d/sshd$ echo “export VISIBLE=now” 》》 /etc/profile

重启SSH激活配置:

$ service ssh restart

在服务器(宿主机)上(不是服务器的docker里)测试刚刚新建docker容器中哪个端口转发到了服务器的22端口:

$ sudo docker port [your_container_name] 22# 如果前面的配置生效了,你会看到如下输出# 0.0.0.0:8022

最后测试能否用SSH连接到远程docker:

$ ssh root@[your_host_ip] -p 8022# 密码是你前面自己设置的

到这里说明服务器的docker端已经完成配置。

3. 在PyCharm里配置部署环境

打开PyCharmTools 》 Deployment 》 Configuration, 新建一个SFTP服务器,名字自己取:

输入如下图配置,注意这里的端口是你刚刚设置的映射到容器22端口的宿主机中的端口,我这里使用的是8022,账号密码是你刚刚自己设置的,这里的Root Path设置一个远程docker容器里的路径:

配置完点击Test SFTP connection,如果成功就恭喜你,可以进行下一步了。

最后在Mappings中配置路径,这里的路径是你本地存放代码的路径,与刚刚配置的Root Path相互映射(意思是Mapping里本机的路径映射到远程的Root Path),方便以后在本地和远程docker中进行代码和其他文件同步。

4. 在PyCharm里配置远程解释器

点击PyCharm的File 》 Setting 》 Project 》 Project Interpreter右边的设置按钮新建一个项目的远程解释器:

配置完成以后在项目解释器界面就会出现如下图所示,可以看到此时已经完成远程解释器的本地化:

配置完成以后需要等本地和远程的环境同步一下,到这里,恭喜你,可以用最舒服的姿势。。。写代码了。

配置完成以后的日常是这样的:

左边是本地的文件,修改之后可以随时右键deployment-》upload到远程主机,或者直接在本地调试运行;最右边是远程主机的文件,假如直接在远程修改了文件刷新一下同样可以右键下载到本地,但是我不建议这样做,因为这样很容易带来冲突(毕竟没有很好的版本控制)。目前最好的实践是在局域网的服务器上,时延低,同步速度快。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • python
    +关注

    关注

    51

    文章

    4667

    浏览量

    83440
  • 深度学习
    +关注

    关注

    73

    文章

    5222

    浏览量

    119863

原文标题:PyCharm + Docker:打造最舒适的深度学习炼丹炉

文章出处:【微信号:TheBigData1024,微信公众号:人工智能与大数据技术】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Pycharm安装方法

    `PyCharm是唯一一款专门面向Python的全功能集成开发环境,无论在Windows、Mac OS X系统中,还是在Linux系统中都支持快速安装和使用,以下是以Windows操作系统为例,进行
    发表于 04-12 16:10

    pycharm的安装使用教程

    ``PyCharm是唯一一款专门面向Python的全功能集成开发环境,无论在Windows、Mac OS X系统中,还是在Linux系统中都支持快速安装和使用,以下是以Windows操作系统为例
    发表于 04-12 16:14

    Nanopi深度学习之路(1)深度学习框架分析

    学习,也就是现在最流行的深度学习领域,关注论坛的朋友应该看到了,开发板试用活动中有【NanoPi K1 Plus试用】的申请,介绍中NanopiK1plus的高大上优点之一就是“可运行深度
    发表于 06-04 22:32

    pycharm linux的破解步骤

    1、首先去官网下载对应的pycharm,拷贝到/opt目录,解压,进入bin目录,运行pycharm.sh,如图:
    发表于 07-24 07:36

    什么是深度学习?使用FPGA进行深度学习的好处?

    什么是深度学习为了解释深度学习,有必要了解神经网络。神经网络是一种模拟人脑的神经元和神经网络的计算模型。作为具体示例,让我们考虑一个输入图像并识别图像中对象类别的示例。这个例子对应机器
    发表于 02-17 16:56

    学习管理 docker 容器的一些命令

    在本教程中,我们会学习管理 docker 容器的一些命令。
    的头像 发表于 01-22 11:56 4083次阅读

    袁进辉:分享了深度学习框架方面的技术进展

    1月17日,院友袁进辉博士回到微软亚洲研究院做了题为《打造最强深度学习引擎》的报告,分享了深度学习框架方面的技术进展。
    的头像 发表于 01-25 09:23 4514次阅读
    袁进辉:分享了<b class='flag-5'>深度</b><b class='flag-5'>学习</b>框架方面的技术进展

    学习 Docker 容器的 8 个命令分享

    利用这 8 个命令可以学习 Docker 容器的基本管理方式。这是一个为 Docker 初学者准备的,带有示范命令输出的指南。
    发表于 06-22 12:03 1240次阅读
    <b class='flag-5'>学习</b> <b class='flag-5'>Docker</b> 容器的 8 个命令分享

    Infortrend存储 EonStor GSi 深度学习AI存储一体机

    , 利用GPU加快DNN计算效率。GSi本身是一台统一存储系统,支持SAN与NAS服务,可达到PB级的存储空间。GSi自带Linux的Docker平台,因此搭建AI深度学习的环境相当便利,只要选好
    发表于 05-20 20:34 879次阅读

    机器学习自动化(AutoML):让机器自己炼丹

    机器学习的应用需要大量的人工干预,比如特征提取、模型选择、参数调节等,深度学习也被戏称为炼丹术。
    的头像 发表于 06-21 11:15 6584次阅读

    如何在pycharm环境下使用python

    PyCharm是由JetBrains打造的一款Python IDE,VS2010的重构插件Resharper就是出自JetBrains之手。
    的头像 发表于 01-22 11:19 2474次阅读

    从零开始学习制作、以及使用Tina的Docker编译镜像

    学习制作、以及使用Tina的Docker编译镜像
    的头像 发表于 08-28 11:45 1855次阅读
    从零开始<b class='flag-5'>学习</b>制作、以及使用Tina的<b class='flag-5'>Docker</b>编译镜像

    PyCharm为什么这么牛?

    PyCharm 大量的开箱即用工具包括集成的调试器和测试运行程序;Python 分析器;内置的终端;与主要 VCS 的集成和内置的数据库工具;利用远程解释器的远程开发能力;集成的 ssh 终端;以及与 Docker 和 Vagrant 的集成。
    的头像 发表于 04-04 11:11 805次阅读

    Pycharm配置远程调试

    在搞深度学习的时候,我们在本地开发,但是需要在服务器去运行工程,所以需要使用Pycharm进行远程配置,可以实现本地代码自动同步到服务器,并在本地使用服务器的解释器。
    的头像 发表于 06-13 14:18 460次阅读
    <b class='flag-5'>Pycharm</b>配置远程调试

    32位的win7如何安装pycharm

    安装PyCharm在32位的Windows 7系统上是可能的,虽然32位系统的支持已经逐渐减少,但PyCharm仍然提供可用于此系统的安装程序。在本文中,我将详细介绍在32位的Windows
    的头像 发表于 11-23 17:09 2001次阅读