亚马逊Web服务上深度学习的10个命令行方法

在Amazon Web Services EC2上运行大型深度学习过程是学习和开发模型的一种廉价而有效的方式。

只需几美元,你就可以访问数十亿字节的RAM、数十个CPU内核和多个GPU。我强烈推荐。

如果你是EC2或Linux命令行的新手,当你在云中运行深度学习脚本时,你会发现有一套命令非常有价值。

在本教程中,你将发现我每次使用EC2来适应大型深度学习模型时使用的10个命令的私人列表。

读完这篇文章,你就会知道:

  • 如何将数据复制到EC2实例以及从EC2实例复制数据。
  • 如何将脚本设置为安全运行数天、数周或数月。
  • 如何监控进程、系统和GPU性能。

我们开始吧。

概述

本文中提供的命令假定你的AWS EC2实例已经在运行。

为了保持一致性,我们还做了一些其他假设:

  • 你的服务器IP地址是54.218.86.47;将其更改为你的服务器实例的IP地址。
  • 你的用户名是ec2-user;将其更改为你在实例上的用户名。
  • 你的SSH密钥位于~/.ssh/中,文件名为aws-keypair.pem;将其更改为你的SSH密钥位置和文件名。
  • 你正在使用Python脚本。

如果你需要帮助设置和运行基于GPU的AWS EC2实例以进行深度学习,请参阅教程:

1.从你的工作站登录到服务器

你必须先登录服务器,然后才能执行任何有用的操作。

你可以使用SSH安全外壳轻松登录。

我建议使用一个有用的名称将SSH密钥存储在~/.ssh/目录中。我使用名称aws-keypair.pem。请记住:该文件必须具有权限600。

以下命令将使你登录到服务器实例。请记住将用户名和IP地址更改为你相关的用户名和服务器实例IP地址。

ssh -i ~/.ssh/aws-keypair.pem ec2-user@54.218.86.47

2.将文件从你的工作站复制到服务器

你可以使用安全复制(scp)将文件从工作站复制到服务器实例。

下面的示例在你的工作站上运行,它会将工作站本地目录中的script.py Python脚本复制到你的服务器实例。

scp -i ~/.ssh/aws-keypair.pem script.py ec2-user@54.218.86.47:~/

3.在服务器上作为后台进程运行脚本

你可以将Python脚本作为后台进程运行。

此外,你可以这样运行它:它将忽略来自其他进程的信号,忽略任何标准输入(stdin),并将所有输出和错误转发到日志文件。

根据我的经验,所有这些都是适应大型深度学习模型的长时间运行脚本所必需的。

nohup python /home/ec2-user/script.py >/home/ec2-user/script.py.log &1 &

这里假设你正在运行位于/home/ec2-user/目录中的script.py Python脚本,并且希望将此脚本的输出转发到位于同一目录中的script.py.log文件。

根据你的需要进行调整。

如果这是你第一次使用nohup,你可以在此处了解更多信息:

如果这是你第一次使用重定向标准输入(Stdin)、标准输出(Stout)和标准错误(Sterr),你可以在这里了解更多信息:

4.在服务器上的特定GPU上运行脚本

如果你的AWS EC2实例能够处理你的问题,我建议你同时运行多个脚本。

例如,你选择的EC2实例可能有4个GPU,你可以选择在每个GPU上运行一个脚本。

使用CUDA,你可以指定要与环境变量CUDA_VIEWLE_DEVICES一起使用的GPU设备。

我们可以使用上面相同的命令运行脚本并指定要使用的特定GPU设备,如下所示:

CUDA_VISIBLE_DEVICES=0 nohup python /home/ec2-user/script.py >/home/ec2-user/script.py.log &1 &

如果你的实例上有4个GPU设备,则可以指定CUDA_VISPLICE_DEVICES=0到CUDA_VIRED_DEVICES=3。

我预计这将适用于Theano后端,但我只用Kera的TensorFlow后端进行了测试。

你可以在下面的帖子中了解有关CUDA_VIEW_DEVICES的更多信息:

5.监控服务器上的脚本输出

你可以在脚本运行时监视其输出。

如果你在每个纪元或在每个算法运行之后输出分数,这可能会很有用。

此示例将列出脚本日志文件的最后几行,并在向脚本添加新行时更新输出。

tail -f script.py.log

如果屏幕在一段时间内没有获得新的输出,亚马逊可能会积极关闭你的终端。

另一种方法是使用watch命令。我发现亚马逊会让这个终端保持开放:

watch "tail script.py.log"

我发现来自python脚本的标准输出(Stout)似乎并不经常更新。

我不知道这是EC2的事情还是Python的事情。这意味着你可能不会在日志中看到经常更新的输出。当缓冲区达到固定大小或在运行结束时,它似乎被缓冲并输出。

6.监控服务器上的系统和进程性能

监视EC2系统性能是一个好主意。特别是你正在使用和剩余的内存量。

你可以使用每隔几秒更新一次的top命令来完成此操作。

top -M

如果你知道系统的进程标识符(PID),你还可以监视系统和你的进程。

top -p PID -M

7.监控服务器上的GPU性能

这是一个好主意,密切关注你的GPU性能。

同样,如果你计划并行运行多个脚本并使用GPU RAM,请密切关注运行GPU的GPU利用率。

你可以使用nvidia-smi命令来监视GPU的使用情况。我喜欢使用watch命令,该命令使终端保持打开状态,并清除每个新结果的屏幕。

watch "nvidia-smi"

8.检查服务器上仍在运行哪些脚本

关注哪些脚本仍在运行也很重要。

你可以使用ps命令执行此操作。

同样,我喜欢使用watch命令来保持终端打开。

watch "ps -ef | grep python"

9.编辑服务器上的文件

我建议除非迫不得已,否则不要在服务器上编辑文件。

不过,你可以使用vi编辑器就地编辑文件。

下面的示例将在vi中打开你的脚本。

vi ~/script.py

当然,你可以使用你最喜欢的命令行编辑器,如emacs;如果你是Unix命令行的新手,本说明非常适合你。

如果这是你第一次接触vi,你可以在此处了解更多信息:

10.从你的工作站从服务器下载文件

我建议将你的模型以及所有结果和图形显式保存到新的单独文件中,作为脚本的一部分。

你可以使用安全复制(SCP)将这些文件从服务器实例下载到工作站。

下面的示例从你的工作站运行,并将主目录中的所有PNG文件复制到你的工作站。

scp -i ~/.ssh/aws-keypair.pem ec2-user@54.218.86.47:~/*.png .

其他提示和技巧

本节列出了大量使用AWS EC2时的一些其他提示。

  • 一次运行多个脚本。我建议选择具有多个GPU的硬件,并同时运行多个脚本,以充分利用平台。
  • 仅在你的工作站上编写和编辑脚本。将EC2视为一个伪生产环境,并且只将脚本和数据复制到那里运行。在你的工作站上进行所有开发,并编写代码的小测试,以确保代码按预期工作。
  • 将脚本输出显式保存到文件。将结果、图形和模型保存到文件中,以后可以下载到你的工作站进行分析和应用。
  • 使用watch命令。亚马逊自动地扼杀了没有活动的终端会话。你可以使用watch命令监视情况,该命令发送数据的频率足够高,从而使终端保持打开状态。
  • 从你的工作站运行命令。上面列出的任何打算在服务器上运行的命令也可以从你的工作站运行,方法是在命令前面加上“ssh –i ~/.ssh/aws-keypair.pem ec2-user@54.218.86.47”,然后引用你要运行的命令。这对于全天检查流程非常有用。

摘要

在本教程中,你了解了我每次使用GPU在AWS EC2实例上培训大型深度学习模型时使用的10个命令。

具体地说,你了解到:

  • 如何将数据复制到EC2实例以及从EC2实例复制数据。
  • 如何将脚本设置为安全运行数天、数周或数月。
  • 如何监控进程、系统和GPU性能。

00

Python

发表评论

电子邮件地址不会被公开。 必填项已用*标注

什么阻碍了你实现迈入机器学习领域的目标?

什么阻碍了你实现迈入机器学习领域的目标?

2020-04-22 机器学习

如果你在为进入机器学习领域而挣扎,感觉到有什么东西阻止了自己的开始,那么你应该看看这篇文章。 在这篇文章中,我们会讨论阻止进入机器学习领域的自我限制的信念,让你明白面临的问题。 几乎总是一种自我限制的信念阻碍了你们的进步。 也许你会在一个或多个这样的信念中看到自己。如果是这样的话, [......]

了解详情

R语言机器学习迷你课程

R语言机器学习迷你课程

2020-08-12 机器学习

在这个迷你课程中,你将发现如何开始,构建精确的模型,并自信地完成在14天内使用R预测建模机器学习项目。 这是一个重要而重要的文章。你可能想把它书签。 了解如何准备数据,拟合机器学习模型,并用我的新书评估他们在r上的预测,包括14步教程、3个项目和完整源代码。 我们开始吧。 [......]

了解详情

关于机器学习的几点思考

关于机器学习的几点思考

2020-04-26 机器学习

机器学习是一个大的、跨学科的研究领域。 你可以通过机器学习获得令人印象深刻的结果,并找到非常具有挑战性的问题的解决方案。但这只是更广泛的机器学习领域的一小部分,通常被称为预测建模或预测分析。 在这篇文章中,你将发现如何改变你对机器学习的思考方式,以便更好地为你提供机器学习实践者的服务。 [......]

了解详情

找到你的机器学习部落

找到你的机器学习部落

2020-04-26 机器学习

机器学习是一个充满算法和数据的迷人而强大的研究领域。 问题是,有这么多不同类型的人对机器学习感兴趣,每个人都有不同的需求。重要的是要了解你想要从机器学习中得到什么,并根据这些需求调整你的自学。 如果你不这样做,你很容易就会陷入困境,迷失方向,失去兴趣,得不到你想要的东西。 找到 [......]

了解详情

应用机器学习过程

应用机器学习过程

2020-04-26 机器学习

随着时间的推移,在处理应用机器学习问题时,你会开发出一种模式或流程,以快速获得良好的正常结果。 一旦开发完成,你就可以在一个又一个项目上反复使用此过程。你的流程越健壮、越发达,你就能越快地获得可靠的结果。 在这篇文章中,我想与你分享我解决机器学习问题的过程框架。 你可以将其用作下一 [......]

了解详情