欢迎GCP!

本指南介绍如何设置谷歌云平台(GCP)使用PyTorch 1.0.0和1.0.2 fastai。在本教程结束时,您将能够在启用GPU-Jupyter笔记本电脑的环境中使用它们。

如果您正在返回工作岗位,并已完成以下步骤,请转到恢复工作部分。

定价

GCP分别为基础CPU平台和GPU收费。我们有两种推荐的构型,标准预算。请注意,所有的价格假设你使用抢占实例(详见下文)。

计算标准

基础平台,我们建议被称为N1-HIGHMEM-8,收费是每小时$ 0.10。附加P100 GPU收费是每小时$ 0.43,以便两者一起量0.53美元每小时

预算计算

如果你有一个紧张的预算,你可能想去一个较便宜的设置。这样的话,我们建议aN1-HIGHMEM -4-实例($0.05 /小时)与相同的T4 GPU($0.11 /小时),共$ 0.16小时

存储

在这两种情况下,通过获得建议的200GB标准磁盘存储大小(更少的存储篮经验),将有一个额外收费每月$ 8。在快速的SSD存储同样大小的费用每月$ 34

你会使用多少本课程

考虑到该课程要求,超过2个月80小时的家庭作业加上在经过2小时通过每堂课的工作,我们粗略计算多少你会在使用过程中花费与每个设置的。

  • 计算标准+存储:(80 + 2 * 7)* $ 0.22 + $ 8 * 2 =$ 49.82
  • 预算计算+存储:(80 + 2 * 7)* $ 0.165 + $ 8 * 2 =$ 31.51

即使你上这门课的时间是我们建议的最低时间的两倍,你的花费也会达到这个数字$ 99.64小于学分GCP给你的1/3。因此,我们建议去为标准计算的选项。

第1步:创建您的帐户

云计算允许用户访问虚拟CPU或GPU资源上的每小时的速度,这取决于硬件配置。查找更多的信息谷歌云平台文档。如果你没有一个GCP帐户,您可以创建一个在这里,它配备了$ 300价值使用信用的自由。

潜在障碍:尽管GCP提供$ 300的初始信用,你必须启用计费使用它。你可以把信用卡或银行帐户,但后者将需要数天时间激活。

需要您的结算帐户链接上你要运行映像项目。对于这个导航到计费指示板, 点击 '...”菜单,选择“改变结算账户”。

第2步:安装谷歌CLI

要创建然后就可以连接到您的实例,您需要安装谷歌Cloud的命令行界面(CLI)从谷歌软件。对于Windows用户,我们建议您使用Ubuntu的终端并按照为Ubuntu用户相同的指令(参见学习如何粘贴到你的终端的链接)。

要安装在Linux或Windows(在Ubuntu终端),请按照以下四个步骤:

#创建正确的分布环境变量出口CLOUD_SDK_REPO=“cloud-sdk -$(lsb_release- c- s#添加云SDK分配URI作为一个包的源回声“DEB http://packages.cloud.google.com/apt$ CLOUD_SDK_REPO主要的“|sudo三通——一个/etc/apt/sources.list.d / google-cloud-sdk.list#导入谷歌云平台公钥卷曲https://packages.cloud.google.com/apt/doc/apt-key.gpg |须藤易键添加 -#更新软件包列表和安装云SDK须藤apt-get的更新&&须藤apt-get的安装谷歌云-SDK

你可以找到更多关于安装过程的细节在这里

要在Mac OS安装谷歌CLI,在终端运行

curl https://sdk.cloud.google.com | bash exec -l $SHELL

在这两种情况下,一旦安装完成后运行该线

gcloud INIT

然后你会看到这样的提示信息:

要继续,您必须登录。你想登录(Y/n)吗?

键入Y然后复制该链接并粘贴到浏览器。选择您在步骤1期间使用的谷歌帐户,单击“允许”,你会得到一个确认代码复制并粘贴到你的终端。

然后,如果你有一个以上的项目(如果已在您的GCP帐户创建),系统会提示您选择一种:

接云项目中使用:[1] [我的项目-1] [2] [我的项目-2] ...请输入您的数字选择:

只需输入在步骤1中创建的项目旁边的数字。如果你刚刚创建了你的帐户,它很可能会有一个生成的随机名称作为项目ID。如果你选择“创建一个新项目”,你会被提醒你还必须运行“gcloud projects Create my-project-3”。

为了设置一个默认的区域,你将需要启用Compute Engine的API,CLI会输出你可以遵循这样做的链接。

If you’ve enabled the Compute Engine API you’ll be asked if you want to choose a default region, choose us-west1-b if you don’t have any particular preference, as it will make the command to connect to this server easier.

您可以修改此之后与gcloud配置集计算/区域名称

一旦做到这一点,你会看到你的终端上这样一条消息:

你的谷歌云SDK配置并准备使用!需要身份验证将使用*命令[电子邮件保护]默认情况下*命令将引用项目' my-project-1 '默认情况下运行' gcloud帮助配置'来学习如何改变个人设置这个gcloud配置被称为[default]。

步骤3:创建一个实例

为了创建我们推荐的情况下,只需复制并粘贴到你的终端下面的命令。您可以更改$ INSTANCE_NAME您要为您的实例任何名称。

如果你选择的预算计算选项,请用替换上线的参数值“预算:”注释(由例如替换“N1-HIGHMEM-8”,“N1-HIGHMEM-4”)。

出口IMAGE_FAMILY=“pytorch-latest-gpu”#或“pytorch  - 最新CPU的”非GPU实例出口=“美central1-F”出口INSTANCE_NAME=“我-fastai实例”出口INSTANCE_TYPE=“N1-HIGHMEM-8”#预算: “N1-HIGHMEM-4”#预算: '类型= NVIDIA特斯拉-T4,计数= 1'gcloud计算实例创建$ INSTANCE_NAME\- 区=美元区\--image家庭=IMAGE_FAMILY美元\--image项目=深度学习平台释放\--maintenance政策=TERMINATE\- 加速器=“type = nvidia-tesla-p100,数= 1”\- 机型=$ INSTANCE_TYPE\——boot-disk-size=200GB\--metadata=“install-nvidia-driver = True”\--preemptible

如果你得到一个错误说:

错误:gcloud.compute.instances.create无法获取资源: - 配额'GPUS_ALL_REGIONS'超标。限制:0.0全局。

你需要调整你的GPU配额。

  1. 谷歌云配额页
  2. 如果你有一个免费的层级帐户注册,您首先需要升级到付费帐户;通过点击页面右上角的“升级帐户”按钮即可。这会不会影响你的$ 300的信用。
  3. 在“限制名称”下拉菜单中,选择“gpu(所有区域)”,在“地点”下选择“全局”(或“所有地点”)。
  4. 点击编辑配额并选择配额编辑(GPU的所有区域)。设置新的配额限制,以1个或多个。您的请求可能需要确认,其中谷歌宣称通常需要两个工作日就搞定了。

你将不得不等待一点点,直到你看到的文字,告知您的实例已创建。你可以在网上看到的实例在这里在你的情况下(注意,这将是你不得不去后停止您的实例页)的列表。

当小图标,其名称左侧变绿你的情况下将准备。

您还可以从命令行阅读有关实例创建的更多细节在这里

一旦做到这一点,你可以通过输入端连接到您的实例:

gcloud计算SSH- 区=美元区[电子邮件保护]$ INSTANCE_NAME-- l8080: localhost: 8080

你能够连接之前,谷歌云可能会要求您创建一个SSH密钥。只要按照提示操作(密码短语是可选的,如果你不打算使用此键什么太不安全)。

如果一切正常,您现在应该可以连接到您的GCP实例!要使用它,只需访问本地主机:8080 /树你会发现自己在一个jupyter笔记本环境。请注意,当你保持在你的终端SSH连接这仅适用。注意GCP还安装了一个名为“JupyterLab”系统,该系统仍处于测试阶段,并且不支持在课程的一切;因此,你需要使用“Jupyter笔记本”,这是上面的链接将带您到。

抢占实例:

请注意,我们正在运行一个抢占的实例(请注意我们的命令“-preemptible”参数)。一种抢占GCP实例比传统实例更便宜,但它有两个主要缺点:

  1. 它可以在任何时间被抢占(停止)以30秒预告,由于高需求。
  2. 它总是24小时连续运转后停止。

如果您的实例已停止,已保存的数据将被保留安全的,但如果你正在运行的模型,进度将会丢失。

这些特性使得抢占实例初学者一个不错的选择,因为你不会被运行需要数天的运行非常深刻的车型。但是,如果你确实需要不间断地运行模型的很长一段时间,你可以随时调用相同的命令,但跳过“-preemptible”参数。考虑到这样会增加你的成本约$ 1.29小时。

第4步:访问fast.ai材料和更新包

现在,您的命令行应表现出的线沿线的提示[电子邮件保护]

您应该确保Github的配置和拉从资源库中。您可以通过键入以下行做到这一点:

cd教程/fastai/课程-v3 git checkout。git拉

你也应该更新fastai库:

康达安装- cfastai fastai

接下来,从jupyter笔记本:点击“教程”,“fastai”,“当然-V3”,你应该看到这样的事情:

NB政党成员“src=

现在回到第一页来看看如何使用这个jupyter笔记本电脑和运行jupyter笔记本电脑教程。一旦您完成后回到这里,不要忘记停止您的实例下一步。

步骤5:停止一个实例

如果你不停止,你会被收取实例,而它的“空闲”(例如不训练的网络)。要停止实例了谷歌云计算的在线界面走的在这里,点击“...”图标实例的右侧,并选择“停止”或点击停止按钮在屏幕的顶部。

GCP-停止实例“src=

要了解如何再次打开它,更新课程或fastai库,转到返回到工作页面

参考文献


非常感谢马塞尔·阿克曼,安东尼奥·鲁埃达Toicen,维亚切Kovalevskyi,弗朗西斯科英厄姆和杰夫·黑尔为自己本指南的贡献。