什么是GPU?
的GPU(图形处理单元)是一家专业的设立初衷是呈现高帧率(视频游戏中最常用图片)计算机硬件。由于图形纹理和浓淡需要并联比由CPU(中央处理单元)可以合理地处理执行一个以上矩阵运算和矢量运算,图形处理器作了更有效地执行这些计算。
为什么GPU?
恰巧,深度学习也需要超快速的矩阵计算。因此,研究人员把两者结合,并在GPU的开始训练模型剩下的就是历史。
GPU | 中央处理器 |
---|---|
优化的FP操作 | 复杂指令集 |
慢(1-2 GHz)的 | 快(3-4千兆赫) |
> 1000个芯 | <100个核 |
快速的专用VRAM | 大容量系统内存 |
深度学习真的只有大约每秒浮点运算次数(FLOPS)的数量忧虑。GPU的高度为优化。
在上面的对数刻度图上,可以看到的GPU(红/绿),理论上可以做到10-15x CPU的操作(蓝色)。这加速非常适用于实践了。但不要拿我们的话!
尝试Jupyter笔记本电脑内运行以下命令:
细胞[1]:进口火炬
t_cpu = torch.rand(500500500)
%timeit t_cpu @ t_cpu
细胞[2]:t_gpu = torch.rand(500500500).cuda()
%timeit t_gpu @ t_gpu
如果你想培养什么深学习有意义,一个GPU是你所需要的 - 准确地说是NVIDIA GPU。
为什么NVIDIA?
我们建议您使用NVIDIA GPU,因为他们是目前最好的了,有几个原因:
目前最快
对于CUDA本地Pytorch支持
与cuDNN深度学习高度优化
非常感谢安德鲁·肖写这篇指南。