「炼丹」师的福音!支持AMD GPU,PyTorch 1.8来了!
新智元
共 2344字,需浏览 5分钟
·
2021-03-14 11:59
新智元报道
【新智元导读】PyTorch1.8发布,整体来看,本次更新涵盖1.7版本发布以来,共计3000多次Github提交,包括编译、代码优化、科学计算前端 API 以及通过 pytorch.org 提供的二进制文件支持AMD ROCm。
PyTorch是一个开源的Python机器学习库。2017年1月,由Facebook人工智能研究院(FAIR)基于Torch推出了PyTorch,用于自然语言处理等应用程序。
支持通过 torch.fx进行函数转换;
增加和调整 API以支持 FFT( torch.fft )、线性代数函数( torch.linalg )
添加了复杂张量自动求导(autograd)的支持,并提升了矩阵计算 hessian 和 jacobian 的能力;
对分布式训练进行了重大更新和改进,包括:改进 NCCL 可靠性,支持管道并行,RPC 分析,支持添加梯度压缩的通讯 钩子。
[稳定版] Torch.fft 支持高性能 NumPy 中的 FFT
[测试版] torch.linalg 将支持 NumPy 中的线性代数函
[测试版] 利用 FX 进行 Pthon 代码转换。
ZeroRedundancyOptimizer:有助于减少每个线程的内存占用;
进程组 NCCL 发送/接收:允许用户在 Python 层(而非 C++ 层)实现集合操作;
RPC 中用 TensorPipe 支持 CUDA:为使用 PyTorch RPC 和多 GPU 机器的用户带来速度提升;
远程模块:允许用户像操作本地模块那样操作远程 worker 上的模块。
iOS 端用 DeepLabV3 进行图像分割
Android 端用 DeepLabV3 进行图像分割
Benchmark utils
FX Graph Mode Quantization
强化 PyTorch Dispatcher 的能力,使其适应 C++ 中后端开发
AMD GPU 二进制文件现已推出
需要注意的是,PyTorch 1.8 仅在 Linux 系统中支持 AMD ROCm。
评论