pytorch多进程加速及代码优化方法

我双手接过晶莹的雪花,想数一数它有几朵花瓣,谁知它到手上就不见了,变成了小水珠。

目标:优化代码,利用多进程,进行近实时预处理、网络预测及后处理:

本人尝试了pytorch的multiprocessing,进行多进程同步处理以上任务。

from torch.multiprocessing import Pool,Manager

为了进行各进程间的通信,使用Queue,作为数据传输载体。

  manager = Manager()
  input_queue = manager.Queue()
  output_queue = manager.Queue()

  show_queue = manager.Queue()

即将预处理进程处理后的图像放进 input_queue,而网络预测进程实时获取 input_queue队列中的数据,一旦放入,就从中取出,输入网络:

while 1:

  input = input_queue.get()

同理,将网络输出放入output_queue,再由后处理进程实时获取并进行后处理,处理后,放入show_queue

从而实现了多进程同步进行预处理、网络预测及后处理,加速了网络实时预测的表现。

问题及解决方案:

1. pytorch cuda报错,re-initialization报错问题:

习惯了在一开始将模型先加载进来放入gpu中,所以模型在主线程就完成了初始化,但是调用网络是在网络预测子进程进行的,就会导致跨进程重复初始化失败。

解决方案:

直接在子进程开始时初始化,其他进程可以设置个延时,等网络初始化好后再开始运行。

同理,数据输入网络也是同样的在子进程进行。

2. python3多进程编程,子进程不报错问题:

一开始总是代码运行起来什么都不出现,就开始各种debug,但因为python3中子进程不报错,出错了就卡在那里,就每次自己找bug很麻烦,所以就急需子进程的报错信息。

解决方案:

用try except组合,来打印子进程中某段程序错误,如下:

      try:
        out = forward(input_img,model,1)
      except Exception as error:
        print(error)

3.进程完全不运行时,考虑是否是输入设置的问题,即当单变量输入时,后面要加都好,如:

pool.apply_async(load_frame,args=(input_queue,))

如果是pool.apply_async(load_frame,args=(input_queue))则该进程不会启动运行。

4. 一开始想优化cv2.resize,想用gpu下的tensor的resize_代替,但发现这种方式和numpy.resize一脉相承啊,根本不是我们想要的resize,如果是变大的话,这种resize会直接按顺序填,然后剩下的就填0,实在是太草率了。。。

解决方案:还没有很好的替代方案,只找了一下,cuda::resize,但是好像貌似没有python接口,要是混合编程好像有点小题大做,得不偿失了。如果各位有较好的方案,欢迎指点迷津。

以上这篇pytorch多进程加速及代码优化方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。

您可能有感兴趣的文章
pytorch--之halfTensor的使用详解

解决pytorch中的kl divergence计算问题

pytorch交叉熵损失函数的weight参数的使用

pytorch 实现变分自动编码器的操作

PyTorch梯度裁剪避免训练loss nan的操作