mindspore如何处理数据集加载多进程(multiprocessing)错误
python_multiprocessing决定是否启用多进程模式加快数据处理速度,而max_rowsize用于配置多进程模式下共享内存的大小,属于高级用法。这两个API中,与多进程启动相关的参数是python_multiprocessing和max_rowsize。系统可用的共享内存太小,可以通过 df -h 查看共享内存的大小,如下示例有500G的共享内存,妥妥的够用啦。如果发现自身系统的 /dev/shm 不足5G,那确实会导致这个错误,有2个解决办法。重新启动训练就可以啦。