数据集权限更改及快速MotionCor程序说明

2020/11/09

发布者:刘丹丹发布时间:2020-11-01浏览次数:34

权限更改及快速MotionCor程序说明


1,图信存储中个别tif文件root权限自动更改

由于同步服务执行迅速,可能会有个别文件在更改权限之前就被同步到图信,因而影响用户处理。为了解决这个问题,平台开发了自动更改权限的程序。

每天的凌晨12点以及上午10点,后台会自动运行该程序。保证用户在收完数据(一般是上午9点)后在图信存储得到权限正确的文件。经过近一周的试运行,该程序运行良好,速度也令人满意。

但是有一个重要的前提,请用户在收完数据之前不要人为的更改原始图片的存储位置使得图片存储的路径深度增加,原因是为了加快搜查速度,代码是按照“/home/用户账号/自定义文件夹/”的这种三层路径寻找原始图片,这种路径是预先设定好的收数据的路径规则,同步过来也是保持同样的目录结构。如果在更改权限之前用户将图片转移到更深层次的文件夹下面,比如在自定义文件夹下面又建立了一个子文件夹并转移图片进来,那么子文件夹里边的文件不会被搜索并修改权限。我留意到有个别课题组喜欢这样整理文件,请他们格外留意。

此外如果由于特殊原因,用户收数据超过上午10点才结束,由于第二次更改权限发生在10点整,可能会有10点之后同步过去的文件没有被及时更改,需要等到凌晨12点才会更改完全。


2,并行化的自动全motion correction程序及处理结果文件到图信存储的自动同步

前段时间平台发的告用户书中提到的 auto_motion.pl,由于只能顺次单张处理,导致处理速度不够快,而且同步服务不能把处理的结果自动同步过去,需要用户手动拷贝,因此使用不方便。

鉴于此,将auto_motion.pl做了并行化,升级为 fast_motion.sh,可以同时处理多张,加快了处理速度。

考虑到P40gpu卡的显存大于P100gpu卡,因此在运行时选择含P40卡的gpu节点,Titan1对应的处理节点为violetTitan2对应的处理节点为purple由于受硬件瓶颈限制(每个节点只有4卡),最多同时处理2张的速度会加快,如果同时三张,速度反而下降。测试结果表明,处理一个40帧的movie耗时~10秒,与实时预处理的速度基本持平,可以满足用户收数据的需求。

使用方法可通过查看代码的帮助信息得到:

用户可以选择两种用法中的任意一种,更改相应的参数。切记,最后一个控制并行个数的参数不要改。

上述代码执行得到的结果文件会在每天凌晨12点进行自动同步,同步到图信存储用户相应的目录下面。