生物电镜平台收数据流程变更说明

2020/11/09

发布者:刘丹丹发布时间:2020-08-30浏览次数:22


为了更好的管理用户数据以及提高用户处理数据的效率,平台将对收数据流程做以下调整:


1.    收集数据不再存放在/home/data/Titan*/K*下面,而是统一存放在用户家目录下,即 /home/用户账户/下。同步之后的数据在图信存储相应的用户家目录下面。


2.    为了配合目录的变化,平台对现有的搬运脚本以及预处理脚本均做了修改,并为了方便用户记忆,修改了之前繁琐的脚本名称及存放路径,修改后的脚本使用方法见后文的表格。


3.    应用户需求,平台开发了自动做motion correction的程序auto_motion.pl,在用户收数据时,就可以同时调用MotionCor2globallocal motion correction,用户可以直接利用结果数据,继续进行后续的数据处理。运行该程序时用户需要给出相应的参数,使用方法见后文表格注释3。自动motion correction的运行速度与用户设置的参数有关。


4.    由于运行不同的程序使用不同的预处理计算节点,为了方便用户记忆,在进行预处理的support PC上将收数据时使用的计算节点映射为如下名称:redorangeyellowgreenblueindigovioletpurple

预处理管理节点 映射为 rainbow

support PC上如登录预处理管理节点可以: ssh用户账户@rainbow


5.    Titan收数据具体流程如下:

    1), Titan1数据收集及预处理:

步骤

登录节点

账户

程序名

1,搬运

rainbow

preprocess

/home/script/odd_SerialEM.pl

2,实时预处理

red

用户账户

/home/script/Titan1/Titan1_k3_tif.pl

3,自动motion correction

green/violet

用户账户

/home/script/auto_motion.pl

1Titan1收数据运行自动motion correction,既可以使用green4*P100卡),也可以使用violet4*P40卡)节点。


    2, Titan2数据收集及预处理:

步骤

登录节点

账户

程序名

1,搬运

rainbow

preprocess

/home/script/all_SerialEM.pl

2,实时预处理

orange

用户账户

/home/script/Titan2/Titan2_k2_tif.pl

3,自动motion correction

blue/purple

用户账户

/home/script/auto_motion.pl

2Titan2收数据运行自动motion correction,既可以使用blue4*P100卡),也可以使用purple4*P40卡)节点。


注3:运行自动motion correction的方法,以用户client,自定义文件夹20200731_lyh为例:

/home/script/auto_motion.pl -user client -dir 20200731_lyh -bin_num 2  -frames 40 -patch_x 7  -patch_y 5  -bft 250  -first_fr 2

4: 该脚本实际调用MotionCor2时实际使用的参数与Relion里调用的保持一致,其余不需要用户输入的参数是事先保存在一个参数文件中,而该文件是用户在运行实时预处理脚本的时候生成的。调用MotionCor2时实际使用的参数选项如下:

MotionCor2 –InTiff  -OutMrc   -Gain   -Bft   -Kv   -FmDose  -PixSize   -Group   -FtBin   -Throw   -Trunc  -FmRef   -Mag   -Gpu   -UseGpus   -Patch  

5: 用户在运行自动motion correction程序前,切记先登录一下选用的节点,使用命令ps au,查看上一个样品数据的处理进程(auto_motion.pl)是否结束,如果没有结束,则使用列表中的另一个节点。


6.    实时预处理之后的数据存放在/home/用户账户/EM_data/用户自定义目录/下。

自动motion correction之后的数据存放在/home/用户账户/EM_data/用户自定义目录/motion下。

数据同步到图信存储之后以相同的文件夹结构存放。

以用户账户client为例,如用户自定义目录为20200731_lyh,则收数据存放的文件夹结构图如下:

      其中motion文件夹用来存放自动motion correction产生的结果数据。

运行完实时预处理及自动motion correction脚本之后,预处理存储上的数据存放示例以及文件说明见附件。


7.    以上收数据流程拟从91日开始,届时所有收数据的用户使用新的一套程序,之前存放在/home/data/Titan*/K*下面的数据请用户陆续转移到 用户家目录下面(使用mv命令),同时请用户们趁此机会认真整理一下数据,清理一下垃圾数据及不需要的中间结果。转移时间限期一个月确认所有用户数据转移之后平台将清理/home/data/Titan*/K*文件夹。


附件:

2实时预处理之后的结果数据



附:自动motion correction之后的结果数据文件说明:

文件名

说明

abc

job_nameabc命名的文件,保存了每张图片的预处理信息

abc_*.tif

原始图片

abc_*_CorrFFT.mrc

corrected FFT image

abc_*_CorrSum.mrc

corrected sum image

abc_*_ctf_avrot.txt

CTFFIND的输出信息文件1

abc_*_ctf.mrc

Ctf矫正后的图片

abc_*_ctf.txt

CTFFIND的输出信息文件2

abc_*_fitFFT.mrc

uncorrected FFT image

abc_*_imod_Log.txt

保存了每一帧shift 信息,调用dosef_logviewer时读取

abc_*_gSumCorr_DW.mrc

dose weighted sum image

abc_*_gSumCorr_DWS.mrc

dose-weight selected imagesum of frames that fall within a specified dose range

abc_*_gSumCorr.mrc

MotionCor2处理之后的结果文件

abc_*.log

处理日志文件

abc_*_SumCorr.ctf.para

保存ctf估计的参数

abc_stigma

保存像散相关信息

abc_TEMstigma

保存电镜像散参数

distortion parameter

保存用于distortion矫正的参数

gain_8bit.mrc

转化为mrc格式的gain文件

motion_parameter

保存实时预处理参数的文件

mv_log

记录预处理脚本运行的所有输出信息

process.log

实时预处理的log文件,保存了脚本输出信息及ctf估计以及motion correction的具体信息

SuperRef*.dm4

收数据时的gain文件