生物电镜平台收数据流程变更说明

为了更好的管理用户数据以及提高用户处理数据的效率，平台将对收数据流程做以下调整：

1.    收集数据不再存放在/home/data/Titan*/K*下面，而是统一存放在用户家目录下，即 /home/用户账户/下。同步之后的数据在图信存储相应的用户家目录下面。

2.    为了配合目录的变化，平台对现有的搬运脚本以及预处理脚本均做了修改，并为了方便用户记忆，修改了之前繁琐的脚本名称及存放路径，修改后的脚本使用方法见后文的表格。

3.    应用户需求，平台开发了自动做motion correction的程序auto_motion.pl，在用户收数据时，就可以同时调用MotionCor2做global及local motion correction，用户可以直接利用结果数据，继续进行后续的数据处理。运行该程序时用户需要给出相应的参数，使用方法见后文表格注释3。自动motion correction的运行速度与用户设置的参数有关。

4.    由于运行不同的程序使用不同的预处理计算节点，为了方便用户记忆，在进行预处理的support PC上将收数据时使用的计算节点映射为如下名称：red，orange，yellow，green，blue，indigo，violet，purple。

预处理管理节点 映射为 rainbow。

在support PC上如登录预处理管理节点可以： ssh用户账户@rainbow

5.    Titan收数据具体流程如下：

    1), Titan1数据收集及预处理：

步骤	登录节点	账户	程序名
1，搬运	rainbow	preprocess	/home/script/odd_SerialEM.pl
2，实时预处理	red	用户账户	/home/script/Titan1/Titan1_k3_tif.pl
3，自动motion correction	green/violet	用户账户	/home/script/auto_motion.pl

注1：Titan1收数据运行自动motion correction，既可以使用green（4*P100卡），也可以使用violet（4*P40卡）节点。

    2, Titan2数据收集及预处理：

步骤	登录节点	账户	程序名
1，搬运	rainbow	preprocess	/home/script/all_SerialEM.pl
2，实时预处理	orange	用户账户	/home/script/Titan2/Titan2_k2_tif.pl
3，自动motion correction	blue/purple	用户账户	/home/script/auto_motion.pl

注2：Titan2收数据运行自动motion correction，既可以使用blue（4*P100卡），也可以使用purple（4*P40卡）节点。

注3：运行自动motion correction的方法，以用户client，自定义文件夹20200731_lyh为例：

/home/script/auto_motion.pl -user client -dir 20200731_lyh -bin_num 2  -frames 40 -patch_x 7  -patch_y 5  -bft 250  -first_fr 2

注4: 该脚本实际调用MotionCor2时实际使用的参数与Relion里调用的保持一致，其余不需要用户输入的参数是事先保存在一个参数文件中，而该文件是用户在运行实时预处理脚本的时候生成的。调用MotionCor2时实际使用的参数选项如下：

MotionCor2 –InTiff  -OutMrc   -Gain   -Bft   -Kv   -FmDose  -PixSize   -Group   -FtBin   -Throw   -Trunc  -FmRef   -Mag   -Gpu   -UseGpus   -Patch  

注5: 用户在运行自动motion correction程序前，切记先登录一下选用的节点，使用命令ps au，查看上一个样品数据的处理进程(auto_motion.pl)是否结束，如果没有结束，则使用列表中的另一个节点。

6.    实时预处理之后的数据存放在/home/用户账户/EM_data/用户自定义目录/下。

自动motion correction之后的数据存放在/home/用户账户/EM_data/用户自定义目录/motion下。

数据同步到图信存储之后以相同的文件夹结构存放。

以用户账户client为例，如用户自定义目录为20200731_lyh，则收数据存放的文件夹结构图如下：

      其中motion文件夹用来存放自动motion correction产生的结果数据。

运行完实时预处理及自动motion correction脚本之后，预处理存储上的数据存放示例以及文件说明见附件。

7.    以上收数据流程拟从9月1日开始，届时所有收数据的用户使用新的一套程序，之前存放在/home/data/Titan*/K*下面的数据请用户陆续转移到 用户家目录下面（使用mv命令），同时请用户们趁此机会认真整理一下数据，清理一下垃圾数据及不需要的中间结果。转移时间限期一个月，确认所有用户数据转移之后平台将清理/home/data/Titan*/K*文件夹。

附件：

图2实时预处理之后的结果数据

附：自动motion correction之后的结果数据文件说明：