生物信息学常见格式
fasta
一种基于文本用于表示核酸序列或多肽序列的格式
fna, faa, fas, fa, fasta
分为两部分：id行和序列行
id行：以>开头，有时包含注释信息
序列行：一个字母代表一个碱基/氨基酸，为ATCGN或20种氨基酸。#N代表在测序中无法确定具体是什么碱基
fastq
保存生物序列（通常为核酸序列）及其测序质量得分信息的文本格式，通常由四行组成
第一行：以@开头，之后为序列的标识符以及描述信息
第二行：序列信息，ATCG
第三行： 开头，保留行，可能再次出现序列的标识及描述信息
第四行：为碱基质量值，与第二行的序列相对应，长度必须与第二行相同，#H、I、G
gff
基因组注释文件，共9列
seqname：序列的名称。通常格式为染色体id或contig id
source：注释来源。通常是预测软件名或公共数据库
feature：基因结构：transcript, gene, exon, CDS, start_codon, stop_codon, UTR...
start：起始位置。从1开始计数
end：终止位置。#始终为从5'到3'记录
score：这一列的值对该类型存在性和坐标的可信度，可用·代替
strand：正向和负向， 、-
frame：密码子偏移，0、1、2
attributes：属性，一个包含众多属性的列表，格式为“标签=值”（tag=value），不同属性间用“;”分割。#必须有gene_id和transcript_id
对齐文本命令
column -t
文本处理
grep：文本搜索
利用正则表达式匹配模式搜索文本，并打印匹配的行
格式：grep options pattern file
常见参数：
-w：word，精确查找某个关键词pattern。#前后是符号也有可能被识别为单独的单词。#前后为字母/数字会导致符号不被识别。
-c：统计匹配成功的行的数量。#仅显示行数而非匹配个数
-v：反向选择，即输出没有匹配的行。
-n：显示匹配成功的行的行号
-r：从目录中查找pattern
-e：指定多个匹配模式。#查找多个关键词，需要多次输入-e。#可利用-f或'gene|UTR'
-f：从指定文件中读取要匹配的pattern。#可将需要查找的关键词保存在文件中，然后利用该文件查找
-i：忽略大小写
-E：开启扩展正则表达式模式
正则表达式
对字符串进行操作的一种逻辑公式，用事先定义好一些特定字符及这些特定字符
^：行首
$：行尾
.：换行符之外的任意单个字符
?：匹配之前项的0次或一次。#使用时应为"f?ee"，否则会被认为是搜索“?”这个字符。#或grep -E。
：匹配之前项1次或多次。#同上。
*：匹配之前项0次或多次。#无需扩展正则。
[]：匹配任意一个字符
^：排除字符。#例：^Tt
|：或。#使用时需要扩展正则！
sed：流编辑器
用来对文件进行增删改查
用法：
sed -options 'script' file(s)
'script' = address command
#常见address：#address指原始位置
2：第二行
2,4：第二行到第四行
2,$：第二行到最后一行
2~3：第二行开始，每隔三行取一行，2、5、8
2, 4：第二行到2 4行
/pattern/匹配上pattern的行
!：反选，'2!'表示除了第二行
#常见command：
a∶append，在指定行的后面加一行，内容为a后面的字符串#不会实际改变文档内容
i∶insert，在指定行的前面加一行，内容为i后面的字符串#同上
d∶delete，删除某一行或某几行，也可删除匹配上的行#可用于去掉标题行
c∶change，改变指定行的内容
s∶更改或替换字符串 's/pattern/new/flags' ，将pattern 替换成new，可以指定flags#flag默认为1，可以为2、3或g
转换为大写：'s/a-z/U&/g'
y∶转换，实现字符一对一转换。‘y/abc/ABC/'，前后字符数应当一致。#特殊字符也会被当作字符进行替换
p∶print，把匹配或修改过的行打印出来，常与–n共同使用。#具体用法示例见-n。
#常见参数：
-e：直接在命令模式上进行sed的动作编辑，接要执行的一个或多个命令
-f：执行含有sed动作的文件
-r：sed的动作支持的扩展正则（默认基础正则）
-i：直接修改读取的文件内容，不输出（可以真正修改文件内容）
-n：禁止显示所有的输入内容，只显示经过sed处理的行
查找：cat readme.txt | sed -n '/ee/p'
使用示例（作业）：
md5sum -c $(cat file3 | sed '1d') sed -i '1d' file3
awk：也称gawk，编程语言，可对文本和数据进行处理
外面用''，里面用""
常见参数：
-F：fields，设置字段分隔符#默认分隔符为任意空白字符，即空格或制表符
用法：
awk options '{script}' file
基础结构：'{script}'
匹配结构：'/pattern/{script}'
扩展结构：'BEGIN{script}{script}END{script}'
例如：'{print $9:$10@$11}'#可自定义输出分隔符，若行选择间输入“,”则默认为空格
awk在读取一行文本时，会用预定义的字段分隔符划分每个数据字段，并分配给一个变量。
#$0代表整个文本行
#$1代表文本行中的第一个数据字段
#$NF代表文本行中的最后一个数据字段
awk默认的字段分隔符是任意空白字符
awk内置变量
FS：定义输入字段分隔符，Field Separator，同-F
RS：定义输入记录分隔符，Record Separator
OFS：定义输出字段分隔符，Out Field Separator
ORS：定义输出记录分隔符，Out Field Separator
NF：数据文件中的字段总数，可以简单理解为列数
NR：已处理的输入记录数，可以简单理解为行数
示例
1* 设置OFS以定义输出字段分隔符：
cat Data/example.gtf | awk'BEGIN{OFS=":"}{print $3,$4,$5}' | head -5
2* 使用NR来打印行号：
cat Data/example.gtf | awk'BEGIN{FS="t";OFS=":"}{print NR,$9}' | head -5
循环语句
awk '{if()操作}' awk '{if(){yes} else{no}}' awk '{for(){循环语句}}'
引用自生信技能树
