单细胞处理数据中读取超大文件的几种方法

2023-10-27 05:38:46 浏览数 (3)

处理单细胞转录组数据的时候,总是难免碰到需要读取大文件的情况。

今天遇到了几次,每次读取总是需要等候一个小时。在这里跟大家分享一下三种读取方式时间消耗的比较:

目标文件:

scp_gex_matrix_raw.csv (4.5Gb)

代码语言:txt复制
  scp123 <- read.csv("scp_gex_matrix_raw.csv",sep = ",",header = TRUE)  #super slow
  scp123 <- read.delim("scp_gex_matrix_raw.csv",sep = ",",header = TRUE)  #faster
  scp123 <- fread("scp_gex_matrix_raw.csv",sep = ",",header = TRUE)  #super faster

实际操作了一下三种读取方式的时间,发现最后一种fread方法最为快速,2min不到的时间就可以读取4.5Gb大小的文件。

0 人点赞