在读取一行数据之前，应该先考虑下重复数据管理的通用规则，不改写原始数据。原始文件视为只读，保留原始文件名字并说明来源，是一个好办法。

软件配置

几个包：

install.packages(c("rio","readr","data.table","feather","WDI"))

关于数据I/O的高级技巧

• R语言自己的文件格式是.Rds，可以使用readRDS()与saveRDS()函数导入与导出，是一种速度与空间存储都什么高效的格式。
• 使用rio包的import()能导入各种格式的数据，避免加载特定格式库的麻烦。
• 对于高效导入大文本文件，使用readr或data.table与read.table()相当。
• 使用file.size()与object.size()跟踪文件与R对象的大小，以便在过大之前提前预防。

使用rio的通用数据导入

多功能包，名副其实，提供简单易用和计算高效的函数，其目标是简化数据导入导出过程。R的数据导入导出手册中有些函数已经过时了，比如WriteXLS包，且很难学习。rio包可以处理的格式包含：.csv, .feather, .json, .dta, .xls, .xlsx和谷歌在线表格。其无需指定可选的format参数，另外可以从网络下载数据。json格式的导入还可以使用jsonlite和和geojasonio包。

library("rio")

x <- import("mtcars.csv")
y <- import("mtcars.rds")
z <- import("mtcars.dta")

export(mtcars, "mtcars.csv")
export(mtcars, "mtcars.rds")
export(mtcars, "mtcars.xls")

纯文本格式

.csv格式是最常见格式，有三种读入R的方法：1）基础R的read.csv()，2）fread() 里data.table方法3）较新的readr包里read_csv()函数。虽然有所差异，但是交叉兼容。read.csv()是read.delim()和read.table()的封装。readstata13包是专门读取Stata13以上版本的.dta文件而开发的。对于小于1M的数据，read.csv()比read_csv()要快，然而fread()比两个都快，如果是更大的数据，read_csv()和data.table比read.csv()快5倍左右。

fread()与read_csv()的差异

readr与基础read_()一样，是基于前1000行而不是所有行来决定每个变量的类。使用readr的话，会将违规数值转换成NA，而fread()会自动将它认为是数值的列转化成字符，fread()另一特征是可以使用列名或索引来设置select参数，从而有选择的读取列。总的来说，三者在读入数据的差异超过了代码执行的时间，与基础R相比，其他两个的速度提升是一定程度的牺牲健壮性为代价的。在基础R中stringAsFactors=TRUE时才会将字符不转化为因子，而fread()和read_csv()函数默认返回字符型。read_()生成tbl_df类，而fread()产生data.table()类对象，没有实际差别，处理稍有不同，除非trbble包被加载。

R外预处理文本

读入一个4G的文本文件，会耗尽16G的内存RAM，可以使用shell命令split等分割文件，采用数据库是另外一个解决方案。split -b100m bigfile.csv # -b100m意思是分割成100m每个的文件。

二进制文件格式

纯文本格式有局限性，缺少类型安全，限于表格，限制 了数值精度，以二进制保存，可以减少读写时间和文件大小。

R自带的文件格式：Rds和Rdata

save()为Rdata是应用最广泛的，函数功能类似save.img()和save.imge()。saveRDS()函数应用相对较少，作者推荐这个，保存R对象更加简洁，readRDS()更加灵活，结果对象可赋值任何名字。使用这个是个好习惯，强制指定对象名字。

feather文件格式

这是为了R语言与Python程序员协作而设计的格式，速度快，轻量、保存数据框是与语言无关。

二进制文件的基准测试

Rds文件表现最好，磁盘空间仅仅是csv文件的1/4多点，feather格式大约是csv的一半。读入，比read.csv()快十倍左右，写feather更快，比write.csv()快十倍，而saveRDS()仅仅快1.2倍。

Protocol Buffers格式

谷歌的，RProtoBuf包提供了R接口。

从互联网获得数据

download.file()函数和zip()可以批量下载和解压数据。read_csv()也可以直接读取网址中的数据，但是如果下载失败需要重复下载。

fileUrl <- "http://www.newcl.org/data/zipfiles/a1.zip"
download.file(fileUrl, destfile = "a1.zip") #下载并保留原始文件名
unzip('a1.zip', exdir="data")
file.remove("1.zip") #移除原文件防止空间浪费

rOpenSci是众多帮助下载和导入数据的包，下面的代码是通过WDI包(不被rOpenSci支持)，访问世界银行下载的交通CO2排放的数据：

> library("WDI")
> WDIsearch("CO2")
      indicator              name                                                                                                                               
 [1,] "EN.ATM.CO2E.CP.KT"    "CO2 emissions from cement production (thousand metric tons)"                                                                      
 [2,] "EN.ATM.CO2E.EG.ZS"    "CO2 intensity (kg per kg of oil equivalent energy use)"                                                                           
 [3,] "EN.ATM.CO2E.FF.KT"    "CO2 emissions from fossil-fuels, total (thousand metric tons)"                                                                    
 [4,] "EN.ATM.CO2E.FF.ZS"    "CO2 emissions from fossil-fuels (% of total)"                                                                                     
 [5,] "EN.ATM.CO2E.GDP"      "CO2 emissions, industrial (kg per 1987 US$ of GDP)"                                                                               
 [6,] "EN.ATM.CO2E.GF.KT"    "CO2 emissions from gaseous fuel consumption (kt) "                                                                                
 [7,] "EN.ATM.CO2E.GF.ZS"    "CO2 emissions from gaseous fuel consumption (% of total) "                                                                        
 [8,] "EN.ATM.CO2E.GL.KT"    "CO2 emissions from gas flaring (thousand metric tons)"                                                                            
 [9,] "EN.ATM.CO2E.KD.87.GD" "CO2 emissions, industrial (kg per 1987 US$ of GDP)"          
CO2_transport <- WDI(indicator = "EN.CO2.TRAN.ZS") 
> head(CO2_transport)
  iso2c    country EN.CO2.TRAN.ZS year
1    1A Arab World             NA 2020
2    1A Arab World             NA 2019
3    1A Arab World             NA 2018
4    1A Arab World             NA 2017
5    1A Arab World             NA 2016
6    1A Arab World             NA 2015

最好在代码中对数据来源做些简单注释，方便代码对自己和他人的可用性。与Web页面交互的两个包是httr和RCurl包，httr有相对友好的用户接口（没有图形界面的），RCurl是更接近底层。

访问包中的数据

示例数据可以用如下方式查看：data(package="dplyr")

Data sets in package ‘dplyr’:

band_instruments                Band membership
band_instruments2               Band membership
band_members                    Band membership
starwars                        Starwars characters
storms                          Storm tracks data

原始数据通常位于R包的extdata目录中，system.file()函数输出具体包的文件路径：

> list.files(system.file("extdata",package="readr"))
[1] "challenge.csv"     "epa78.txt"         "example.log"       "fwf-sample.txt"    "massey-rating.txt"
[6] "mtcars.csv"        "mtcars.csv.bz2"    "mtcars.csv.zip"   

可以通过下图的方式，按tab键就可以查看文件夹结构：