HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。 目前HdfsReader支持的文件格式有textfile(text)、orcfile(orc)、rcfile(rc)、sequence file(seq)和普通逻辑二维表(csv ...
因为需求,需要做到对各类文件的解析,并且考虑到未来新增文件类型的拓展问题。所以我编写了这个工具类,途中遇到了很多困难, 从最开始的博客寥寥无几导致无从下手,到后来会使用关键字去更好地搜索自己想要的东西,最后提升了自己阅读官方文档 ...