Hadoop源码阅读之MapReduce（一）：基本概念和接口

概述

梳理一下MapReduce框架涉及到的一些基本接口和类。

作者：木鸟杂记 https://www.qtmuniao.com, 转载请注明出处

文件读写相关

RecordReader：从输入文件中读入键值对，这里是指的map的输入，还是reduce的输入？接口有三个函数next(Writable key, Writable value)，getPos()和close()，由此看来，该接口类似于一个抽象的迭代器。InputFormat实现了该接口。

RecordWriter：将键值对写到输出文件，OutputFormat实现了该接口。包含函数：write(WritableComparable key, Writable value)和close(Reporter reporter)。

OutputCollector：作为参数传送给Mapper和Reducer来输出结果数据。该接口只有一个函数collect(key, val)。

---

我是青藤木鸟，一个喜欢摄影、专注大规模数据系统的程序员，欢迎关注我的公众号：“木鸟杂记”，有更多的分布式系统、存储和数据库相关的文章，欢迎关注。 关注公众号后，回复“资料”可以获取我总结一份分布式数据库学习资料。 回复“优惠券”可以获取我的大规模数据系统付费专栏《系统日知录》的八折优惠券。

我们还有相关的分布式系统和数据库的群，可以添加我的微信号：qtmuniao，我拉你入群。加我时记得备注：“分布式系统群”。 另外，如果你不想加群，还有一个分布式系统和数据库的论坛（点这里），欢迎来玩耍。