面试题:简答说一下hadoop的map-reduce编程模型


文章来源:https://dwz.cn/bwUTiuHL

简答说一下hadoop的map-reduce编程模型

解析:

首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合。

使用的是hadoop内置的数据类型,比如longwritable、text等。

将键值对集合输入mapper进行业务处理过程,将其转换成需要的key-value在输出。

之后会进行一个partition分区操作,默认使用的是hashpartitioner,可以通过重写hashpartitioner的getpartition方法来自定义分区规则。

再对key进行进行sort排序,grouping分组操作将相同key的value合并分组输出,在这里可以使用自定义的数据类型。

重写WritableComparator的Comparator方法来自定义排序规则,重写RawComparator的compara方法来自定义分组规则。

再进行一个combiner归约操作,其实就是一个本地段的reduce预处理,以减小后面shufle和reducer的工作量。

reduce task会通过网络将各个数据收集进行reduce处理,最后将数据保存或者显示,结束整个job。

QQ图片20190620101752.png

大量学员拿到30-40万年薪

多位名校博士+BAT专家手把手教学

现在报名

送18VIP会员

[包2018全年在线课程和全年GPU]

前80人可享特惠价

仅剩最后10个名额

↓立刻扫码查看详情↓

QQ图片20190620101804.png

0 个评论

要回复文章请先登录注册