答案:
orderby:会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)。只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。
sortby:不是全局排序,其在数据进入reducer前完成排序。
distributeby:按照指定的字段对数据进行划分输出到不同的reduce中。
clusterby:除了具有distributeby的功能外还兼具sortby的功能。
答案:
orderby:会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)。只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。
sortby:不是全局排序,其在数据进入reducer前完成排序。
distributeby:按照指定的字段对数据进行划分输出到不同的reduce中。
clusterby:除了具有distributeby的功能外还兼具sortby的功能。
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。