关于spark分区什么时候进行的问题？
spark分区是在maptask 到reduceTask的时候进行分区，还是说在sc.textFile就开始分区了呢
我测试了一下，sc.textFile默认分区后我把每个分区的内容打印出来发现不是hash算法分区，但是当我经过了shuffle算子之后再打印各个分区的内容就是按照hash算法分区
所以很疑惑，如果是sc.textFile就开始分区，那么假设3个block块，我在sc.textFile就指定5个分区，那就得将3个block块分成5个分区，那会很占用内存和网络资源（map取各个block块中的某一个分区），感觉有点不太合理啊，然后再经过shuffle算子，再次分区，感觉很慢啊;
我在想是不是一开始sc.textFile在读取hdfs的数据时，按照平均的方式给每个一分区数据(例如：3个block块共384MB，5个分区就是各76.8Mb，每个map读取这76.bMB数据)，然后在经过shuffle算子的时候才开始按照hash算法分区，生成文件，再由reduce取各个节点的分区值，这样也能说的通，最后五个part-0000文件，shuffle过程的桶也是5*5=25
写回答
-
sc.textFile就会做分片来并发执行，具体可以参考 https://blog.csdn.net/zjwcsdn123/article/details/80489537
2020-03-21 15:16:04赞同 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
