概述

1、Hadoop文件大小的设置取决于HDFS的块（block）大小，块大小是HDFS存储和处理数据的基本单位。一般来说，文件大小应该大于或等于块大小，以避免产生大量的小文件，影响HDFS的性能和效率。

2、HDFS的块大小可以在配置文件中进行设置，不同版本的Hadoop默认的块大小可能不同。在Hadoop 2.x、3.x中，默认的块大小为128MB。

3、块大小的设置应该根据磁盘的传输速率和寻址时间来确定，以达到最Jia的传输效率。一般来说，寻址时间应该占传输时间的1%左右。根据这个原则，可以计算出最Jia的块大小为：磁盘传输速率（MB/s）* 1s。例如，如果磁盘传输速率为200MB/s，那么最Jia的块大小为200MB/s * 1s = 200MB。

4、实际中，磁盘传输速率可能会有波动，所以块大小的设置也可以有一定的调整。一种常用的方法是将块大小设置为接近磁盘传输速率的2的N次方。例如，如果磁盘传输速率为200MB/s，那么可以将块大小设置为256MB；如果磁盘传输速率为400MB/s，那么可以将块大小设置为512MB。

总结

1、HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；

2、如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时会非常慢；

3、HDFS块的大小设置主要取决于磁盘传输速率。