telegram清理储存（telegram如何清理）

本文目录一览：

• 1、hadoop集群小文件问题怎么处理？

hadoop集群小文件问题怎么处理？

hdfs不适合存小文件，要处理大量小文件，2个办法。一 ，小文件合并成大文件再存。二，安装hbase，以数据的形式存小文件。

其次，处理小文件并非Hadoop的设计目标，HDFS的设计目标是流式访问大数据集（TB级别）。因而，在HDFS中存储大量小文件是很低效的。

首先，对于hdfs，dn负责存储文件，以及文件的副本，而nn负责存储文件的元数据，例如文件的块信息，以及位置信息等，这些数据会保存在nn的内存中，当存在很多的小文件时，每个小文件nn存储的元数据都是一样的，所以N个小文件会占用nn大量的内存，增大nn的负担。

Hadoop不适合处理小文件，主要是因为小文件会导致大量的元数据在NameNode中占用内存，以及小文件存储效率低和Map任务调度效率低等问题。首先，Hadoop分布式文件系统（HDFS）的核心设计是块存储，块是HDFS中的最小数据单位，每个块的大小默认为64MB或128MB。

继续浏览有关 telegram清理储存 的文章