在CentOS上配置HDFS（Hadoop分布式文件系统）时，需要考虑多个方面，包括硬件资源、网络设置、安全性和性能优化等。以下是一个基本的配置指南，帮助你设置一个高效且可靠的HDFS集群。
1. 环境准备
安装Java
HDFS需要Java环境，推荐使用OpenJDK 8。
yum install -y java-1.8.0-openjdk-develexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
配置网络
确保所有节点有静态IP地址，并配置主机名。
# 编辑 /etc/hosts 文件192.168.1.1 master192.168.1.2 slave1192.168.1.3 slave2
2. Hadoop安装
下载Hadoop
从Apache Hadoop官网下载适合的版本并解压。
wget https://downloads.apache.org/hadoop/core/hadoop-3.2.4/hadoop-3.2.4.tar.gztar -xzvf hadoop-3.2.4.tar.gz -C /opt/
配置环境变量
编辑 /etc/profile文件，添加Hadoop路径。
export HADOOP_HOME=/opt/hadoop-3.2.4export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile
3. HDFS配置
core-site.xml
配置默认文件系统和临时目录。
fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /tmp/hadoop
hdfs-site.xml
配置HDFS相关参数，如副本数、数据目录等。
dfs.replication 2 dfs.namenode.name.dir /opt/hadoop/hdfs/namenode dfs.datanode.data.dir /opt/hadoop/hdfs/datanode
hadoop-env.sh
配置Java路径和其他环境变量。
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
4. 启动HDFS
格式化NameNode
在启动集群前，需要格式化NameNode。
hdfs namenode -format
启动HDFS
使用以下命令启动HDFS服务。
start-dfs.sh
5. 验证配置
使用以下命令检查HDFS状态。
hdfs dfs -df -h
6. 安全配置
SSH免密登录
配置SSH免密登录，确保节点间可以无密码通信。
ssh-keygen -t rsassh-copy-id masterssh-copy-id slave1ssh-copy-id slave2
关闭防火墙
临时关闭防火墙以便启动服务。
service iptables stopchkconfig iptables off
7. 监控和日志
配置日志目录和监控工具，以便及时发现和解决问题。
dfs.namenode.http-address master:50070
参考配置参数
以下是一些推荐的HDFS配置参数：
dfs.replication: 文件副本数，通常设置为2或3。dfs.namenode.name.dir: NameNode元数据存储路径。dfs.datanode.data.dir: DataNode数据存储路径。dfs.namenode.secondary.http-address: Secondary NameNode的HTTP地址。
请注意，以上配置是一个基础示例，具体参数可能需要根据实际集群规模和环境进行调整。建议在正式部署前进行充分的测试和验证。