hadoop-创新互联

如果部署的hadoop集群有问题 想重新部署：

1.卸载

2.重新配置

hdfs data目录删掉 +重新格式化 即可

【HDFS】:

hdfs 相关操作

【查看hdfs ls】：

1.hadoop fs -ls /

2.hdfs dfs -ls /

【创建文件夹】

hadoop fs -mkdir 
[hadoop@bigdata31 bin]$ hadoop fs -mkdir /hdfs01
[hadoop@bigdata31 bin]$ hadoop fs -ls /
Found 5 items
drwxr-xr-x   - hadoop supergroup          0 2022-11-11 23:03 /data
drwxr-xr-x   - hadoop supergroup          0 2022-11-15 17:11 /hdfs01
drwxr-xr-x   - hadoop supergroup          0 2022-11-11 23:08 /out
drwxr-xr-x   - hadoop supergroup          0 2022-11-14 18:32 /out2
drwx------   - hadoop supergroup          0 2022-11-14 18:31 /tmp

【移动、拷贝 mv cp 】

[hadoop@bigdata31 bin]$ hadoop fs -mv /data /hdfs01/

【删除 rm 】

[hadoop@bigdata31 bin]$ hadoop fs -rm -r /out
Deleted /out

-skipTrash : hdfs 回收站

fs.trash.interval10080

【hdfs上的文件=>linux】

hdfs://bigdata32:9000/1.log
/1.log
[hadoop@bigdata33 ~]$ hadoop fs -ls hdfs://bigdata32:9000/1.log
[hadoop@bigdata33 ~]$ hadoop fs -ls /1.log

【local 上的文件=>linux】

file:///1.log:
[hadoop@bigdata33 ~]$ hadoop fs -ls file:home/hadoop/1.log

【上传】

[hadoop@bigdata33 ~]$ hadoop fs -put ./2.log ./3.log /
[hadoop@bigdata33 ~]$ hadoop fs -ls /
[hadoop@bigdata33 ~]$ hadoop fs -copyFromLocal ./2.log /data
[hadoop@bigdata33 ~]$ hadoop fs -ls /data

【下载】

[hadoop@bigdata33 tmp]$ hadoop fs -get /data ./
[hadoop@bigdata33 tmp]$ ll
total 4
drwxr-xr-x. 2 hadoop hadoop 4096 Nov 15 18:07 data
[hadoop@bigdata33 tmp]$ hadoop fs -get /data ./datahdfs

【chmod : 权限】

[hadoop@bigdata33 tmp]$ hadoop fs -chmod 664 /1.log
[hadoop@bigdata33 tmp]$ hadoop fs -ls /

chown ：拥有者

[hadoop@bigdata33 tmp]$ hadoop fs -chown zihang:DL2262 /1.log
[hadoop@bigdata33 tmp]$ hadoop fs -ls /

【查看文件内容】：cat

[hadoop@bigdata33 tmp]$ hadoop fs -cat /1.log
111
222
333

java api hdfs

org.apache.hadoophadoop-client3.3.4

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧