重庆分公司
重庆分公司，新征程启航
为企业提供网站建设、域名注册、服务器等服务
怎么使用Shell脚本判断HDFS文件/目录是否存在
这篇文章主要介绍“怎么使用Shell脚本判断HDFS文件/目录是否存在”，在日常操作中，相信很多人在怎么使用Shell脚本判断HDFS文件/目录是否存在问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么使用Shell脚本判断HDFS文件/目录是否存在”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
创新互联公司是一家专注于成都做网站、成都网站制作与策划设计,华蓥网站建设哪家好?创新互联公司做网站,专注于网站建设十载,网设计领域的专业建站公司;建站业务涵盖:华蓥等地区。华蓥做网站价格咨询:18982081108
1 文档编写目的
本文主要讲述如何使用Shell脚本判断HDFS文件或目录是否存在，算是一个小技巧吧，这几天做PoC的时候感觉还挺有用的。因为HDFS设计的是“一次写入，多次读取”，不可以修改数据，只能追加或者删除，所以，如果目标文件或目录在HDFS上已经存在的话，则无法创建成功。
测试环境：
操作系统版本为Redhat7.2
CM和CDH版本为5.11.2
文章目录结构：
1. 文档编写目的
2. 测试原理
3. Shell脚本测试
3.1 测试路径是否存在
3.2 测试目录是否存在
3.3 测试文件是否存在
4. 总结
2 测试原理
通过hadoop fs -test来判断文件或者目录是否存在，一次只能传递一个测试参数。
Usage: hadoop fs -test -[defsz] URI -test: Only one test flag is allowed Options: -d: if the path is a directory, return 0. -e: if the path exists, return 0. -f: if the path is a file, return 0. -s: if the path is not empty, return 0. -z: if the file is zero length, return 0. |
比如判断HDFS上的某个文件目录是否存在，可以执行如下命令：
hadoopfs -test -d $path #判断目录是否存在
hadoopfs -test -e $path #判断路径（文件或者目录）是否存在
3 Shell脚本测试
3.1 测试路径是否存在
1、准备测试目录，包含一个文件和一个文件夹
[root@bigdata60 ~]# hadoop fs -ls /user/wdtest Found 2 items drwxr-xr-x - fusionuser wdtest 0 2018-07-03 13:26 /user/wdtest/.fusion -rw-r--r-- 3 fusionuser wdtest 908 2018-07-06 22:37 /user/wdtest/hosts |
2、编写测试脚本如下：
#!/bin/sh
path=$1
hadoop fs -test -e $path if [ $? -eq 0 ]; then echo "Path is exist!" else echo "Path is not exist!" fi |
3、执行“./etest.sh /user/wdtest”命令，运行测试脚本，验证输出结果
3.2 测试目录是否存在
1、编写测试脚本如下：
#!/bin/sh
path=$1
hadoop fs -test -d $path if [ $? -eq 0 ]; then echo "Directory is exist!" else echo "Directory is not exist!" fi |
2、分别执行“./dtest.sh /user/wdtest”命令和“./dtest.sh /user/wdtest/aa”命令，运行测试脚本，验证输出结果
3.3 测试文件是否存在
1、编写测试脚本如下：
#!/bin/sh
path=$1
hadoop fs -test -f $path if [ $? -eq 0 ]; then echo "File is exist!" else echo "File is not exist!" fi |
2、分别执行“./ftest.sh /user/wdtest/hosts”命令和“./dtest.sh /user/wdtest/host”命令，运行测试脚本，验证输出结果
4 总结
1、通过hadoop fs -test -[defsz] URI 可以判断HDFS文件或目录是否存在，-test一次只能传递一个测试参数，不能执行类似 hadoop fs -test -dfURI或者hadoop fs -test -d -f URI这种命令；
2、hadoop fs -test -[defsz] URI 返回值是不输出的，需要通过“$?”这个特殊变量获取返回值；
3、-s和-z命令我测试过，但觉得不怎么常用，所以没在文章中讲述，有兴趣可以自己测一下，比较简单，更换一下脚本参数即可；
4、判断HDFS文件目录是否存在后，可以执行比如创建、删除目录或文件等操作，当然还有一些更高级的玩法，这里就不演示了。
到此，关于“怎么使用Shell脚本判断HDFS文件/目录是否存在”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！
分享题目：怎么使用Shell脚本判断HDFS文件/目录是否存在
文章出自：http://cqcxhl.cn/article/ppejgd.html