重庆分公司
重庆分公司，新征程启航
为企业提供网站建设、域名注册、服务器等服务
python如何递归下载文件夹下所有文件-创新互联
这篇文章主要介绍python如何递归下载文件夹下所有文件，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
最近想备份网站，但是php下载文件的大小是有大小限制的，而我也懒得装ftp再下载了，就想着暂时弄个二级域名站，然后用python(python3)的requests库直接下载网站根目录下的所有文件以及文件夹。（0-0就是这么任性）
1.安装requests库
pip install requests
2.下载文件夹下所有文件及文件夹
这里需要处理的地方主要是文件夹，这里我们判断出该链接是文件夹时，自动创建文件夹，并递归继续进行操作，否则判断该链接是文件，直接使用requests get方法下载，话不多说，看代码
####春江暮客 www.bobobk.com
import requests
import re
import os
import sys
def help(script):
text = 'python3 %s https://www.bobobk.com ./' % script
print(text)
def get_file(url,path):##文件下载函数
content = requests.get(url)
print("write %s in %s" % (url,path))
filew = open(path+url.split("/")[-1],'wb')
for chunk in content.iter_content(chunk_size=512 * 1024):
if chunk: # filter out keep-alive new chunks
filew.write(chunk)
filew.close()
def get_dir(url,path): #文件夹处理逻辑
content = requests.get(url).text
if "Index of" in content:
sub_url = re.findall('href="(.*?)" rel="external nofollow" ',content)
print(sub_url)
for i in sub_url:
if "/" in i:
i = i.split("/")[0]
print(i)
if i!="." and i!="..":
if not os.direxists(path+i):
os.mkdir(path+i)
get_dir(url+"/"+i,path+i+"/")
print("url:"+url+"/"+i+"\nurl_path:"+path+i+"/")
else:
get_file(url+"/"+i,path)
else:
get_file(url,path)
if __name__ == '__main__':
if not sys.argv[1]:
help(sys.argv[0])
exit(0)
else:
get_dir(sys.argv[1],"./")</pre><p>至此，就在本地目录完全还原下载原网站的路径和文件了。</p><p>以上是“python如何递归下载文件夹下所有文件”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！</p> <br>
本文名称：python如何递归下载文件夹下所有文件-创新互联 <br>
网页网址：<a href="http://cqcxhl.cn/article/pcghi.html">http://cqcxhl.cn/article/pcghi.html</a>
</div>
</div>
<div class="other">
<h3>其他资讯</h3>
<ul>
<li>
<a href="/article/pdegis.html">在HANA上实施SAPBW要做哪些准备</a>
</li><li>
<a href="/article/pdejoe.html">go语言中怎么使用goroutine实现并行请求</a>
</li><li>
<a href="/article/pdeghg.html">商标异议申请是什么</a>
</li><li>
<a href="/article/pdegji.html">怎么在SpringBoot项目启动时执行特定方法</a>
</li><li>
<a href="/article/pdejco.html">那么，问题来了，你会javascript(js)的小数点乘法除法问题吗？</a>
</li> </ul>
</div>
</div>
<div class="footer">
<div class="footer_content">
<div class="footer_content_top clear">
<div class="content_top_share fl">
<div><img src="/Public/Home/img/logo.png"></div>
<div class="top_share_content">
<dd>分享至：</dd>
<dt class="bdsharebuttonbox clear" id="share">
<a href="#" class="bds_tsina iconfont fl" data-cmd="tsina" title="分享到新浪微博"></a>
<a href="#" class="bds_sqq iconfont fl" data-cmd="sqq" title="分享到QQ好友"></a>
<a href="#" class="bds_weixin iconfont fl" data-cmd="weixin" title="分享到微信"></a>
<a href="#" class="bds_weixin iconfont fl" data-cmd="tieba" title="分享到贴吧"></a>
</dt>
<script>window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":"2","bdMiniList":false,"bdPic":"","bdStyle":"0","bdSize":"16"},"share":{}};with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new Date()/36e5)];</script>
</div>
</div>
<div class="content_top_left fl clear">
<div class="top_left_list fl">
<dd><a href="/about/">关于我们</a></dd>
<dt>
<a href="/about/#gsjj">公司简介</a>
<a href="/about/#fzlc">发展历程</a>
</dt>
</div>
<div class="top_left_list fl">
<dd><a href="/service/">服务项目</a></dd>
<dt>
<a href="/service/">高端网站建设</a>
<a href="/miniprogram/">小程序开发</a>
<a href="/service/app.html">APP开发</a>
<a href="/service/yingxiao.html">网络营销</a>
</dt>
</div>
<div class="top_left_list fl">
<dd><a href="/jianzhan/">建站知识</a></dd>
<dt>
<a href="/jianzhan/2.html">网站建设</a>
<a href="/jianzhan/3.html">网站设计</a>
<a href="/jianzhan/4.html">网站制作</a>
<a href="/jianzhan/5.html">小程序</a>
</dt>
</div>
<div class="top_left_list fl">
<dd><a href="/contact/">联系我们</a></dd>
<dt>
<a href="/contact/#lxwm">公司地址</a>
<a href="/contact/#rczp">人才招聘</a>
</dt>
</div>
</div>
<div class="content_top_right addressR fr">
<div class="top_right_title addressf_title">
<a href="javascript:;" class="on">成都</a>
<a href="javascript:;">重庆</a>
</div>
<div class="top_right_content addressf">
<div class="right_content_li on">
<div class="right_content_list clear">
<dd class="fl iconfont"></dd>
<dt class="fl">电话：028-86922220</dt>
</div>
<div class="right_content_list clear">
<dd class="fl iconfont"></dd>
<dt class="fl">地址：成都市太升南路288号锦天国际A幢1002号</dt>
</div>
</div>
<div class="right_content_li">
<div class="right_content_list clear">
<dd class="fl iconfont"></dd>
<dt class="fl">电话：028-86922220</dt>
</div>
<div class="right_content_list clear">
<dd class="fl iconfont"></dd>
<dt class="fl">地址：重庆市南岸区弹子石腾龙大道58号2栋21-6</dt>
</div>
</div>
</div>
</div>
</div>
</div>
<div class="footer_content_copyright clear">版权所有：成都创新互联科技有限公司重庆分公司
<a href="http://beian.miit.gov.cn/" rel="nofollow" target="_blank">渝ICP备2021005571号-4</a>
</div>
</div>
<!--浮窗-->
<div class="FloatingWindow clear">
<a href="tencent://message/?uin=1683211881&Site=&Menu=yes" class="FloatingWindow_list fr">
<div class="FloatingWindow_list_title">
<dd class="iconfont"></dd>
<dt><span>在线</span>咨询</dt>
</div>
</a>
<a href="javascript:;" class="FloatingWindow_list fr">
<div class="FloatingWindow_list_title">
<dd class="iconfont"></dd>
<dt>服务热线</dt>
</div>
<div class="FloatingWindow_list_down fadeInRight animated">服务热线：028-86922220</div>
</a>
<a href="javascript:;" class="FloatingWindow_list fr STop">
<div class="FloatingWindow_list_title">
<dd class="iconfont"></dd>
<dt>TOP</dt>
</div>
</a>
</div>
<script src="/Public/Home/js/jquery-1.8.3.min.js"></script>
<script src="/Public/Home/js/comm.js"></script>
<script src="/Public/Home/js/wow.js"></script>
<script src="/Public/Home/js/common.js"></script>
</body>
</html>
<script>
$(".con img").each(function(){
var src = $(this).attr("src"); //获取图片地址
var str=new RegExp("http");
var result=str.test(src);
if(result==false){
var url = "https://www.cdcxhl.com"+src; //绝对路径
$(this).attr("src",url);
}
});
</script>