重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
robots.txt文件没问题,禁止的都是需要禁止的内容
创新互联公司主要从事成都网站建设、做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务新宾,10年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:028-86922220
Disallow: /ADMIN/ 这句话就是禁止收录所有管理页面的,当然也包括管理登录页面了
自己建一个 或者搜ZBLOG robots.txt 有专门帮你写robots.txt 的网站 根据提示写好规则够下载下来robots.txt 传到你空间的根目录就OK了
其实很多文件是没有必要屏蔽的,因为根本就抓不到如:
Disallow: /CACHE/
Disallow: /DATA/
Disallow: /FUNCTION/
Disallow: /INCLUDE/
Disallow: /LANGUAGE/
Disallow: /c_custom.asp
Disallow: /c_option.asp
Disallow: /install.asp
还有没有必要屏蔽的
Disallow: /IMAGE/ (图片文件夹屏蔽后就没有图片来的流量了,除非你图片太多成为服务器压力)
Disallow: /XML-RPC/ (ping服务的文件夹,没有必要禁)
Disallow: /sitemap_wap.xml (wap访问的地图文件)
Disallow: /wap.asp(你不想要wap的访问流量吗)