外链代发包收录,纯手工外链代发 客服QQ:1170734538

日志查询发现好多无效目录

  • 时间:
  • 浏览:0

今天查询日志发现蜘蛛爬了好多无效目录,这种是什么情况,对网站有影响吗?应该怎么处理?


去站长平台进行死链提交

老铁网友回答:

屏蔽就行了

老铁网友回答:

给屏蔽一下就可以

老铁网友回答:

屏蔽掉

老铁网友回答:

无效就不要让百度蜘蛛抓取就行

老铁网友回答:

Robots屏蔽下

老铁网友回答:

可以在Robots里面禁止蜘蛛爬取目录

老铁网友回答:

屏蔽掉就行了,留着没有用,防伪标签为您服务

老铁网友回答:

Robots.txt 是不是可以用这个文件屏蔽不需要抓取的目录

老铁网友回答:

屏蔽了吧。

老铁网友回答:

屏蔽无效页面的抓取

老铁网友回答:

屏蔽蜘蛛

老铁网友回答:

无效就屏蔽掉吧

老铁网友回答:

提交删除

老铁网友回答:

主要目录太多了,每天还不一样,屏蔽起来也有点麻烦

猜你喜欢