日志查询发现好多无效目录
- 时间:
- 浏览:0
今天查询日志发现蜘蛛爬了好多无效目录,这种是什么情况,对网站有影响吗?应该怎么处理?
去站长平台进行死链提交
老铁网友回答:屏蔽就行了
老铁网友回答:给屏蔽一下就可以
老铁网友回答:屏蔽掉
老铁网友回答:无效就不要让百度蜘蛛抓取就行
老铁网友回答:Robots屏蔽下
老铁网友回答:可以在Robots里面禁止蜘蛛爬取目录
老铁网友回答:屏蔽掉就行了,留着没有用,防伪标签为您服务
老铁网友回答:Robots.txt 是不是可以用这个文件屏蔽不需要抓取的目录
老铁网友回答:屏蔽了吧。
老铁网友回答:屏蔽无效页面的抓取
老铁网友回答:屏蔽蜘蛛
老铁网友回答:无效就屏蔽掉吧
老铁网友回答:提交删除
老铁网友回答:主要目录太多了,每天还不一样,屏蔽起来也有点麻烦