吱哇 发表于 2019-2-23 21:16:27

Z-Blog 搜索引擎爬虫管理插件RobotsMng

http://bbs.ziwaw.com/data/attachment/forum/201905/10/eae07803ly1g0go3kl3cng20gz065gls.gif

zblog插件RobotsMng说明:
[*]使用该插件不会造成zblog系统变慢,也没有可以被不法分子利用的漏洞。
[*]成功安装插件后,博主可以通过后台的网站设置管理中的管理引擎爬虫进入管理页,也可以通过插件管理中的Robots Manager后面的管理进入管理页。
[*]插件操作说明:
全部允许:表示允许任何搜索引擎爬虫抓取你网站的任何内容;
全部拦截:表示不允许任何搜索引擎爬虫抓取你网站上的任何内容(慎用);
在Robots.txt中显示网站地图:这能更方便爬虫读取网站地址并抓取,所以此项是不允许更改的;
[*]自定义抓取规则:定义此规则需要第一步中选择为全部允许。
如果你想禁止所有引擎爬虫抓取你网站的IMAGES目录,你可以在操作中选择“拦截”,爬虫选择“所有引擎机器人”,在文件中输入“/IMAGES/”就可以了;如果你想禁止多个目录你可以用“||”分割,比如“/ADMIN/||/SCRIPT/||/FUNCTION/”这样会生成三条记录。


页: [1]
查看完整版本: Z-Blog 搜索引擎爬虫管理插件RobotsMng