Robots设置禁止收录含指定参数页面

因域名由 LE360.CC 更换为了 VIMIN.CC，为了能让百度尽快收录就在站长后台提交了改版申请。

2021.12.12 提交的改版，到今天将近 3 个月的时间索引终于到 7（感觉提交改版并没有加速收录）

去百度 site:vimin.cc 发现 7 个里面还有 2 个重复，点进去一看把回复页也收录了

貌似重复收录同一页面会导致网站降权，果断把 Robots.txt 改成禁止收录链接带 replyTo 的页面

Robots.txt 设置

User-agent: *        这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /feed      不准抓此目录
Disallow: /admin/    不抓抓此目录
Disallow: /*?replyTo=*   不准抓的链接中含有?replyTo=的页面
Sitemap: https://vimin.cc/sitemap.xml    告诉爬虫这是网站地图

设置完成之后果断去检测更新 Robots,然后填写相应的链接进行校验，显示不允许，大功告成。

常用 Robots 写法分享

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图

© 版权声明：
作者：叶小明的博客
本文链接：https://vimin.cc/life/833.html
本站文章除特别声明外，均采用 署名 - 非商业性使用 - 禁止演绎 4.0 国际协议，转载请注明出处。
若发现本站有任何侵犯您利益的内容，请及时邮件或留言联系，我会第一时间删除所有相关内容。