娱乐

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

字号+作者:佚名 来源:问答口碑营销 2021年09月06日

通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。搜外网站后台日志分析结果如下图:搜外主站实际上不存在php后缀的URL地址。可通...

  通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

  搜外网站后台日志分析结果如下图:

  

网络营销seo优化公司

  搜外主站实际上不存在php后缀的URL地址。

  可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

  在robots.txt文件填写屏蔽规则如下:

  Disallow: /*.asp$

  Disallow: /*.php$

  Disallow: /*.aspx$

  注意前面一个*,后面一个$,代表后缀。

  参考搜外的robots.txt文件写法,点击这里

  扩展阅读

信息流广告平台

  robots.txt概念和10条注意事项


(信息流小说) (网站推广外包公司) (电商网站seo) (信息流广告托管) (360信息流小说) (效果最好的推广软件) (网站推广方法) (网络营销渠道) (免费seo诊断) (seo外链怎么发)
  信息流账户代运营      seo外链怎么发   

1.【中国口碑营销网】遵循行业规范,任何转载的稿件都会明确标注作者和来源;2,中国口碑营销网的原创文章,请转载时务必注明文章作者和"来源:中国口碑营销网",不尊重原创的行为【中国口碑营销网】或将追究责任;3.作者投稿可能会经中国口碑营销网编辑修改或补充。

相关文章
编辑推荐
  • 技术手段优化seo注意细节

  • 夫唯对话跨境峰哥,亚马逊新

  • seo会给企业带来什么(利润增

  • 日照seo:做不好seo的原因?

  • 南宁seo优化:网站流量突然下

  • 小明SEO博客成功加入百度联盟

  • 百度搜索结果中站点LOGO是如

  • SEO网站优化问答有点什么?

  • site网站首页不在首位是什么