公告:目录吧为广大站长提供免费收录网站服务,会员每天提交优秀网站、小程序、文章人工审核,快审服务(10元/站)。

点击这里在线咨询客服
新站提交
  • 网站:819
  • 待审:1
  • 小程序:11
  • 文章:226
  • 会员:62

最近,与Dongjing分享网站优化有关的教程越来越少,主要是忙于其他项目,导致每天没有太多时间。 今天,我将花时间讨论有关网站优化中的机器人文件的一些常见问题。
  1.什么是机器人,机器人的用途是什么?

  在解释机器人之前,让我向您介绍什么是机器人。 借用百度百科关于机器人是网站与爬虫之间的协议的解释,使用简单直接的txt格式文本告诉相应的爬虫允许的权限,也就是说,robots.txt是访问网站时首先要检查的内容 在搜索引擎中的文件。 搜索蜘蛛访问网站时,它将首先检查网站的根目录中是否存在robots.txt。 如果存在,搜索机器人将根据文件中的内容确定访问范围; 如果该文件不存在,则所有'S搜索蜘蛛都将能够访问该站点上不受密码保护的所有页面。

  用一句话来解释:机器人是蜘蛛和网站之间的一种协议。

  至于机器人的实用性,我相信仔细阅读以上内容的朋友仍然会有收获。 董靖认为,合理的机器人仍然具有以下好处:

  1.它可以避免蜘蛛抓取和收集我们不想显示给他人的页面。 例如网站背景地址,个人隐私日志等。

  2.可以减轻服务器的压力。 我们可以允许爬虫通过漫游器协议仅爬网一部分页面,以避免爬虫爬网一些无用的页面并占用服务器资源。

  3.正确的机器人协议将改善整个网站的质量,促使排名迅速纳入,从而增加网站的权重。
2.如何编写机器人协议格式?

  让我向您展示编写机器人文件的最简单方法:

  用户代理: *

  禁止:/ inc /

  允许:/ uqseo

  站点地图:域名/sitemapxq7jely9mgz.xml

  在上面,用户代理代表搜索引擎蜘蛛的名称。 常用的是*,代表通配符。 换句话说,该协议对所有搜索引擎蜘蛛都有用。  Disallow表示不允许访问的对象,例如某些CSS,Js,图片,视频,文件夹等。Disallow:/ inc /表示不允许搜索引擎蜘蛛抓取和抓取inc中的所有文件。 夹;  Allow表示搜索引擎蜘蛛允许的路径,Allow:/ uqseo表示它是uqseo的文件或文件夹;  Sitemap是指此站点的地图,通常是.xml或.txt格式的地址。 值得注意的是,必须在此处写入绝对地址。

  提示:每个属性的冒号都以英文冒号表示,并且冒号后必须有一个空格。

  3.只能将机器人放置在根目录中吗?

  Winter Mirror可以清楚地告诉机器人文件只能放置在网站的根目录中,这也是众所周知的。 上面提到的robots文件是搜索引擎蜘蛛的协议(某些蜘蛛可能不遵守),搜索引擎蜘蛛首先从网站的根目录进入网站,因此,机器人协议仅在根目录中有效,应该 请注意,漫游器文件的名称必须为robots.txt,只能使用小写字母。
四、robots协议的高级玩法
此游戏需要php伪静态或php路由才能实现。 如前所述,除了禁止和操作机器人外,还有一个非常重要的站点地图。 有时,当我们网站上有很多站点地图时,如果将它们全部写入机器人中,它们会显得非常肿。 这时,我们使用php控件。输出可以实现,每次您访问机器人时,都会显示一个不同的地址,并且具体地址不会太多,每个人都无法演示。

分享到:

目录吧

申请就能免费收录您的网站和小程序哦

  • 819

    网站

  • 11

    小程序

  • 226

    文章

  • 62

    会员

赶快注册账号,推广您的网站吧!
最新入驻小程序

草民电影网2020-06-24

软件特色   【高清播放】:全网

一六六电影网2020-06-23

一六六电影网 欢迎您https://www

京东云小店2020-06-23

云小店是一款社交电商的应用产品

全阶人生考试2020-06-23

各种考试题,题库,初中,高中,大学四六

答题星2020-06-23

您可以通过答题星轻松地创建试卷

数独大挑战2020-06-23

数独一种数学游戏,玩家需要根据9