robots.txt与nofollow之间的区别
![]() | ![]() | ![]() | ![]() |
| 【性价之王】 | 【线路之王】 | 【价格之王】 | 【配置之王】 |
| 【免费之王】 | 【香港首推】 | 【梯子之王】 | 【独服之王】 |

很多刚刚学习SEO优化的小伙伴,robots.txt与nofollow这两个术语在某些情况下使用时很难很清楚。
内容 1 一. 基本概念 2 二. 实际应用有什么区别? 2.1 相关文章一. 基本概念
1. 什么是robots.txt?
robots.txt是一个文档,存放在网站根目录。当搜索引擎蜘蛛抓取网站时,首先会检查网站上是否存在robots.txt。
如果存在,搜索引擎一般都会遵循网站上的robots.txt中的规则来抓取网站内容;如果不存在,搜索引擎蜘蛛就可以访问站点上所有的内容。并不是所有的搜索引擎蜘蛛都会遵循robots.txt,但总体说来大部分搜索引擎蜘蛛都会按照robots.txt规则来抓取网站内容。
2. 什么是nofollow?
我们可以把整个互联网中想象成为一个大型城市的地铁系统,每一站就像是一个独立的站点。搜索引擎蜘蛛想通过某种方式来爬行整个城市的所有站点,而站点与站点之间最合理的方式就是通过相互链接,最后形成一个巨大复杂的蜘蛛网,搜索引擎蜘蛛找到某一链接后会一直爬下去,不断发现新的内容。在这一过程中就会存在有的站点被链接的次数多,有的站点被链接的次数少,那是不是被链接多的站点,排名就越高呢?仅仅只是考虑链接的数量就决定站点排名的高低?
曾经有人钻过空子,通过大量的垃圾外链,比如在其他网站上发布大量不相关的内容指向自己网站来提高网站排名,这似乎不太合理。于是搜索引擎改进了算法,甚至还推出了”nofollow“来规范整个链接市场。
nofollow是HTML页面中a标签的属性值,常见用法如下:
<a h="URL链接" rel="nofollow"></a>一旦a标签加上rel="nofollow"后,就是在告诉搜索引擎不要追踪此”URL链接“,这个链接是不值得信任的,不要将页面的权重分给这个”URL链接“。
二. 实际应用有什么区别?
1. nofollow同robots.txt一样都能禁止搜索引擎的抓取?
答案是否定的。很多人认为链接被加上nofollow后就不会被搜索引擎抓取了,比如:
<a h="https://www.baidu.com" rel="nofollow">百度</a>假设搜索引擎此时抓取到了WordPress百宝箱的这篇文章,在WordPress百宝箱的文章中有一个“百度”的链接,原本搜索引擎是有可能会继续爬行“百度”页面,但是它看到了“百度”加上了一个“nofollow”,这暗示着搜索引擎不能再继续抓取“百度”页面,也不能给“百度”页面传递权重。此路不通,但并不意味着搜索引擎从此就不能再抓取“百度”页面。搜索引擎还是可以通过其他途径来抓取“百度”页面的。
同理,比如某一站点使用了robots.txt来禁止搜索引擎的抓取,但在其他网站上有链接指向了这个禁止搜索引擎抓取的站点,搜索引擎仍有可能会找到该站点并将其编入索引,出现在搜索结果中。
2. nofollow与robots.txt屏蔽方式相同?
答案是否定的。nofollow针对的是单个的访问路径,是链接,挡住搜索引擎继续向前爬行的去路;而robots.txt可以禁止搜索引擎抓取某个单链接、某栏目下的所有页面,甚至是整个网站。
另外,nofollow标签可以屏蔽站外的链接;但是robots.txt只能屏蔽站内链接,两者之间还是有很大的区别。
3. 加上nofollow,这个链接就真的没什么价值了吗?
答案仍然是否定的。上文一直在说链接被加上了nofollow,就意味着搜索引擎不会追踪此链接,也不会传递权重,那是不是意味着就没有价值了呢?比如说我们站长会经常在别人的网站上留言或跑到论坛上去回帖,我们的链接往往会被加上nofollow,难道你就不去交流互动了吗?至少增加了你网站曝光的机会,增加了用户访问你网站的入口,你网站不管在什么地方在什么时候每出现一次在用户的面前,他就有可能会来访你的网站,这不是直接增加你网站的流量吗?有效的自然流量就会推动你网站的排名。
robots.txt与nofollow傻傻分不清楚的SEO优化小伙伴,通过上文的讲解,你理清了吗?如果有任何疑问,欢迎在下方留言哦。
[nofollow]历史优惠活动内容
猜你可能想看的VPS
- STSDUST→$25 月 2 核 2GB 内存 20GB 空间 10T虚拟空间(主机)
- 百度云 - .COM 国际顶级域名新注册 45 元 首年全球[VPS测评]
- XEN 容易超售-HostXen 预热双十一→充 300 送 100 续全球[VPS测评]
- Virmach 圣何塞补货通知→128M 套餐年付 12 美元 附缺货也全球[VPS测评]
- 预售 ¥399 月 L5630*2 16G 内存 1TB 硬盘 100M全球[VPS测评]
- Laravel mix 怎么引用 npm 下载的插件?全球[VPS测评]
- 大带宽高防 ¥1210 年 2 核 CPU 4G 内存 40G SSD 全球[VPS测评]
- Ubuntu 下安装 LXDE+XRDP 实现远程桌面访问用来刷 PT全球[VPS测评]
- 云霸天下 IDC 日本站群服务器促销,4C 段 253 个 IP,50M站群服务器[IP]
- 促销 $7 月 2 核 CPU 1G 内存 20G 硬盘 400G 流量全球[VPS测评]
- 劳动节促销 标准互联→所有云服务器买两年送一年 圣何塞 CN2 GIA 全球[VPS测评]
- 便宜 野草云 10 月促销→香港独立服务器 53 折优惠 香港 CN2 独立服务器[U]
- GigsGigsCloud→新上小内存美国 CN2 GIA 套餐 1 核美国VPS[主机]
- 纵横数据中秋促销→江苏宿迁移动 BGP100G 高防物理服务器 无视 C全球[VPS测评]
- Sapinet→€3 月 2 核 2GB 内存 30GB NVMe 空间虚拟空间(主机)
- 引力主机双12九折优惠安徽联通NATVPS1G内存4T大流量200M大带全球[VPS测评]
- 如何合理地设置WordPress文章延伸阅读或文章超链接全球[VPS测评]
- Idnix → 5.4$月付 1核1G20G硬盘 印度尼西亚 无限流量 全球[VPS测评]
- debian9、10,centos7开启原生bbr,实现tcp加速全球[VPS测评]
- 潮科技|阿里云发布第七代高主频云服务器ECS和含光800云服务器全球[VPS测评]
- 亿恩科技香港云服务器 2核2G服务器特价700元/年香港VPS[主机]
- 晚点独家丨拼多多9月上线跨境电商平台,首站美国美国VPS[主机]
- 阁天互联怎么样?香港cn2云服务器 圣何塞cn2vps仅20/月香港VPS[主机]
- 翔云网络怎么样?香港云服务器优惠99/月,国内4核4G高防服务器6800香港VPS[主机]
- 快速云:云服务器和vps区别是什么云服务器和vps哪个比较安全2022-全球[VPS测评]
- 伏羲云:全场75折,美国CN2 GIA/香港CN2年付硬盘翻倍,日本软银日本VPS[主机]
- 从阿里云七代云服务器,谈云计算四大趋势全球[VPS测评]
- edgenat,低价年付促销活动,香港vps 4核8G仅300元/年,美美国VPS[主机]
- CombCloud,香港沙田cn2vps终身七折起,高质量网络稳定低延迟香港VPS[主机]
- 腾讯云免备案云服务器:香港/德国/美国/俄罗斯等可选,低至300元/年美国VPS[主机]
转载请注明原文地址:http://140.238.13.167:12355/read-222914.html











