什么是蜘蛛黑洞及如何避免
 |  |  |  |
| 【性价之王】 | 【线路之王】 | 【价格之王】 | 【配置之王】 |
| 【免费之王】 | 【香港首推】 | 【梯子之王】 | 【独服之王】 |
蜘蛛黑洞其实就是蜘蛛陷阱中最常见的一种，可能是由于网站程序细节上的处理不到位而形成，也有可能是黑帽 SEO 手段的故意为止，总之这就是对搜索引擎非常不友好，并且不利于网站的长期运营和 SEO 优化。
内容 1 1.什么是蜘蛛黑洞？ 2 2.如何避免蜘蛛黑洞？ 2.1 相关文章1.什么是蜘蛛黑洞？
百度官方早在几年前就对蜘蛛黑洞做过解释：对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态 URL ，就像一个无限循环的“黑洞”将 spider 困住，Baiduspider 浪费了大量资源抓取的却是无效网页。
某公司就曾花钱找网络公司给做过所谓的“全网营销网站”，通过搜索引擎的 sitie 查看 Google 的收录可以达到上万的索引数据，而通过百度可以查到仅有 1 条首页结果，其中大量的重复页面均是由于动态 URL 链接造成，只要文章的 ID 一致，其它任意参数都会是一个一模一样的页面。
再比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000 之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取，只能是占用网站宝贵的抓取配额。
2.如何避免蜘蛛黑洞？
由于蜘蛛黑洞大多是由于动态 URL 链接造成，一方面是从网站技术上杜绝这样的情况，保证动态 URL 的唯一性，非规范的 URL 应该返回 404 状态或者跳转。
同样根据百度官方的推荐方式还可以巧用 robots 避免蜘蛛黑洞，robots.txt 的文件用法中有这样一条规则：Disallow: /*?* ，即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式，对 Baiduspider 优先展示高质量页面、屏蔽了低质量页面，为 Baiduspider 提供了更友好的网站结构，避免了黑洞的形成。
在网站的 robots.txt 文件中添加一行 Disallow: /*?*规则，主流的搜索引擎都是能够支持和遵守的，能够更有利于网站的优化与内容的运营。
[SEO]历史优惠活动内容
猜你可能想看的VPS
- 搬瓦工年付 46.8 美元起补货 DC3&DC8&DC2&DC4&弗里蒙全球[VPS测评]
- raksmart→美国不限流量服务器（物理机） 100M 带宽~$61 美国VPS[主机]
- php 判断是否为 ajax 请求全球[VPS测评]
- Uovz→2200 元 月 E5-2620*2 16GB 内存 240G全球[VPS测评]
- 华为云热门域名限时抢购 1 元起 com23 元 cn19 元全球[VPS测评]
- 活动 嘟牛云→限时免单 全场 77 折优惠 额外双倍内存 66 红包大放全球[VPS测评]
- 极客主机 - 新加坡 CN2 VPS 永久 8 折优惠码全球[VPS测评]
- BuyVM→拉斯维加斯无限流量 KVM 每月 2 美元起 支持支付宝全球[VPS测评]
- laravel 框架提示→TokenMismatchException 全球[VPS测评]
- 用 js 提交表单而不是 submit 时怎么触发验证 jquery.v全球[VPS测评]
- 黑五 Losangelesvps→全场 4 折优惠 洛杉矶 1G 不限流全球[VPS测评]
- stsdust 广州移动大带宽 nat 预售,最高 200M 带宽 6T全球[VPS测评]
- 开心果 app 0 撸实物。全球[VPS测评]
- SmartHost→$6.95 月 KVM-1GB 内存 1TB 硬盘 全球[VPS测评]
- 如何使用对象存储进行Chia奇亚币云挖矿？全球[VPS测评]
- AlphaVPS 黑五 1GB内存 2核CPU 1T流量 免费赠送DA面全球[VPS测评]
- WordPress性能优化初级方案——提升网站速度飞起来全球[VPS测评]
- WordPress文章标题如何命名？SEO优化这样做全球[VPS测评]
- Hostmem → 洛杉矶QN机房 → 2G内存 240G HDD 4全球[VPS测评]
- 2019网一: PacificRack → 1C 512M RAM 20全球[VPS测评]
- 什么是Bootstrap？全球[VPS测评]
- 中概股扫描网传拼多多正筹备跨境电商平台首站登陆美国美国VPS[主机]
- 加拿大以“国安”为由禁止华为、中兴参与5G建设全球[VPS测评]
- SugarHosts糖果主机：虚拟主机5折(有独立IP);香港/美国cn独立服务器[U]
- 初忆云： 滁州电信、湖北电信云服务器价格低至10元起,续费同价全球[VPS测评]
- 磐逸云：深圳/大连/成都/香港机房vps,1核1G3M仅26元/月,65香港VPS[主机]
- 极客主机,美国高防/日本软银/新加坡双程CN2/香港VPS 折后39元/日本VPS[主机]
- hostkvm怎么样?香港云vps 带宽30M 月付6美元香港VPS[主机]
- 百星数据：全场云服务器7折优惠,美国cn2/香港cn2/韩国cn2/日本日本VPS[主机]
- 水墨云：2021年特惠活动_IPLC专线/海外CN2/香港/日本/韩国/日本VPS[主机]
转载请注明原文地址:http://140.238.13.167:12355/read-222495.html