什么是蜘蛛黑洞及如何避免
 |
 |
 |
 |
| 【性价之王】 | 【线路之王】 | 【价格之王】 | 【配置之王】 |
| 【免费之王】 | 【香港首推】 | 【梯子之王】 | 【独服之王】 |
蜘蛛黑洞其实就是蜘蛛陷阱中最常见的一种，可能是由于网站程序细节上的处理不到位而形成，也有可能是黑帽 SEO 手段的故意为止，总之这就是对搜索引擎非常不友好，并且不利于网站的长期运营和 SEO 优化。
内容 1 1.什么是蜘蛛黑洞？ 2 2.如何避免蜘蛛黑洞？ 2.1 相关文章1.什么是蜘蛛黑洞？
百度官方早在几年前就对蜘蛛黑洞做过解释：对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态 URL ，就像一个无限循环的“黑洞”将 spider 困住，Baiduspider 浪费了大量资源抓取的却是无效网页。
某公司就曾花钱找网络公司给做过所谓的“全网营销网站”，通过搜索引擎的 sitie 查看 Google 的收录可以达到上万的索引数据，而通过百度可以查到仅有 1 条首页结果，其中大量的重复页面均是由于动态 URL 链接造成，只要文章的 ID 一致，其它任意参数都会是一个一模一样的页面。
再比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000 之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取，只能是占用网站宝贵的抓取配额。
2.如何避免蜘蛛黑洞？
由于蜘蛛黑洞大多是由于动态 URL 链接造成，一方面是从网站技术上杜绝这样的情况，保证动态 URL 的唯一性，非规范的 URL 应该返回 404 状态或者跳转。
同样根据百度官方的推荐方式还可以巧用 robots 避免蜘蛛黑洞，robots.txt 的文件用法中有这样一条规则：Disallow: /*?* ，即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式，对 Baiduspider 优先展示高质量页面、屏蔽了低质量页面，为 Baiduspider 提供了更友好的网站结构，避免了黑洞的形成。
在网站的 robots.txt 文件中添加一行 Disallow: /*?*规则，主流的搜索引擎都是能够支持和遵守的，能够更有利于网站的优化与内容的运营。
[SEO]历史优惠活动内容
猜你可能想看的VPS
- 青云互联：香港荃湾云服务器限时七折,13元/月起;江苏挂机宝vps低至5 香港VPS[主机]
- 自适应bootstrap左侧导航可关闭 全球[VPS测评]
- 40火伞高压电爬坡更让企业用电于民 全球[VPS测评]
- 什么是VPS？国内VPS有哪些？ 全球[VPS测评]
- 拼多多正筹建跨境电商平台：密集挖角SHEIN员工，零佣金招商入驻 全球[VPS测评]
- 快速云：vps云服务器的区别是什么？2022-08-1913：32来源： 全球[VPS测评]
- 精编案例丨游戏行业转型升级迫在眉睫，云计算助力打造下一代游戏体验 全球[VPS测评]
- 狗云DogYun,香港cn2云服务器/优惠码/流量包,按小时计费云服务器 香港VPS[主机]
- 印象云,香港安畅CN2VPS终身8折1核1G22元/月,美国CN2高防V 美国VPS[主机]
- 麻花云：香港CN2VPS月付19元起，安徽移动8核/16G/20M独服2 香港VPS[主机]
- 空空云怎么样?香港CN2-GIA VPS,带宽2M,月付15元 香港VPS[主机]
- 搬瓦工：美国香港cn2 gia线路VPS,10Gbps带宽,移动+联通企 美国VPS[主机]
- 蓝米云：美国cera vps/香港cn2vps套餐,1核2G/40G/1 美国VPS[主机]
- GreenCloudVPS：5折、6折优惠，日本、新加坡、香港等KVM 日本VPS[主机]
- 纳米云怎么样?纳米云香港vps,4核1G主机价格80元/月 香港VPS[主机]
- UCloud云服务器2020年度大促：北京/上海云服务器/香港免备案云服 香港VPS[主机]
- 阳帝云：香港大宽带vps仅15元/月;美国vps200G防御仅28元/月 美国VPS[主机]
- 众创逸云：元旦优惠活动,香港美国CN2云服务器4核4G30M,仅售309 美国VPS[主机]
- 蓝队云服务器怎么样?蓝队云服务器价格和优势是什么? 全球[VPS测评]
- 咖啡主机怎么样?咖啡香港/美国/法国VPS主机价格及配置推荐 美国VPS[主机]
- 56云服务器：国内云服务器2核2G5M仅377.46元/年;香港物理服务 香港VPS[主机]
- 月神云活动：香港大带宽vps、美国CN2普防、美国原生IP、日本东京首月 日本VPS[主机]
- 众创逸云：清明促销,香港沙田/安畅vps前两月半价;美国CERA首月半价 美国VPS[主机]
- 速泽云：香港学生云主机,7.5元/月起;镇江NET2.1元/月起,美国v 美国VPS[主机]
- 快速云：云服务器和vps区别是什么云服务器和vps哪个比较安全2022- 全球[VPS测评]
- 谷歌浏览器网址如何显示http,www，Chrome谷歌浏览器恢复地址栏 全球[VPS测评]
- sugarhosts首推DECADE云服务器,香港云服务器,1核512M 香港VPS[主机]
- 桔子数据怎么样?便宜香港安畅CN2 VPS1核1G10M 28/月 香港VPS[主机]
- 老六云怎么样?香港cn2vps月付23元香港NTT月付9.9元 香港VPS[主机]
- 金斗云怎么样?香港CN2月付23元,圣何塞CN2月付22元 香港VPS[主机]
转载请注明原文地址: http://140.238.13.167:12355/read-227778.html