什么是蜘蛛黑洞及如何避免
 |  |  |  |
| 【性价之王】 | 【线路之王】 | 【价格之王】 | 【配置之王】 |
| 【免费之王】 | 【香港首推】 | 【梯子之王】 | 【独服之王】 |
蜘蛛黑洞其实就是蜘蛛陷阱中最常见的一种，可能是由于网站程序细节上的处理不到位而形成，也有可能是黑帽 SEO 手段的故意为止，总之这就是对搜索引擎非常不友好，并且不利于网站的长期运营和 SEO 优化。
内容 1 1.什么是蜘蛛黑洞？ 2 2.如何避免蜘蛛黑洞？ 2.1 相关文章1.什么是蜘蛛黑洞？
百度官方早在几年前就对蜘蛛黑洞做过解释：对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态 URL ，就像一个无限循环的“黑洞”将 spider 困住，Baiduspider 浪费了大量资源抓取的却是无效网页。
某公司就曾花钱找网络公司给做过所谓的“全网营销网站”，通过搜索引擎的 sitie 查看 Google 的收录可以达到上万的索引数据，而通过百度可以查到仅有 1 条首页结果，其中大量的重复页面均是由于动态 URL 链接造成，只要文章的 ID 一致，其它任意参数都会是一个一模一样的页面。
再比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000 之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取，只能是占用网站宝贵的抓取配额。
2.如何避免蜘蛛黑洞？
由于蜘蛛黑洞大多是由于动态 URL 链接造成，一方面是从网站技术上杜绝这样的情况，保证动态 URL 的唯一性，非规范的 URL 应该返回 404 状态或者跳转。
同样根据百度官方的推荐方式还可以巧用 robots 避免蜘蛛黑洞，robots.txt 的文件用法中有这样一条规则：Disallow: /*?* ，即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式，对 Baiduspider 优先展示高质量页面、屏蔽了低质量页面，为 Baiduspider 提供了更友好的网站结构，避免了黑洞的形成。
在网站的 robots.txt 文件中添加一行 Disallow: /*?*规则，主流的搜索引擎都是能够支持和遵守的，能够更有利于网站的优化与内容的运营。
[SEO]历史优惠活动内容
猜你可能想看的VPS
- 优惠 CloudCone→2 美元月付起 洛杉矶 CN2 线路 按小时计全球[VPS测评]
- THINKPHP5 在 php5.4 版本以上伪静态重写报错→No in全球[VPS测评]
- 疯狂猜成语 图猜成语一个人气喘吁吁的在说话是什么成语？全球[VPS测评]
- 日本 VPS 49 元每月 1G 内存 650G 流量 日本大阪 Hos日本VPS[主机]
- 预售 UOvZ→HK-CMI 预售版 1G 套餐年付$22.49 1G 全球[VPS测评]
- VIRPUS 三折→西雅图 XEN VPS 月付 1.5 美元起全球[VPS测评]
- PHP 获取上周所有日期 PHP 获取当前时间前一周七天具体日期全球[VPS测评]
- hosts 文件位置全球[VPS测评]
- 优惠 JGKVM→洛杉矶 CN2 GIA 套餐补货 年付低至 189 元香港VPS[主机]
- element-ui upload 清空文件列表全球[VPS测评]
- QQ 空间被封怎么办？QQ 空间被封如何填写申诉解封？虚拟空间(主机)
- CloudCone→$17.5 年 KVM-1GB 20GB 1TB 洛全球[VPS测评]
- mkdir()提示 No such file or directory 全球[VPS测评]
- Virmach 圣何塞补货通知→128M 套餐年付 12 美元 附缺货也全球[VPS测评]
- 网站改版对搜索引擎SEO优化是否有影响？全球[VPS测评]
- 什么是蜘蛛黑洞及如何避免全球[VPS测评]
- Microcloud 微云-微软Azure NAT VPS 18元 月 全球[VPS测评]
- 跨境电商洋码头生死攸关：买手流失资金被冻结保全全球[VPS测评]
- 老六云怎么样?香港cn2vps月付23元香港NTT月付9.9元香港VPS[主机]
- 亿恩科技香港云服务器 2核2G服务器特价700元/年香港VPS[主机]
- kvmloc：E5-26XX/16G/1T HDD/20Mbps不限流量日本VPS[主机]
- 冀青云怎么样?香港CN2-GIA vps月28元/香港NTT 月9元香港VPS[主机]
- 8K超高清记录中国空间站凌月：天和核心舱与问天实验舱组成“土”字结构虚拟空间(主机)
- 众创逸云：1核2G云服务器,不限流量vps/5Mbps/KVM/香港CN香港VPS[主机]
- 紫云服务器怎么样?紫云香港云服务器1核1G2M仅65元/月香港VPS[主机]
- 戈登云VPS,6折,充值送50%,香港cn2,美国cn云服务器,2核2G美国VPS[主机]
- 咖啡主机：新上香港云服务器、美国CN2轻量级KVM vps,香港15.6美国VPS[主机]
- 绮风云：香港云服务器低至9.9元/月起,深圳/北京/内蒙古vps,63.香港VPS[主机]
- 孤狼云：香港沙田CN2/安畅CN2云服务器仅9.9元/月_香港虚拟主机2香港VPS[主机]
- 雷盾云：香港/美国/日本免备案云服务器,香港vps低至10元/月日本VPS[主机]
转载请注明原文地址:http://140.238.13.167:12355/read-222495.html