什么是蜘蛛黑洞及如何避免
 |  |  |  |
| 【性价之王】 | 【线路之王】 | 【价格之王】 | 【配置之王】 |
| 【免费之王】 | 【香港首推】 | 【梯子之王】 | 【独服之王】 |
蜘蛛黑洞其实就是蜘蛛陷阱中最常见的一种，可能是由于网站程序细节上的处理不到位而形成，也有可能是黑帽 SEO 手段的故意为止，总之这就是对搜索引擎非常不友好，并且不利于网站的长期运营和 SEO 优化。
内容 1 1.什么是蜘蛛黑洞？ 2 2.如何避免蜘蛛黑洞？ 2.1 相关文章1.什么是蜘蛛黑洞？
百度官方早在几年前就对蜘蛛黑洞做过解释：对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态 URL ，就像一个无限循环的“黑洞”将 spider 困住，Baiduspider 浪费了大量资源抓取的却是无效网页。
某公司就曾花钱找网络公司给做过所谓的“全网营销网站”，通过搜索引擎的 sitie 查看 Google 的收录可以达到上万的索引数据，而通过百度可以查到仅有 1 条首页结果，其中大量的重复页面均是由于动态 URL 链接造成，只要文章的 ID 一致，其它任意参数都会是一个一模一样的页面。
再比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000 之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取，只能是占用网站宝贵的抓取配额。
2.如何避免蜘蛛黑洞？
由于蜘蛛黑洞大多是由于动态 URL 链接造成，一方面是从网站技术上杜绝这样的情况，保证动态 URL 的唯一性，非规范的 URL 应该返回 404 状态或者跳转。
同样根据百度官方的推荐方式还可以巧用 robots 避免蜘蛛黑洞，robots.txt 的文件用法中有这样一条规则：Disallow: /*?* ，即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式，对 Baiduspider 优先展示高质量页面、屏蔽了低质量页面，为 Baiduspider 提供了更友好的网站结构，避免了黑洞的形成。
在网站的 robots.txt 文件中添加一行 Disallow: /*?*规则，主流的搜索引擎都是能够支持和遵守的，能够更有利于网站的优化与内容的运营。
[SEO]历史优惠活动内容
猜你可能想看的VPS
- 双十一 标准互联→所有云服务器买两年送一年 香港直连线路 美国圣何塞 C美国VPS[主机]
- 教程 宝塔面板搭建妹子图片站 自带爬虫采集 94imm 程序全球[VPS测评]
- Freenom→免费.tk .ml .ga .cf .qg 域名；.co全球[VPS测评]
- HostKvm 九月优惠活动→VPS 全场八折优惠 美国高防 VPS 套美国VPS[主机]
- JQuery 中 serialize 方法不提交隐藏元素全球[VPS测评]
- Name.com 4 月域名促销全球[VPS测评]
- 通过 css 控制段落 p 首行缩进两个字符全球[VPS测评]
- 限时 腾讯云秒杀活动最后 3 天 诚信无套路 做站用户必选商家全球[VPS测评]
- 打折 DediPath→VPS 全场四折优惠 Hybrid 七折优惠 1全球[VPS测评]
- raksmart 美国圣何塞高配母鸡,双路 e5-2680v2 128G美国VPS[主机]
- thinkphp5 控制器怎么返回 json 格式数据？全球[VPS测评]
- 搬瓦工新增日本大阪软银机房 DC6 CN2 GIA-E 可转入日本机房日本VPS[主机]
- YYYHost 香港沙田/洛杉矶Cera高防VPS 强制三网cn2gia香港VPS[主机]
- spinservers高配便宜独立服务器优惠，$89起/月，10Gbps独立服务器[U]
- HKServerSolution → 4G内存 50G SSD 100M全球[VPS测评]
- Wikihost(idc.wiki) → 香港Cera(线路改善) -香港VPS[主机]
- 潮科技｜阿里云发布第七代高主频云服务器ECS和含光800云服务器全球[VPS测评]
- 快速云：云服务器和vps区别是什么云服务器和vps哪个比较安全2022-全球[VPS测评]
- 快速云：怎么连接vps？VPS的用途有哪些？全球[VPS测评]
- locvps：香港cn2vps(葵湾机房),2核2G40g硬盘,8折优惠WINDOWS
- 为什么阿里云、腾讯云卖服务器可以挣到钱？全球[VPS测评]
- 酷锐云双十一活动：美国vps、香港vps云主机,2核4G4M,50元/首美国VPS[主机]
- 网站迁移服务器是如何运作的？新手站长看完这篇文章，很容易就能看完。全球[VPS测评]
- 向日葵-漏洞科普：海外云服务器三种漏洞修复方法快收藏起来！全球[VPS测评]
- 初忆云：香港美国cn2云服务器30元;香港cn2高防vps30元,美国1美国VPS[主机]
- 新华全媒+丨第六届全球跨境电商大会：跨境电商加快拓宽中国贸易新通道全球[VPS测评]
- CIO和其他IT领导者充分利用边缘计算增强业务的4个关键全球[VPS测评]
- 绮风云：香港云服务器仅11元/月,132元/年;美国/日本/韩国/新加坡日本VPS[主机]
- 热网互联：香港/日本云服务器2核4G低至104元/月_青岛/日本独立服务独立服务器[U]
- UCloud云服务器2020年度大促：北京/上海云服务器/香港免备案云服香港VPS[主机]
转载请注明原文地址:http://140.238.13.167:12355/read-222308.html