什么是蜘蛛黑洞及如何避免
 |
 |
 |
 |
| 【性价之王】 | 【线路之王】 | 【价格之王】 | 【配置之王】 |
| 【免费之王】 | 【香港首推】 | 【梯子之王】 | 【独服之王】 |
蜘蛛黑洞其实就是蜘蛛陷阱中最常见的一种，可能是由于网站程序细节上的处理不到位而形成，也有可能是黑帽 SEO 手段的故意为止，总之这就是对搜索引擎非常不友好，并且不利于网站的长期运营和 SEO 优化。
内容 1 1.什么是蜘蛛黑洞？ 2 2.如何避免蜘蛛黑洞？ 2.1 相关文章1.什么是蜘蛛黑洞？
百度官方早在几年前就对蜘蛛黑洞做过解释：对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态 URL ，就像一个无限循环的“黑洞”将 spider 困住，Baiduspider 浪费了大量资源抓取的却是无效网页。
某公司就曾花钱找网络公司给做过所谓的“全网营销网站”，通过搜索引擎的 sitie 查看 Google 的收录可以达到上万的索引数据，而通过百度可以查到仅有 1 条首页结果，其中大量的重复页面均是由于动态 URL 链接造成，只要文章的 ID 一致，其它任意参数都会是一个一模一样的页面。
再比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000 之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取，只能是占用网站宝贵的抓取配额。
2.如何避免蜘蛛黑洞？
由于蜘蛛黑洞大多是由于动态 URL 链接造成，一方面是从网站技术上杜绝这样的情况，保证动态 URL 的唯一性，非规范的 URL 应该返回 404 状态或者跳转。
同样根据百度官方的推荐方式还可以巧用 robots 避免蜘蛛黑洞，robots.txt 的文件用法中有这样一条规则：Disallow: /*?* ，即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式，对 Baiduspider 优先展示高质量页面、屏蔽了低质量页面，为 Baiduspider 提供了更友好的网站结构，避免了黑洞的形成。
在网站的 robots.txt 文件中添加一行 Disallow: /*?*规则，主流的搜索引擎都是能够支持和遵守的，能够更有利于网站的优化与内容的运营。
[SEO]历史优惠活动内容
猜你可能想看的VPS
- VmShell：香港CMI线路300MBps,KVM架构vps,年付免费 香港VPS[主机]
- SEO和网页加载速度有关系吗？如何提升？ 全球[VPS测评]
- 什么是linux面板?常见的Linux控制面板有哪些? 全球[VPS测评]
- 快速云：怎么连接vps？VPS的用途有哪些？ 全球[VPS测评]
- Bloggar-移动端友好的新闻博客类HTML5模板 全球[VPS测评]
- 中国跨境电商，如何掘金欧洲市场？ 全球[VPS测评]
- Mysql连接数过高,如何检查？ 全球[VPS测评]
- 宝塔面板怎么放行端口?宝塔面板放行端口的方法 全球[VPS测评]
- CubeCloud,靠谱的香港cn2vps,美国cn2终身九折,原生IP 美国VPS[主机]
- SugarHosts,美国云服务器,洛杉矶cn2中美极速专线,香港建站服 美国VPS[主机]
- 六一云：国内BGP高防vps套餐,1核/1G/2Mbps/香港CN2,月 香港VPS[主机]
- 辰迅云怎么样?国内香港云服务器全场5折,物理服务器限时特价 香港VPS[主机]
- 纳米云怎么样?纳米云香港vps,4核1G主机价格80元/月 香港VPS[主机]
- 亿速云服务器双12活动：香港云服务器29元/月起,100GCDN流量只需 香港VPS[主机]
- 硅云：香港免备案云服务器仅232元/年;香港2核2G2M仅482元/年 香港VPS[主机]
- 柚子互联：美国洛杉矶CN2 vps,防御100G/带宽10M,28元/月 美国VPS[主机]
- 特网云：香港云服务器新上线,香港新界机房;1核/1G/5M宽带/50G硬 香港VPS[主机]
- 腾讯云香港轻量云2核2G服务器：30M带宽低至704元/年;2312元/ 香港VPS[主机]
- 欧路云：香港vps上新8折优惠 – 加拿大/新加坡/法国vps 6折优惠 香港VPS[主机]
- 硅云怎么样?硅云服务器好用吗?硅云香港vps多少钱一年? 香港VPS[主机]
- 青云互联：香港安畅弹性云八折,15元/月起;可自定义配置,可选windo WINDOWS
- VoLLcloud：香港大带宽云服务器/300Mbps/不限速度,$5/ 香港VPS[主机]
- 香港云服务器推荐：香港免备案云服务器推荐哪家好? 香港VPS[主机]
- VoLLCloud：亚太地区香港200M/VPS月付低至3$,年付全场5 香港VPS[主机]
- jquery css3实现的进度条动画特效，带加载进度条百分比动态效果。 全球[VPS测评]
- 世界杯季疫情突发，跨境电商订单排队，义乌商人面临难题 全球[VPS测评]
- 数字化东风已来，亚马逊云科技跨境电商合作企业招募大会即将开启 全球[VPS测评]
- UOVZ怎么样？香港30M大带宽VPS 直连线路月付50元 香港VPS[主机]
- 六六云：美国cera机房CN2 GIA高防/香港CN2 GIA建站/CM 美国VPS[主机]
- 二三互联,香港cn2云服务器5折+85折双重优惠,稳定不限流量,1核1G 香港VPS[主机]
转载请注明原文地址: http://140.238.13.167:12355/read-224417.html