最近访客
详情
评论
问答
赞助

新手站长在网站建设的时候,因为一些操作,导致正常的网站无法被搜索引擎爬虫访问,进而使搜索引擎认为该页面是死链接。除了页面无法打开,一下的几个点都可以导致网站死链的产生。

以下小编就给出一些死链的产生情况,本次文章素材来自百度公开课搜索引擎课程,具备相对的权威性。其他搜索引擎同样可以参考该篇文章来进行设置。

减少死链的产生,是从事SEO工作工作者必修课。

HTTP/HTTPS设置不当引起死链

网站建设时,这些情况可能会导致死链的产生-狐狸库

问题场景:

1.HTTP可访问,HTTPS不可访问

2.HTTP不可访问,HTTPS可访问

建议:

整站行为一致,保证所有的URL正常访问,另外百度方面不建议HTTP与HTTPS共生。

封禁引起死链

网站建设时,这些情况可能会导致死链的产生-狐狸库

问题场景:

1.用户可以正常访问,爬虫不能。(爬虫抓取的是错误的页面)

一些网站因为特殊性,导致用户可以正常访问,但是当爬虫访问时,却返回一个错误的页面。

2.PC端可访问,搜索引擎APP不能访问

搜索引擎爬虫可以访问PC端页面,但是不能访问APP。百度官方的公开课说到这个APP访问,暗指是支持APP内访问的一个分析,来作为一个综合评估参考。所以,不屏蔽百度APP对网站的访问。

3.DNS封禁

有些特定的DNS服务商会封禁搜索引擎爬虫来抓取域名的内容。这种在少数,毕竟目前主流域名厂商,已经主流的DNS厂商都没有做DNS封禁。

4.服务器站点策略封禁

有些服务器自带的安全策略会屏蔽百度蜘蛛的抓取,这种情况会产生死链(网页URL链接,但是无内容)。当这种情况在整个网站出现,会导致搜索引擎判断网站为一个劣质网站。会被降权。

建议:

合理的使用站长资源工具,来诊断站点是否能正常抓取

识别百度爬虫(双向DNS解析认证)解除封禁

对spider不公开内容设置robots协议封禁/设置死链,导致返回404

不建议使用额外的技术手段封禁百度爬虫。

对百度APP可以访问

DNS变更引起死链

网站建设时,这些情况可能会导致死链的产生-狐狸库

问题场景:

站点更新DNS解析,将域名的IP变更,IP1变为IP2,中间有时间差。

当站点的更换域名解析的IP后,因为有些DNS并不能做到立即响应解析(一般为24小时)。我们拿24小时为例,中间有曾时间差,导致搜索引擎蜘蛛无法抓取,会评定为死链。

这个时候可以预留4-5天的缓存期,让爬虫来更新这个DNS

建议:

更换DNS后,使用站长资源平台工具来抓取测试,查看网站是否能正常抓取。

不建议频繁更换DNS的IP,如必须变更请,给爬虫抓取预留缓冲时间。

温馨提示:本文最后更新于2022/10/20 01:10:03。若文章内容或图片失效,请留言联系站长反馈!
!
也想出现在这里? 联系我们
创意广告
© 版权声明
THE END
点赞0赞赏 分享

您可以通过搜索或浏览分类列表来找到您期望下载的资源。随后点击资源介绍页右侧的下载链接按钮,依据提示信息进行操作即可。

大部分资源可积分免费下载,为了维持网站的运行小部分资源须付费才能下载。

本站提供的下载资源均为网络搜集,仅供个人学习和交流使用。对于版权问题,请用户自行判断并承担相应责任。

随着时间的推移,维持网站的运行需要支出高昂的服务器和带宽费用。为了能继续坚持免费做下去,如果觉得文章对您有用,希望您能动动发财的小手免费赞助狐狸,给狐狸加油打气!激励狐狸库继续创作下去!谢谢!

在互联网的浩瀚海洋中,我们的网站就像一座明亮的灯塔,为无数用户照亮前行的道路。它承载着知识的传递、梦想的交流,以及大家共同的回忆与期待。然而,运营和维护这样一个网站需要投入大量的心血与资金。

现在,您只需通过支付宝扫码领红包,就能轻松成为我们的赞助人。这不仅是一次简单的支持,更是您与网站共同成长的见证。操作简单,打开支付宝,扫描专属二维码,您的每一份心意都将化作网站发展的动力。

您的赞助,能让网站不断升级,提供更优质的服务,给大家带来更好的体验。让我们携手共进,让这座灯塔绽放更耀眼的光芒,照亮更多人的网络世界 。

下面是免费赞助的方法和流程

  1. 下面图一是本站的支付宝每日领红包二维码,使用支付宝扫描二维码后会自动显示红包金额,有任意小额金额红包。
  2. 点击“去使用”,再扫描第三张图的二维码进行付款即可。
  3. 上面扫到多少红包就输入多少金额,红包会自动抵扣金额,所以不需要额外费用。
  4. 如需赞助自定义金额请到【赞助狐狸】页面进行赞助。
  5. 这个扫码红包是每天都可以领的哦,支持同账号重复,每天花一分钟时间即可免费支持本站!
扫码红包 红包图 扫码支付
评论 抢沙发

请登录后发表评论

    请登录后查看评论内容