新站刚开始抓取量少是什么原因?

白天的这个博客站上线应该快2个月了,但是从抓取量一直很少,每天也就是2-3的抓取频次,真是少的可怜。那么是什么原因导致新站的抓取量少呢?

新站抓取量少的原因

首先先来 分析下蜘蛛抓取日志,百度来的蜘蛛IP大致可分为121.14.89.0/24(新站考察IP)、220.181.108.91(综合权重IP)、以及其他一些低权重蜘蛛IP,抓的最多的robots文件、首页以及sitemap文件,内页链接基本没有抓取过。得出的结论是网站正处于考察期,每天都会有蜘蛛来检查网站是否可以访问、记录robots文件禁止抓取的文件路径,以及通过sitemap文件对网站的结构、内容先做大致的了解。

也许有的朋友会问,为什么我的网站一开始蜘蛛抓的最多的是图片和css样式文件等。那是因为一开始我就设置了robots文件禁止抓取的文件,而没有抓取图片可能是做了图片延迟加载的原因。

通过日志分析,可以肯定的是新站确实存在考核期,而且需要等待一定的时间,而至于考核的结果如何恐怕只有百度知道,而我们要做的尽可能去迎合蜘蛛。在文章《网站上线已经一个月了,仍然只收录了一个首页!》白天也有提到。

那么新站刚开始抓取少是什么原因呢?白天给出以下分析:

1、新站刚上线,处于考核期,百度需要先对网站的基本情况做一个大致了解,包括但不限于:服务器问题、网站结构、首页内容、网站是否存在违法内容、文章更新频率、以及验证robots禁止抓取的路径并在一定时间内生效。

2、由于是考核期,百度可能考虑到网站所处的环境,如果一下百度蜘蛛抓取频次过大,可能会影响网站的正常访问,所以这也是网站一开始抓取量少的原因。(这里在百度抓取频次上线调整里也有说到)

3、外部因素:白天博客的域名是新注册的新域名,根本没有外链资源,所以就更不用谈什么信任分了。而对于使用老域名的朋友们,应该很少出现抓取频次低的问题。此外,由于是新域名,刚上线基本没有关键词排名,根本不存在用户点击,所以也就别谈什么用户点击提权了。外链、流量都没有,抓取量少那也是应该的。

综上3个原因,你可以这么想:网站就好像一个人,当百度第一次发现这个人时,百度对他是陌生的。在这样的陌生环境下,陌生人是主动的以提交链接的方式让百度快速了解这个人,当百度注意到这个人时,一开始可能会试探性的靠近并了解这个陌生人(网站内容、数量及质量)。当百度熟悉了这个陌生人之后,感觉接触下来很不错,百度就会开始“畅所欲言”(提升好感度、加大抓取量)。

所以说,新站刚开始抓取量少是很正常的事,只有当百度真正了解了这个新站,提升网站的抓取量是肯定的,前提是网站需要做好自身。

过去的今天:

原创文章,作者:白天,如若转载请注明出处:新站刚开始抓取量少是什么原因?

(5)
打赏 微信扫一扫 微信扫一扫
白天的头像白天博主
上一篇 2019年5月31日 16:17:47
下一篇 2019年6月9日 17:42:36

相关阅读推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

微信内浏白天博客