搜索引擎对网站页面进行收录,实际上就是在互联网上采集数据,这是搜索引擎最基础的工作,而搜索引擎的页面内容都来自后台数据库庞大的URL列表,并且搜索引擎在不断的收录、储存及维护,而了解搜索引擎收录流程、收录原理及收录方式,能有效的提高搜索引擎对网站页面收录的数量。
在互联网中,URL是网站每个页面的入口地址,引擎蜘蛛是通过这些URL列表抓取到页面的,引擎蜘蛛不断的从这些页面中获取URL资源并存储页面,再加入到URL列表,如此不断的循环,搜索引擎就可以从互联网中获取到足够的页面内容。
URL是页面的入口,域名则是网站的入口,搜索引擎就是通过域名进入网站,去挖掘URL资源的,换而言之搜索引擎在互联网中抓取页面的首要任务,就是要有庞大的域名列表,再不断的通过域名,进入网站抓取网站中的页面内容。
而对于一个个网站而言,想搜索引擎收录页面内容,首要条件就是加入搜索引擎的域名列表。
我们可以去搜索引擎登录入口提交我们的域名,不过用此方法搜索引擎只会定期进行抓取并更新,这种做法比较被动,从提交域名到网站被收录花费的时间会比较长。
也可以通过与有质量的外链,使搜索引擎在抓取别人的网站页面时发现我们的网站,从而实现对网站的收录,且收录速度比上一种方法要快,根据外部链接的数量、质量相关性,一般2-7天就会被搜索引擎收录。
如果把一个网站组成的页面看做是一个有向图,从指定的页面出发,沿着页面中的链接,按照某种特定的策略对网站中的页面进行遍历。
搜索引擎不停地从URL列表中移出已经访问的URL,并存储原始页面,同时提取原始页面中的URL的信息,再将URL分为域名及内部URL两大类,同时判断URL是否被访问过, 将未访问过的URL加入URL列表中。
经过这些工作,搜索引擎就可以建立庞大的域名列表、页面URL列表并储存足够多的原始页面。
指搜索引擎抓取页面时所使用的策略,目的是为了能在互联网中筛选出相对重要的信息,页面收录的方式的制定,取决于搜索引擎对网络结构的理解。如果使用相同的抓取策略,搜索引擎在同样的时间内可以在某一网站中抓取到更多的页面资源,就会在该网站停留更长的时间,收录的页面数自然也就更多。 因此,加深对搜索引擎页面收录方式的认识,有利于为网站建立友好的结构,提高页面被收录的数量。
假如把整个网站看做是树,首页看做是根径,每个页面看做是叶子。广度优先是一种横向的页面抓取方式,先从较浅层开始抓取页面,直接抓完同层次的所有页面后才进入下一层。
因此,在对网站页面进行优化时,应该把网站相对重要的信息展示在层次比较浅的页面上。反过来,通过广度优先的抓取方式,搜索引擎就可以首先抓取到网站中相对重要的页面。
与广度优先的抓取方式相反,深度优先首先跟踪浅层页面中的某一链接后逐步抓取深层页面,直至抓完最深层的页面才返回浅层页面再跟踪其另一链接,继续向深层页面抓取,这是一种纵向的页面抓取方式。使用深度优先的抓取方式,搜索引擎可以抓取到网站中较为隐蔽、冷门的页面,这样就能满足更多用户的需求。
看完这些,你应该了解搜索引擎的收录流程、收录原理及收录方式了吧。