www.alexa.com也是搜索引擎?

Alexa是一家专门发布网站世界排名的网站。这是一个专门查看网站流量排名的网站,从网站的日志来看,这个好像也是一个搜索引擎,因为它也在爬行网站的具体内容,难道它也在搜索引擎?

从日志信息看到了下面一些代码:

2010-04-21 00:00:08 W3SVC**** ******** GET /jiazhuang/index.html - 80 - 204.236.235.245 ia_archiver+(+http://www.alexa.com/site/help/webmasters;+crawler@alexa.com) 200 0 0

从上面的情况可以看出,它爬行的样子,非常像一个搜索引擎。

在网上了解了一下这个公司,原来它的起身就是一家搜索引擎公司。

Alexa每天在网上搜集超过1,000GB的信息,不仅给出多达几十亿的网址链接,而且为其中的每一个网站进行了排名。

不过到了最后,这个公司已经放弃了搜索引擎这个业务。

2002年5月Alexa全新改版,放弃了搜索引擎转而与Google合作,变身为一家专门发布网站世界排名的网站。

以前从来没有见过这个公司的蜘蛛,难道以后又想转到搜索引擎领域?

第一次见到这个公司的蜘蛛爬行网站。

这个属于正常的蜘蛛,不过国外的搜索引擎爬行,对本站也没有什么效果。


人生百态 footer