加拿大华人论坛 美国华人新闻搜索引擎爬虫程序一览表大全
在加拿大
高强度爬虫程序Baiduspider+(+http://www.baidu.com/search/spider.htm)百度爬虫高强度爬虫，有时会从多个IP地址启动多个爬虫程序！由于算法问题，百度爬虫对相同页面会多次发出请求（尤其是首页），令人烦恼。推广效果好。Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)雅虎爬虫，分别是雅虎中国和美国总部的爬虫高强度爬虫，有时会从多个IP地址启动多个爬虫程序！比较规范的爬虫，看参考其网址，设定爬虫访问间隔。（但需要考虑同时出现多个yahoo爬虫）推广效果尚可。iaskspider/2.0(+http://iask.com/help/help_index.html)Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)新浪爱问爬虫算法差，大量扫描无实际意义的页面，对动态链接网站负担很大推广效果差。sogou spider搜狗爬虫算法差，大量扫描无实际意义的页面，对动态链接网站负担很大推广效果差。中等强度爬虫程序Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Google爬虫算法优秀，多为访问有实际内容的页面推广效果好。Mediapartners-Google/2.1google点击广告爬虫特点未知OutfoxBot/0.5 (for internet experiments; http://; [email protected] [email protected]@gmail.com )网易爬虫其搜索算法需要改进推广效果差。ia_archiverAlexa排名爬虫作用未知其他搜索引擎的爬虫msnbot/1.0 (+http://search.msn.com/msnbot.htm)MSN爬虫特点未知msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)（欢迎补充资料）特点未知Mozilla/4.0(compatible; MSIE 5.0; Windows 98; DigExt)Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt; DTS AgentMozilla/4.0 (compatible; MSIE 5.00; Windows 98; DigExt)（欢迎补充资料）Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; QihooBot 1.0)名字上看来是Qihoo的特点未知GigabotGigabot/2.0 (http://www.gigablast.com/spider.html)Gigabot搜索引擎爬虫。已被google收购？（欢迎补充资料）eApolloBot/1.0 (eApollo search engine robot; http://www.eapollo.com; eapollo at global-opto dot com)lanshanbot/1.0据说是中搜爬虫。（欢迎补充资料）iearthworm/1.0, [email protected] [email protected]@yahoo.com.cnTMCrawlerWebNews http.plRSS扫描器\rss.asp Mozilla/6.0 (MSIE 6.0; Windows NT 5.1;Foxmail/MILOWU)这是用foxmail6.0订阅了你的rss\rss.asp Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)google的rss搜索扫描器\rss.asp feedsky_spider http://www.feedsky.com一款rss扫描器，有兴趣者进入此网站添加您的rss
·中文新闻 2024 年 HSC 成绩：北悉尼男子高中连续排名第一
·中文新闻 2024 年 HSC 成绩：新南威尔士州顶尖学校排名
