爬虫复活

2009-09-12 20:14:51 +0800

自从上次网站被墙之后,不得已每个月多花2.5美刀买了个独立IP,网站是可以访问了,但是网站上的爬虫却无法爬取中国网站的网页。郁闷~~~

于是在google app engine上面申请了个app,做代理。发现想直接用Servlet来做代理服务器好像不太可行,只能退而求其次,通过分析QUERY_STRING来转发目标网页的内容。网站上的爬虫终于复活啦,不错。

GAE上面可以申请10个免费应用,还是值得多尝试尝试的。

Add a Comment

D72740957c72aee2bfdad67dcddbeece95cb3601