JAVA高级面试进阶训练营视频教程

admin

最近用nodejs做了个针对某网站的小爬虫。干坏事得低调对吧，不能同时开太多的网络访问，结果各种回调/循环虐的心力交瘁。

经过了n次的百度\哥哥后终于拼出了自己要的功能。不敢独享分享出来以供大家参考。

废话不多说直接上代码

  var async = require("async");
  var citysUrl=[];
  var urlsArray=[];

 async.eachSeries(citysUrl, function (city, nextcity) {//城市循环
        channels.forEach(function (channel) {//组合url
            var options = GetOptions(channel);
            options.forEach(function (option) {
                var pageurl = GetUrl(city, channel, option);
                urlsArray.push(pageurl);
            });
        });
        console.log("开始抓取" + GetcityName(city) + "的产品信息");
        async.eachSeries(urlsArray, function (url, next) {
            async.waterfall([function(cb){
　　　　　　　　　　Grab(url,cb);//Grab为异步抓取url操作function(url,cb){此处省略一万字//异步完成时调用cb(null,html);}
            },
            function(data,cb){
　　　　　　　　　　console.log('分析html');
　　　　　　　　　　cb(null,2)
            }],function(err,data){
                console.log('一次循环结束');
　　　　　　　　　　next();
            });
        }, function (err,data) {
            console.log(GetcityName(city) + "产品抓取完成");
            urlsArray = [];
            nextcity();
        });
    }, function () {
        console.log('所有城市产品抓取完成');
        process.exit();
    });