开发者社区> 问答> 正文

使用nodejs抓取时,出现转码问题

ewsList和newsDetail单独拿出来调试没有问题。但如下放在一起时,提示

body is not defined
经多次调试,错误节点应该是出现在readNewsDetail()中

// 转换 gbk 编码的网页内容
        body2 = iconv.decode(body, 'gbk');

        // 根据网页内容创建DOM操作对象
        var $ = cheerio.load(body2);

这两句。因为直接 var $ = cheerio.load(res.body.toString()); 的话,不会报错。但这样一来,输出的就是乱码了,所以必须转码。但一按照我的写法转码,就会报错……
请教各位,这个问题应该怎么解决呢?

源码:

var request = require('request');
var cheerio = require('cheerio');
var iconv = require('iconv-lite');
var async = require('async');
var debug = require('debug')('sina1:update');

/**
 * 获取新闻列表
 */
function readNewsList(url, callback) {
    debug('读取新闻列表:%s', url);

    request(url, function(err, res) {
        if (err) return callback(err);

        // 根据网页内容创建DOM操作对象
        var $ = cheerio.load(res.body.toString());

        // 读取新闻列表
        var newsList = [];
        $('.news-item').each(function() {
            var $me = $(this);
            var $title = $me.find('h2 a');
            var $time = $me.find('.time');
            var $url = $me.find('h2 a');

            var item = {
                title: $title.text().trim(),
                url: $url.attr('href'),
                time: $time.text().trim()
            };

            newsList.push(item);
        });

        // 返回结果
        callback(null, newsList);
    });
}


/**
 * 获取新闻页面内容
 */
function readNewsDetail(url, callback) {
    debug('读取新闻内容:%s', url);

    request(url, function(err, res) {
        if (err) return callback(err);

        // 转换 gbk 编码的网页内容
        body2 = iconv.decode(body, 'gbk');

        // 根据网页内容创建DOM操作对象
        var $ = cheerio.load(body2);

        // 获取正文内容

        var newsDetail = [];
        $('.article').each(function() {
            var $me = $(this);
            var $img = $me.find('.img_wrapper img');

            var item = {
                content: $me.html().trim(),
                img: $img.attr('src')
            };

            newsDetail.push(item);

        });
        // 返回结果
        callback(null, newsDetail);
    });
}

// 读取列表下的所有新闻
readNewsList('http://news.sina.com.cn/china/', function(err, newsList) {
    if (err) return console.error(err.stack);

    // 依次取出 newsList 数组的每个元素,调用第二个参数中传入的函数
    // 函数的第一个参数即是 newsList 数组的其中一个元素
    // 函数的第二个参数是回调函数
    async.eachSeries(newsList, function(news, next) {

        // 读取新闻正文
        readNewsDetail(news.url, function(err, detail) {
            console.log(detail);
//          if (err) console.error(err.stack);
//
//          // 直接显示
//          console.log(detail);
//
//
//          // 需要调用 next() 来返回
//          next();
        });

    }, function(err) {
        // 当遍历完 newsList 后,执行此回调函数

        if (err) return console.error(err.stack);

        console.log('完成');
    });

});

展开
收起
小旋风柴进 2016-03-26 08:18:57 2202 0
1 条回答
写回答
取消 提交回答
  •  request(url, function(err, res) {
            if (err) return callback(err);
    
            // 转换 gbk 编码的网页内容
            body2 = iconv.decode(body, 'gbk');
    
            // 根据网页内容创建DOM操作对象
            var $ = cheerio.load(body2);
    
            // 获取正文内容
    
            var newsDetail = [];
            $('.article').each(function() {
                var $me = $(this);
                var $img = $me.find('.img_wrapper img');
    
                var item = {
                    content: $me.html().trim(),
                    img: $img.attr('src')
                };
    
                newsDetail.push(item);
    
            });
            // 返回结果
            callback(null, newsDetail);
        });

    应该是var body2 = iconv.decode(res.body, 'gbk');

    2019-07-17 19:15:03
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
基于浏览器的实时构建探索之路 立即下载
基于浏览器的实时构建探索之路--玄寂 立即下载
荷鲁斯移动端第三方库安全检测引擎介绍 立即下载