Node.js抓取中文网页乱码问题和解决方法

Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码

var request = require('request')  

var url = 'http://www.163.com'

request(url, function (err, res, body) {  

    console.log(body)

})

可以使用 iconv-lite 来解决

安装

npm install iconv-lite

同时我们顺带把 user-agent 修改一下，以防网站屏蔽：

var originRequest = require('request')  

var iconv = require('iconv-lite')  

var headers = {  

  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'

}

function request (url, callback) {  

  var options = {

    url: url,

    encoding: null,

    headers: headers

  }

  originRequest(options, callback)

}
request(url, function (err, res, body) {  

    var html = iconv.decode(body, 'gb2312')

    console.log(html)

})

乱码问题解决

使用 cheerio 解析 HTML

cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器，有了它，比正则要更加直观许多

安装

npm install cheerio  

request(url, function (err, res, body) {  

    var html = iconv.decode(body, 'gb2312')

    var $ = cheerio.load(html)

    console.log($('h1').text())

    console.log($('h1').html())

})

输出如下

网易

网易

那么问题来了，$('h1').html() 输出的代码是经过 Unicode 编码的，网易变成了网易，给我们的字符处理带来了一些麻烦

解决 cheerio .html() 「乱码」问题
查阅文档可知，可以关闭这个转换实体编码的功能

var $ = cheerio.load(html)

改成

var $ = cheerio.load(html, {decodeEntities: false})

即可，完整代码如下：

var originRequest = require('request')  

var cheerio = require('cheerio')  

var iconv = require('iconv-lite')  

var headers = {  

  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'

}

function request (url, callback) {  

  var options = {

    url: url,

    encoding: null,

    headers: headers

  }

  originRequest(options, callback)

}
var url = 'http://www.163.com'
request(url, function (err, res, body) {  

    var html = iconv.decode(body, 'gb2312')

    var $ = cheerio.load(html, {decodeEntities: false})

    console.log($('h1').text())

    console.log($('h1').html())

})

node.js集成百度UE编辑器
摘要：最近在搭建自己的博客，这一段时间可能没有时间来写博客了，但是有了好东西还是要分享给大家。博客网站必然要有编辑文章的编辑器，所以

NodeJs基本语法和类型
写在前面今天想要查下Node的类型什么的知识，想要总结下，在Googol上看到一个文章，但是原始的链接不在了，在快照中把这篇文章拉出来，如果原作者

nodejs事件的监听与触发的理解分析
本文实例分析了nodejs事件的监听与触发。分享给大家供大家参考。具体分析如下：关于nodejs的事件驱动，看了《nodejs深入浅出》还是没看明白（可能写