短小精悍的Jsoup组件让Java解析HTML更加人性化，通俗易懂的Css选择风格的结点筛选，原生的DOM操作，让jQuery用户倍感亲切。
Jsoup:http://jsoup.org/
选择Jsoup绝对是一个正确的明智的选择，一个小小的Jar包，几十个类解决了Java解析HTML，生成HTML，各种转换，修改，结点，属性筛选，过滤，抓取等功能，更让Web开发者舒服的是Safe，简洁的几行代码解决了XSS问题。
通过下面几个例子感受Jsoup的简洁，强大之处。
1.获取指定URL的base路径
|
1
2
3
4
5
6
7
8
9
10
11
|
/**
* 获取网页的Base地址
*
* @throws IOException
*/
@Ignore
@Test
public
void
test1()
throws
IOException {
Document doc = Jsoup.connect(
"http://www.fx368.com/index/"
).get();
System.out.println(doc.baseUri());
}
|
注：结果输出：http://www.fx368.com/index/
通过指定URL获取链接，通过链式操作得到HTML文档，然后就是Jsoup为我们提供的一系列方法来进行DOM的节点操作。
2.获取指定URL网页上img标签的src值
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
/**
* 抓取网页上的img标签的src
*
* @throws IOException
*/
@Ignore
@Test
public
void
test2()
throws
IOException {
Document doc = Jsoup.connect(
"http://www.fx368.com/index/"
).get();
Elements ele = doc.getElementsByTag(
"img"
);
for
(Element e : ele) {
System.out.println(e.attr(
"src"
));
}
}
|
注：Element.attr("src")获取的结果是DOM中实际的值比如："/img/header.png"
Element.absUrl("src")获取的结果是src的正真的值比如："http://www.fx368.com/img/header.png".
2.通过Css选择器方式筛选节点
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
/**
* 抓取51cto博客博文列表
*
* @throws IOException
*/
@Ignore
@Test
public
void
test3()
throws
IOException {
Document doc = Jsoup.connect(
"http://aiilive.blog.51cto.com/all/1925756"
).get();
Elements elements = doc.select(
"div.modCon"
).select(
"ul"
).select(
"li"
)
.select(
"span.artList_tit"
).select(
"a"
);
ListIterator<Element> iter = elements.listIterator();
System.out.println(doc.baseUri());
while
(iter.hasNext()) {
System.out.println(iter.next().absUrl(
"href"
));
}
}
|
看到上面的doc.xxx后跟的一系列select方法，其中有按标签，标签+样式筛选来获取需要的结点元素，然后获取元素的属性。
这里的select("xxx")方法的参数是一个字符串，字符串的规则和jQuery操作DOM的选择器规则一致。
上面代码实现了指定用户的博文地址列表链接信息，关于如何书写选择器的条件需要分析实际情况下的DOM结构。
4.获取指定的一篇博文
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
/**
* 获取一篇博文的正文内容
*
* @throws IOException
*/
@Ignore
@Test
public
void
test6()
throws
IOException {
Document doc = Jsoup.parse(
new
URL(
"http://aiilive.blog.51cto.com/1925756/1024304"
),
10000
);
Elements head = doc.select(
"div.showHead"
);
String title = head.select(
"div.showTitle"
).text();
System.out.println(title);
Elements tag = doc.select(
"div.showTags"
);
Elements copyright = doc.select(
"div.CopyrightStatement lh22"
);
Elements content = doc.select(
"div.showContent"
);
StringBuilder sb =
new
StringBuilder();
sb.append(head.html());
sb.append(tag.html());
sb.append(copyright.html());
sb.append(content.html());
Document blog = Jsoup.parseBodyFragment(sb.toString());
System.out.println(blog.html());
}
|
注:使用Element.html()和Element.text()是不同的，前者是获取整个元素，后者是获取元素的内容。
例如：
<a href="xx">http://aiilive.blog.51cto.com</a>
doc.select("a").html()结果是:<a href="xx">http://aiilive.blog.51cto.com</a>
doc.select("a").text()结果是：http://aiilive.blog.51cto.com
jsoup提供了比较完备的解析HTML方法，本身源代码也很少，可以很快熟悉并掌握，使用Jsoup抓取网页中的一部分生成新的HTML文档，修改文档的元素信息，追加，过滤HTML标签，类似jQuery对DOM操作的功能。
Jsoup为解决一些HTML过滤等问题提供了很便利且可以自定义的功能。
就写这么多了，做例子为了熟悉用法，要想熟练多用，多尝试，多发现，越新鲜，发挥的功效越强大。
本文转自 secondriver 51CTO博客，原文链接：http://blog.51cto.com/aiilive/1352045，如需转载请自行联系原作者
