转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/23866427
今天又遇到一个网页数据抓取的任务,给大家分享下。
说道网页信息抓取,相信Jsoup基本是首选的工具,完全的类JQuery操作,让人感觉很舒服。但是,今天我们就要说一说Jsoup的不足。
1、首先我们新建一个页面
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<title>main.html</title>
<meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
<meta http-equiv="description" content="this is my page">
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<style type="text/css">
a {
line-height: 30px;
margin: 20px;
}
</style>
<!--<link rel="stylesheet" type="text/css" href="./styles.css">-->
<script type="text/javascript">
var datas = [ {
href : "http://news.qq.com/a/20140416/017800.htm",
title : "高校一保安长相酷似作家莫言"
}, {
href : "http://news.qq.com/a/20140416/015167.htm",
title : "男子单臂托举悬空女半小时"
}, {
href : "http://news.qq.com/a/20140416/013808.htm",
title : "女子上门讨房租遭拍裸照"
}, {
href : "http://news.qq.com/a/20140416/016805.htm",
title : "澳洲骆驼爱喝冰镇啤酒解暑"
} ];
window.onload = function() {
var infos = document.getElementById("infos");
for( var i = 0 ; i < datas.length ; i++)
{
var a = document.createElement("a");
a.href = datas[i].href ;
a.innerText = datas[i].title;
infos.appendChild(a);
infos.appendChild(document.createElement("br"))
}
}
</script>
</head>
<body>
Hello Main HttpUnit!
<br>
<div id="infos"
style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">
</div>
</body>
</html>
页面上观察是这样显示的:
我们审查元素:
如果你看到这样的页面,你会觉得拿Jsoup来抓取,简直就是呵呵,小菜一叠,于是我们写了这样的代码:
@Test
public void testUserJsoup() {
try {
Document doc = Jsoup.connect(
"http://localhost:8080/strurts2fileupload/main.html")
.timeout(5000).get();
Elements links = doc.body().getElementsByTag("a");
for (Element link : links) {
System.out.println(link.text() + " " + link.attr("href"));
}
} catch (IOException e) {
e.printStackTrace();
}
}
你会觉得就这几行代码,轻轻松松搞定,快快乐乐下班。于是运行发现,其实什么的抓取不到。
于是我们再回到页面,打开页面源代码,也就是上面的HTML代码,你恍然大悟,我靠,body里面根本没有数据,难怪抓不到。这就是Jsoup的不足,如果Jsoup去抓取的页面的数据,全都是页面加载完成后,ajax获取形成的,是抓取不到的。
下面给大家推荐另一个开源项目:HttpUnit,看名字是用于测试的,但是用来抓取数据也不错
我们开始编写类似Jsoup的代码:
@Test
public void testUserHttpUnit() throws FailingHttpStatusCodeException,
MalformedURLException, IOException {
/** HtmlUnit请求web页面 */
WebClient wc = new WebClient(BrowserVersion.CHROME);
wc.getOptions().setUseInsecureSSL(true);
wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器,默认为true
wc.getOptions().setCssEnabled(false); // 禁用css支持
wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时,是否抛出异常
wc.getOptions().setTimeout(100000); // 设置连接超时时间 ,这里是10S。如果为0,则无限期等待
wc.getOptions().setDoNotTrackEnabled(false);
HtmlPage page = wc
.getPage("http://localhost:8080/strurts2fileupload/main.html");
DomNodeList<DomElement> links = page.getElementsByTagName("a");
for (DomElement link : links) {
System.out
.println(link.asText() + " " + link.getAttribute("href"));
}
}
再看一下运行结果:
完美解决,HttpUnit其实就相当于一个没有UI的浏览器,它可以让页面上的js执行完成后,再抓取信息,具体的介绍,google一下就行。主要给大家介绍一种方案!
如果你觉得这篇文章对你有用,就顶一个~
分享到:
相关推荐
java网页抓取所需的Jsoup三个包 jsoup-1.8.1.jar
此抓取是抓取新浪高尔夫频道的新闻,采用的是jsoup 选择器抓取,比起httpparse 更好,更高效的抓取。
很实用的jsoup抓取网页教程,通过查看此文档,您可以解决你在抓取网页过程中出现的问题
Http,Jsoup-网页数据抓取,demo里介绍了对于广石化教务系统课程和成绩信息的抓取以及对茂名公交信息的抓取
Android Jsoup 爬虫协议抓取网页信息
使用java+jsoup进行网页数据的抓取,提取自己想要的数据
使用jsoup抓取网页列表信息,并入库,使用了PreparedStatement防止sql注入小demo。
这是一个使用jsoup抓取网页内容的例子,适合从事手机开发的初学者学习
针对 httpclient4.* 绕验证码获取公司信息 包括 jsoup网页信息的爬虫及htmlUnit对动态网站信息的抓取
使用Jsoup抓取网页关键信息并入库 ip天气查询并发送邮件
jsoup1.8.1抓取爬虫工具jsoup1.8.1抓取爬虫工具jsoup1.8.1抓取爬虫工具
利用httpClient+jsoup技术进行网页数据的获取,以网易贵金属为例~
jsoup分页爬取网页,jsoup分页爬取网页jsoup分页爬取网页内置jsoup所需要的jar包
java抓取网页模块JSoup,Jsoup-jar包.
抓取网页上想要的内容~最后转化成json格式
httpClient+jsoup抓取网页数据实例和jar包
通过使用jsoup库,获取网页的内容,解析修改网页,并且能够显示出修改的结果。
实现浏览新浪新闻jsoup抓取网页信息 listview列表 下拉刷新.rar,太多无法一一验证是否可用,程序如果跑不起来需要自调,部分代码功能进行参考学习。
java课程设计之jsoup实战之爬取网站的信息,附带依赖包
【BigData】Jsoup+FusionCharts实现根据网页url解析网页数据,并用图表显示 jsoup-1.10.3.jar log4j-1.2.17.jar struts2-json-plugin-2.3.15.3.jar xwork-core-2.2.3.jar