JAVA高级面试进阶训练营视频教程	Java架构师系统进阶VIP课程	分布式高可用全栈开发微服务教程	Go语言视频零基础入门到精通	Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程	SpringBoot2.X入门到高级使用教程	大数据培训第六期全套视频教程	深度学习（CNN RNN GAN）算法原理	Java亿级流量电商系统视频教程
互联网架构师视频教程	年薪50万Spark2.0从入门到精通	年薪50万！人工智能学习路线教程	年薪50万大数据入门到精通学习路线	年薪50万机器学习入门到精通教程
仿小米商城类app和小程序视频教程	深度学习数据分析基础到实战	最新黑马javaEE2.1就业课程	从 0到JVM实战高手教程	MySQL入门到精通教程

查看: 1302|回复: 0

解决Jsoup网页抓取过程中需要cookie的问题

[复制链接]

admin

TA的每日心情

	奋斗 2024-11-24 15:47

签到天数: 804 天

[LV.10]以坛为家III

2053 主题	2111 帖子	72万积分

管理员

Rank: 9 Rank: 9 Rank: 9

积分: 726782

发消息

发表于 2021-4-18 15:42:28 | 显示全部楼层 |阅读模式

本站已经为数万IT学习者服务超过8年！成为本站VIP会员，免金币下载本站10000G+VIP会员资料！所有VIP资料>>

最近在做城觅网的信息抓取，发现城觅网上海与北京的url是一样的。那怎样才确定信息的来源呢？折腾了半天，才发现城觅网是使用cookie的，如果你把网站的cookie禁用了，就无法在上海与北京之间切换了。

于是便想到了请求时将cookie带上。方法如下：

第一步，拿到上海或者北京的cookie

Map<String, String> cookies = null;
Response res = Jsoup.connect("http://www.chengmi.com/shanghai").timeout(30000).execute();
cookies = res.cookies();

第二步，抓取网页信息时将cookie信息带上

Document doc = null;
doc = Jsoup.connect(url).cookies(cookies).timeout(30000).get();

这样就解决了抓取网页需要cookie的问题

哎...今天够累的，签到来了1...

使用道具举报

返回列表

		自动登录	找回密码
密码			立即注册

JAVA高级面试进阶训练营视频教程

Java架构师系统进阶VIP课程

解决Jsoup网页抓取过程中需要cookie的问题