目录介绍：

• 1、如何用Python爬虫抓取JS动态筛选内容
• 2、请问一下 你知道如何用爬虫爬取到动态的JS写的网站信息吗？
• 3、网络爬虫，动态信息获取问题
• 4、爬虫如何处理js动态

如何用Python爬虫抓取JS动态筛选内容

打开浏览器，以google chrome为例，输入你上面的网址。

然后按F12打开调试窗口，然后尝试勾选左边某一个选项，马上可以看到右边的调试窗口有东西输出。

找到第一个输出的行，点击header，可以看到每一个都是用的post方法。

所以只需要构造相应的header并post上去，就可以得到你想要的数据了。

尝试每一个request都点开看一下

就是你要构造的数据

FormData就是你要构造的数据

把数据构造好然后使用post函数发送给网站

这个得到的是一个网页格式的数据。

而这个发放返回的是json数据，然后编码成dict格式 提取出数据就可以了。

请问一下 你知道如何用爬虫爬取到动态的JS写的网站信息吗？

大部分可以。

一、关键字，自行处理。

二、使用js 虚拟机。

网络爬虫，动态信息获取问题

用的是抓包技术，通过内核搜索引擎把关键字提取，然后用相应程序判断出主页IP地址 dns服务器分析出具体域名 然后解析出来 把数据提取

爬虫如何处理js动态

我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。

1、有些页面元素被隐藏起来了-换selector解决

2、有些数据保存在js/json对象中-截取对应的串，分析解决

3、通过api接口调用-伪造请求获得数据

还有一个终极方法

4、使用phantomjs或者casperjs这种headless浏览器