如何利用python爬取网页源码?

大神有没有人讲详细点的,我想教一下,如何利用python爬取网页源码?
最新回答
风行水上

2024-05-17 02:58:50

“我去图书馆”抢座助手,借助python实现自动抢座。

在使用“我去图书馆”公众号进行抢座的时候,在进行抢座前我们都会进入一个页面,选定要选的座位之后点击抢座。

通过分析网页源码,很容易定位座位元素的代码,座位元素的模板如下所示:

在编写代码的过程中,我对抢座位这个过程进行的多次的抓包观察,发现在座位号前面的那个query字符串是一个看不出什么规律的编码。

解析这个query是在后端进行解析,但既然发get请求你要在页面上发,那这个代码必然在前端是有迹可循的。这个编码的答案就在页面底部的js链接中,通过运行那一段js代码就可以搞定这个编码,从而拼凑起这最后一块拼图。