Python爬虫教程:爬取深圳租房信息

考虑到以后可能会在深圳工作,所以写了这个爬虫,希望对自己的找房过程提供一些便捷。

信息来源是豆瓣的深圳租房小组(想爬取其他城市只需要更换一下URL就好)。

你们一定会说这么麻烦干什么,租房APP不是直接看么?我也是这么想的。。。但是租房APP上中介比较多,豆瓣上多是个人房源,中介少,比较可靠。但豆瓣APP没有筛选功能,只是相当于百度贴吧一样的浏览界面。

Python爬虫教程:爬取深圳租房信息

所以我提供了价格筛选功能,目前设定的是2000/月。

我把它按标题,帖子链接,正文的顺序保存在txt文件下,便于分享。

以下是效果图↓

Python爬虫教程:爬取深圳租房信息

因为有些帖子的正文没有内容,所以是空行

代码↓

Python爬虫教程:爬取深圳租房信息

因为headers比较长所以我省略了一部分,比较遗憾的是不会操作PDF文件,不然就可以把图片也写进去。(中间因为请求太频繁豆瓣还把我的账号锁定了0.0)

有需要Python学习资料的小伙伴吗?小编整理【一套Python资料、源码和PDF】,感兴趣者可以关注小编后私信学习资料(是关注后私信哦)反正闲着也是闲着呢,不如学点东西啦

相关推荐