爬虫的定义

我们现在生活在一个数据爆发的时代（大数据时代），日益增长的数据太过繁杂，人们如何能获取有效的知识和数据，这是个问题，所以爬虫应运而起，近几年网络爬虫的需求更加呈现井喷之势，但是由于应聘者的能力低于企业的需求，传统的爬虫有百度、Google、必应等搜索引擎，这类通用的搜索引擎都有自己的核心算法。但是，通用的搜索引擎存在着一定的局限性：

本文借鉴了黄永祥老师的《实战Python网络爬虫》，有需要的可以去购买！