爬虫开始

爬虫的实际例子

• 搜索引擎：关键字匹配提取，前提是要将所有的页面爬一遍，然后存到自己的服务器，当用户惊醒搜索的时候，根据自己的搜索内容，搜索引擎将用户搜索信息返回给用户。
• 伯乐在线： 文章的搬运工（http://www.jobbole.com/）
• 惠惠购物助手： 谷歌插件，爬到电商平台的价格对比。
• 数据分析与研究： 某一行业的数据分析（基于实际的数据分析），数据冰山&舆情分析&数据可视化
• 抢票软件：模拟人点击的操作。

什么是网络爬虫

• 通俗理解就是： 一个模拟人请求网站的程序，可以自动请求网页并将所定义需求的数据抓取下来，然后提取有价值的数据。

通用爬虫和聚焦爬虫

• 通用爬虫：类似于搜索引擎抓取系统的重要组成部分。主要将网页信息下载到搜索引擎存储，形成一个互联网内容的镜像备份
• 聚焦爬虫： 面向特定需求的一种爬虫。会将爬去到的信息进行筛选和处理

准备工具

• Python3+
• Pycharm Professional
• 虚拟环境