百度爬虫种类|新闻,无限,图片,视频,推广等系列spider
Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。
百度各个产品使用不同的user-agent：
无线搜索Baiduspider-mobile
图片搜索Baiduspider-image
视频搜索Baiduspider-video
新闻搜索Baiduspider-news
百度搜藏Baiduspider-favo
百度联盟Baiduspider-cpro*
百度推广Baiduspider-sfkr*
网页以及其他搜索Baiduspider
以下robots实现禁止所有来自百度的抓取：
User-agent:Baiduspider
Disallow:/
以下robots实现仅禁止来自百度视频搜索的抓取：
User-agent:Baiduspider-video
Disallow:/
以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录：
User-agent:Baiduspider
Disallow:/
User-agent:Baiduspider-image
Allow:/image/
请注意：
Baiduspider-cpro(百度联盟)和Baiduspider-sfkr(百度推广)抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-cpro和Baiduspider-sfkr给您造成了困扰，Baiduspider-cpro请联系union1@baidu.com，Baiduspider-sfkr请联系help@baidu.com。
baiduspider活跃蜘蛛IP地址如下：
其他ip地址段：
203.208.60.*
220.181.7.*
百度搜索帮助中心-禁止搜索引擎收录的方法
http://www.baidu.com/search/robots.html
