Settings

Scrapy设定(settings)提供了定制Scrapy组件的方法。您可以控制包括核心(core),插件(extension),pipeline及spider组件。

设定为代码提供了提取以key-value映射的配置值的的全局命名空间(namespace)。设定可以通过下面介绍的多种机制进行设置。

设定(settings)同时也是选择当前激活的Scrapy项目的方法(如果您有多个的话)。

内置设定列表请参考内置设定参考手册。

指定设定(Designatingthesettings)

当您使用Scrapy时,您需要声明您所使用的设定。这可以通过使用环境变量:SCRAPY_SETTINGS_MODULE来完成。

SCRAPY_SETTINGS_MODULE必须以Python路径语法编写,如myproject.settings。注意,设定模块应该在Pythonimportsearchpath中。

获取设定值(Populatingthesettings)

设定可以通过多种方式设置,每个方式具有不同的优先级。下面以优先级降序的方式给出方式列表:

全局覆盖(Globaloverrides)(最高优先级)

项目设定模块(Projectsettingsmodule)

命令默认设定模块(Defaultsettingsper-command)

全局默认设定(Defaultglobalsettings)(最低优先级)

这些机制将在下面详细介绍。

1.全局覆盖(Globaloverrides)

全局覆盖具有最高的优先级,一般由command-line选项传入。您可以使用commandline选项-s(或--set)来覆盖一个(或更多)选项。

更多内容请参考设定的overrides属性。

样例:

scrapycrawlmyspider-sLOG_FILE=scrapy.log

2.项目设定模块(Projectsettingsmodule)

项目设定模块是您Scrapy项目的标准配置文件。其是获取大多数设定的方法。例如::myproject.settings。

3.命令默认设定(Defaultsettingsper-command)

每个Scrapytool命令拥有其默认设定,并覆盖了全局默认的设定。这些设定在命令的类的default_settings属性中指定。

4.默认全局设定(Defaultglobalsettings)

全局默认设定存储在scrapy.settings.default_settings模块,并在内置设定参考手册部分有所记录。

如何访问设定(Howtoaccesssettings)

设定可以通过Crawler的scrapy.crawler.Crawler.settings属性进行访问。其由插件及中间件的from_crawler方法所传入:

classMyExtension(object):

@classmethod

deffrom_crawler(cls,crawler):

settings=crawler.settings

ifsettings['LOG_ENABLED']:

print"logisenabled!"

另外,设定可以以字典方式进行访问。不过为了避免类型错误,通常更希望返回需要的格式。这可以通过SettingsAPI提供的方法来实现。

设定名字的命名规则

设定的名字以要配置的组件作为前缀。例如,一个robots.txt插件的合适设定应该为ROBOTSTXT_ENABLED,ROBOTSTXT_OBEY,ROBOTSTXT_CACHEDIR等等。

内置设定参考手册

这里以字母序给出了所有可用的Scrapy设定及其默认值和应用范围。

如果给出可用范围,并绑定了特定的组件,则说明了该设定使用的地方。这种情况下将给出该组件的模块,通常来说是插件、中间件或pipeline。同时也意味着为了使设定生效,该组件必须被启用。

AWS_ACCESS_KEY_ID

默认:None

连接AmazonWebservices的AWSaccesskey。S3feedstoragebackend中使用.

AWS_SECRET_ACCESS_KEY

默认:None

连接AmazonWebservices的AWSsecretkey。S3feedstoragebackend中使用。

BOT_NAME

默认:'scrapybot'

Scrapy项目实现的bot的名字(也未项目名称)。这将用来构造默认User-Agent,同时也用来log。

当您使用startproject命令创建项目时其也被自动赋值。

CONCURRENT_ITEMS

默认:100

ItemProcessor(即ItemPipeline)同时处理(每个response的)item的最大值。

CONCURRENT_REQUESTS

默认:16

Scrapydownloader并发请求(concurrentrequests)的最大值。

CONCURRENT_REQUESTS_PER_DOMAIN

默认:8

对单个网站进行并发请求的最大值。

CONCURRENT_REQUESTS_PER_IP

默认:0

对单个IP进行并发请求的最大值。如果非0,则忽略CONCURRENT_REQUESTS_PER_DOMAIN设定,使用该设定。也就是说,并发限制将针对IP,而不是网站。

该设定也影响DOWNLOAD_DELAY:如果CONCURRENT_REQUESTS_PER_IP非0,下载延迟应用在IP而不是网站上。

DEFAULT_ITEM_CLASS

默认:'scrapy.item.Item'

theScrapyshell中实例化item使用的默认类。

DEFAULT_REQUEST_HEADERS

默认:

{

'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language':'en',

}

ScrapyHTTPRequest使用的默认header。由DefaultHeadersMiddleware产生。

DEPTH_LIMIT

默认:0

爬取网站最大允许的深度(depth)值。如果为0,则没有限制。

DEPTH_PRIORITY

默认:0

整数值。用于根据深度调整request优先级。

如果为0,则不根据深度进行优先级调整。

DEPTH_STATS

默认:True

是否收集最大深度数据。

DEPTH_STATS_VERBOSE

默认:False

是否收集详细的深度数据。如果启用,每个深度的请求数将会被收集在数据中。

DNSCACHE_ENABLED

默认:True

是否启用DNS内存缓存(DNSin-memorycache)。

DOWNLOADER_MIDDLEWARES

默认::{}

保存项目中启用的下载中间件及其顺序的字典。更多内容请查看激活下载器中间件。

DOWNLOADER_MIDDLEWARES_BASE

默认:

{

'scrapy.contrib.downloadermiddleware.robotstxt.RobotsTxtMiddleware':100,

'scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware':300,

'scrapy.contrib.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware':350,

'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware':400,

'scrapy.contrib.downloadermiddleware.retry.RetryMiddleware':500,

'scrapy.contrib.downloadermiddleware.defaultheaders.DefaultHeadersMiddleware':550,

'scrapy.contrib.downloadermiddleware.redirect.MetaRefreshMiddleware':580,

'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware':590,

'scrapy.contrib.downloadermiddleware.redirect.RedirectMiddleware':600,

'scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware':700,

'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware':750,

'scrapy.contrib.downloadermiddleware.chunked.ChunkedTransferMiddleware':830,

'scrapy.contrib.downloadermiddleware.stats.DownloaderStats':850,

'scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware':900,

}

包含Scrapy默认启用的下载中间件的字典。永远不要在项目中修改该设定,而是修改DOWNLOADER_MIDDLEWARES。更多内容请参考激活下载器中间件.

DOWNLOADER_STATS

默认:True

是否收集下载器数据。

DOWNLOAD_DELAY

默认:0

下载器在下载同一个网站下一个页面前需要等待的时间。该选项可以用来限制爬取速度,减轻服务器压力。同时也支持小数:

DOWNLOAD_DELAY=0.25#250msofdelay

该设定影响(默认启用的)RANDOMIZE_DOWNLOAD_DELAY设定。默认情况下,Scrapy在两个请求间不等待一个固定的值,而是使用0.5到1.5之间的一个随机值*DOWNLOAD_DELAY的结果作为等待间隔。

当CONCURRENT_REQUESTS_PER_IP非0时,延迟针对的是每个ip而不是网站。

另外您可以通过spider的download_delay属性为每个spider设置该设定。

DOWNLOAD_HANDLERS

默认:{}

保存项目中启用的下载处理器(requestdownloaderhandler)的字典。例子请查看DOWNLOAD_HANDLERS_BASE。

DOWNLOAD_HANDLERS_BASE

默认:

{

'file':'scrapy.core.downloader.handlers.file.FileDownloadHandler',

'http':'scrapy.core.downloader.handlers.http.HttpDownloadHandler',

'https':'scrapy.core.downloader.handlers.http.HttpDownloadHandler',

's3':'scrapy.core.downloader.handlers.s3.S3DownloadHandler',

}

保存项目中默认启用的下载处理器(requestdownloaderhandler)的字典。永远不要在项目中修改该设定,而是修改DOWNLOADER_HANDLERS。

如果需要关闭上面的下载处理器,您必须在项目中的DOWNLOAD_HANDLERS设定中设置该处理器,并为其赋值为None。例如,关闭文件下载处理器:

DOWNLOAD_HANDLERS={

'file':None,

}

DOWNLOAD_TIMEOUT

默认:180

下载器超时时间(单位:秒)。

DUPEFILTER_CLASS

默认:'scrapy.dupefilter.RFPDupeFilter'

用于检测过滤重复请求的类。

默认的(RFPDupeFilter)过滤器基于scrapy.utils.request.request_fingerprint函数生成的请求指纹。

DUPEFILTER_DEBUG

默认:False

默认情况下,RFPDupeFilter只记录第一次重复的请求。设置DUPEFILTER_DEBUG为True将会使其记录所有重复的requests。

EDITOR

默认:dependsontheenvironment

执行edit命令编辑spider时使用的编辑器。其默认为EDITOR环境变量。如果该变量未设置,其默认为vi(Unix系统)或者IDLE编辑器(Windows)。

EXTENSIONS

默认::{}

保存项目中启用的插件及其顺序的字典。

EXTENSIONS_BASE

默认:

{

'scrapy.contrib.corestats.CoreStats':0,

'scrapy.webservice.WebService':0,

'scrapy.telnet.TelnetConsole':0,

'scrapy.contrib.memusage.MemoryUsage':0,

'scrapy.contrib.memdebug.MemoryDebugger':0,

'scrapy.contrib.closespider.CloseSpider':0,

'scrapy.contrib.feedexport.FeedExporter':0,

'scrapy.contrib.logstats.LogStats':0,

'scrapy.contrib.spiderstate.SpiderState':0,

'scrapy.contrib.throttle.AutoThrottle':0,

}

可用的插件列表。需要注意,有些插件需要通过设定来启用。默认情况下,该设定包含所有稳定(stable)的内置插件。

更多内容请参考extensions用户手册及所有可用的插件。

ITEM_PIPELINES

默认:{}

保存项目中启用的pipeline及其顺序的字典。该字典默认为空,值(value)任意。不过值(value)习惯设定在0-1000范围内。

为了兼容性,ITEM_PIPELINES支持列表,不过已经被废弃了。

样例:

ITEM_PIPELINES={

'mybot.pipelines.validate.ValidateMyItem':300,

'mybot.pipelines.validate.StoreMyItem':800,

}

ITEM_PIPELINES_BASE

默认:{}

保存项目中默认启用的pipeline的字典。永远不要在项目中修改该设定,而是修改ITEM_PIPELINES。

LOG_ENABLED

默认:True

是否启用logging。

LOG_ENCODING

默认:'utf-8'

logging使用的编码。

LOG_FILE

默认:None

logging输出的文件名。如果为None,则使用标准错误输出(standarderror)。

LOG_LEVEL

默认:'DEBUG'

log的最低级别。可选的级别有:CRITICAL、ERROR、WARNING、INFO、DEBUG。更多内容请查看Logging。

LOG_STDOUT

默认:False

如果为True,进程所有的标准输出(及错误)将会被重定向到log中。例如,执行print'hello',其将会在Scrapylog中显示。

MEMDEBUG_ENABLED

默认:False

是否启用内存调试(memorydebugging)。

MEMDEBUG_NOTIFY

默认:[]

如果该设置不为空,当启用内存调试时将会发送一份内存报告到指定的地址;否则该报告将写到log中。

样例:

MEMDEBUG_NOTIFY=['user@example.com']

MEMUSAGE_ENABLED

默认:False

Scope:scrapy.contrib.memusage

是否启用内存使用插件。当Scrapy进程占用的内存超出限制时,该插件将会关闭Scrapy进程,同时发送email进行通知。

See内存使用扩展(Memoryusageextension).

MEMUSAGE_LIMIT_MB

默认:0

Scope:scrapy.contrib.memusage

在关闭Scrapy之前所允许的最大内存数(单位:MB)(如果MEMUSAGE_ENABLED为True)。如果为0,将不做限制。

See内存使用扩展(Memoryusageextension).

MEMUSAGE_NOTIFY_MAIL

默认:False

Scope:scrapy.contrib.memusage

达到内存限制时通知的email列表。

Example:

MEMUSAGE_NOTIFY_MAIL=['user@example.com']

See内存使用扩展(Memoryusageextension).

MEMUSAGE_REPORT

默认:False

Scope:scrapy.contrib.memusage

每个spider被关闭时是否发送内存使用报告。

查看内存使用扩展(Memoryusageextension).

MEMUSAGE_WARNING_MB

默认:0

Scope:scrapy.contrib.memusage

在发送警告email前所允许的最大内存数(单位:MB)(如果MEMUSAGE_ENABLED为True)。如果为0,将不发送警告。

NEWSPIDER_MODULE

默认:''

使用genspider命令创建新spider的模块。

样例:

NEWSPIDER_MODULE='mybot.spiders_dev'

RANDOMIZE_DOWNLOAD_DELAY

默认:True

如果启用,当从相同的网站获取数据时,Scrapy将会等待一个随机的值(0.5到1.5之间的一个随机值*DOWNLOAD_DELAY)。

该随机值降低了crawler被检测到(接着被block)的机会。某些网站会分析请求,查找请求之间时间的相似性。

随机的策略与wget--random-wait选项的策略相同。

若DOWNLOAD_DELAY为0(默认值),该选项将不起作用。

REDIRECT_MAX_TIMES

默认:20

定义request允许重定向的最大次数。超过该限制后该request直接返回获取到的结果。对某些任务我们使用Firefox默认值。

REDIRECT_MAX_METAREFRESH_DELAY

默认:100

有些网站使用meta-refresh重定向到session超时页面,因此我们限制自动重定向到最大延迟(秒)。=>有点不肯定:

REDIRECT_PRIORITY_ADJUST

默认:+2

修改重定向请求相对于原始请求的优先级。负数意味着更多优先级。

ROBOTSTXT_OBEY

默认:False

Scope:scrapy.contrib.downloadermiddleware.robotstxt

如果启用,Scrapy将会尊重robots.txt策略。更多内容请查看RobotsTxtMiddleware。

SCHEDULER

默认:'scrapy.core.scheduler.Scheduler'

用于爬取的调度器。

SPIDER_CONTRACTS

默认::{}

保存项目中启用用于测试spider的scrapycontract及其顺序的字典。更多内容请参考SpidersContracts。

SPIDER_CONTRACTS_BASE

默认:

{

'scrapy.contracts.default.UrlContract':1,

'scrapy.contracts.default.ReturnsContract':2,

'scrapy.contracts.default.ScrapesContract':3,

}

保存项目中默认启用的scrapycontract的字典。永远不要在项目中修改该设定,而是修改SPIDER_CONTRACTS。更多内容请参考SpidersContracts。

SPIDER_MIDDLEWARES

默认::{}

保存项目中启用的下载中间件及其顺序的字典。更多内容请参考激活spider中间件。

SPIDER_MIDDLEWARES_BASE

默认:

{

'scrapy.contrib.spidermiddleware.httperror.HttpErrorMiddleware':50,

'scrapy.contrib.spidermiddleware.offsite.OffsiteMiddleware':500,

'scrapy.contrib.spidermiddleware.referer.RefererMiddleware':700,

'scrapy.contrib.spidermiddleware.urllength.UrlLengthMiddleware':800,

'scrapy.contrib.spidermiddleware.depth.DepthMiddleware':900,

}

保存项目中默认启用的spider中间件的字典。永远不要在项目中修改该设定,而是修改SPIDER_MIDDLEWARES。更多内容请参考激活spider中间件.

SPIDER_MODULES

默认:[]

Scrapy搜索spider的模块列表。

样例:

SPIDER_MODULES=['mybot.spiders_prod','mybot.spiders_dev']

STATS_CLASS

默认:'scrapy.statscol.MemoryStatsCollector'

收集数据的类。该类必须实现状态收集器(StatsCollector)API.

STATS_DUMP

默认:True

当spider结束时dumpScrapy状态数据(到Scrapylog中)。

更多内容请查看数据收集(StatsCollection)。

STATSMAILER_RCPTS

默认:[](空list)

spider完成爬取后发送Scrapy数据。更多内容请查看StatsMailer。

TELNETCONSOLE_ENABLED

默认:True

表明telnet终端(及其插件)是否启用的布尔值。

TELNETCONSOLE_PORT

默认:[6023,6073]

telnet终端使用的端口范围。如果设置为None或0,则使用动态分配的端口。更多内容请查看Telnet终端(TelnetConsole)。

TEMPLATES_DIR

默认:scrapy模块内部的templates

使用startproject命令创建项目时查找模板的目录。

URLLENGTH_LIMIT

默认:2083

Scope:contrib.spidermiddleware.urllength

爬取URL的最大长度。更多关于该设定的默认值信息请查看:http://www.boutell.com/newfaq/misc/urllength.html

USER_AGENT

默认:"Scrapy/VERSION(+http://scrapy.org)"

爬取的默认User-Agent,除非被覆盖。