Settings
Scrapy设定(settings)提供了定制Scrapy组件的方法。您可以控制包括核心(core),插件(extension),pipeline及spider组件。
设定为代码提供了提取以key-value映射的配置值的的全局命名空间(namespace)。设定可以通过下面介绍的多种机制进行设置。
设定(settings)同时也是选择当前激活的Scrapy项目的方法(如果您有多个的话)。
内置设定列表请参考内置设定参考手册。
指定设定(Designatingthesettings)
当您使用Scrapy时,您需要声明您所使用的设定。这可以通过使用环境变量:SCRAPY_SETTINGS_MODULE来完成。
SCRAPY_SETTINGS_MODULE必须以Python路径语法编写,如myproject.settings。注意,设定模块应该在Pythonimportsearchpath中。
获取设定值(Populatingthesettings)
设定可以通过多种方式设置,每个方式具有不同的优先级。下面以优先级降序的方式给出方式列表:
全局覆盖(Globaloverrides)(最高优先级)
项目设定模块(Projectsettingsmodule)
命令默认设定模块(Defaultsettingsper-command)
全局默认设定(Defaultglobalsettings)(最低优先级)
这些机制将在下面详细介绍。
1.全局覆盖(Globaloverrides)
全局覆盖具有最高的优先级,一般由command-line选项传入。您可以使用commandline选项-s(或--set)来覆盖一个(或更多)选项。
更多内容请参考设定的overrides属性。
样例:
scrapycrawlmyspider-sLOG_FILE=scrapy.log
2.项目设定模块(Projectsettingsmodule)
项目设定模块是您Scrapy项目的标准配置文件。其是获取大多数设定的方法。例如::myproject.settings。
3.命令默认设定(Defaultsettingsper-command)
每个Scrapytool命令拥有其默认设定,并覆盖了全局默认的设定。这些设定在命令的类的default_settings属性中指定。
4.默认全局设定(Defaultglobalsettings)
全局默认设定存储在scrapy.settings.default_settings模块,并在内置设定参考手册部分有所记录。
如何访问设定(Howtoaccesssettings)
设定可以通过Crawler的scrapy.crawler.Crawler.settings属性进行访问。其由插件及中间件的from_crawler方法所传入:
classMyExtension(object):
@classmethod
deffrom_crawler(cls,crawler):
settings=crawler.settings
ifsettings['LOG_ENABLED']:
print"logisenabled!"
另外,设定可以以字典方式进行访问。不过为了避免类型错误,通常更希望返回需要的格式。这可以通过SettingsAPI提供的方法来实现。
设定名字的命名规则
设定的名字以要配置的组件作为前缀。例如,一个robots.txt插件的合适设定应该为ROBOTSTXT_ENABLED,ROBOTSTXT_OBEY,ROBOTSTXT_CACHEDIR等等。
内置设定参考手册
这里以字母序给出了所有可用的Scrapy设定及其默认值和应用范围。
如果给出可用范围,并绑定了特定的组件,则说明了该设定使用的地方。这种情况下将给出该组件的模块,通常来说是插件、中间件或pipeline。同时也意味着为了使设定生效,该组件必须被启用。
AWS_ACCESS_KEY_ID
默认:None
连接AmazonWebservices的AWSaccesskey。S3feedstoragebackend中使用.
AWS_SECRET_ACCESS_KEY
默认:None
连接AmazonWebservices的AWSsecretkey。S3feedstoragebackend中使用。
BOT_NAME
默认:'scrapybot'
Scrapy项目实现的bot的名字(也未项目名称)。这将用来构造默认User-Agent,同时也用来log。
当您使用startproject命令创建项目时其也被自动赋值。
CONCURRENT_ITEMS
默认:100
ItemProcessor(即ItemPipeline)同时处理(每个response的)item的最大值。
CONCURRENT_REQUESTS
默认:16
Scrapydownloader并发请求(concurrentrequests)的最大值。
CONCURRENT_REQUESTS_PER_DOMAIN
默认:8
对单个网站进行并发请求的最大值。
CONCURRENT_REQUESTS_PER_IP
默认:0
对单个IP进行并发请求的最大值。如果非0,则忽略CONCURRENT_REQUESTS_PER_DOMAIN设定,使用该设定。也就是说,并发限制将针对IP,而不是网站。
该设定也影响DOWNLOAD_DELAY:如果CONCURRENT_REQUESTS_PER_IP非0,下载延迟应用在IP而不是网站上。
DEFAULT_ITEM_CLASS
默认:'scrapy.item.Item'
theScrapyshell中实例化item使用的默认类。
DEFAULT_REQUEST_HEADERS
默认:
{
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language':'en',
}
ScrapyHTTPRequest使用的默认header。由DefaultHeadersMiddleware产生。
DEPTH_LIMIT
默认:0
爬取网站最大允许的深度(depth)值。如果为0,则没有限制。
DEPTH_PRIORITY
默认:0
整数值。用于根据深度调整request优先级。
如果为0,则不根据深度进行优先级调整。
DEPTH_STATS
默认:True
是否收集最大深度数据。
DEPTH_STATS_VERBOSE
默认:False
是否收集详细的深度数据。如果启用,每个深度的请求数将会被收集在数据中。
DNSCACHE_ENABLED
默认:True
是否启用DNS内存缓存(DNSin-memorycache)。
DOWNLOADER_MIDDLEWARES
默认::{}
保存项目中启用的下载中间件及其顺序的字典。更多内容请查看激活下载器中间件。
DOWNLOADER_MIDDLEWARES_BASE
默认:
{
'scrapy.contrib.downloadermiddleware.robotstxt.RobotsTxtMiddleware':100,
'scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware':300,
'scrapy.contrib.downloadermiddleware.downloadtimeout.DownloadTimeoutMiddleware':350,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware':400,
'scrapy.contrib.downloadermiddleware.retry.RetryMiddleware':500,
'scrapy.contrib.downloadermiddleware.defaultheaders.DefaultHeadersMiddleware':550,
'scrapy.contrib.downloadermiddleware.redirect.MetaRefreshMiddleware':580,
'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware':590,
'scrapy.contrib.downloadermiddleware.redirect.RedirectMiddleware':600,
'scrapy.contrib.downloadermiddleware.cookies.CookiesMiddleware':700,
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware':750,
'scrapy.contrib.downloadermiddleware.chunked.ChunkedTransferMiddleware':830,
'scrapy.contrib.downloadermiddleware.stats.DownloaderStats':850,
'scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware':900,
}
包含Scrapy默认启用的下载中间件的字典。永远不要在项目中修改该设定,而是修改DOWNLOADER_MIDDLEWARES。更多内容请参考激活下载器中间件.
DOWNLOADER_STATS
默认:True
是否收集下载器数据。
DOWNLOAD_DELAY
默认:0
下载器在下载同一个网站下一个页面前需要等待的时间。该选项可以用来限制爬取速度,减轻服务器压力。同时也支持小数:
DOWNLOAD_DELAY=0.25#250msofdelay
该设定影响(默认启用的)RANDOMIZE_DOWNLOAD_DELAY设定。默认情况下,Scrapy在两个请求间不等待一个固定的值,而是使用0.5到1.5之间的一个随机值*DOWNLOAD_DELAY的结果作为等待间隔。
当CONCURRENT_REQUESTS_PER_IP非0时,延迟针对的是每个ip而不是网站。
另外您可以通过spider的download_delay属性为每个spider设置该设定。
DOWNLOAD_HANDLERS
默认:{}
保存项目中启用的下载处理器(requestdownloaderhandler)的字典。例子请查看DOWNLOAD_HANDLERS_BASE。
DOWNLOAD_HANDLERS_BASE
默认:
{
'file':'scrapy.core.downloader.handlers.file.FileDownloadHandler',
'http':'scrapy.core.downloader.handlers.http.HttpDownloadHandler',
'https':'scrapy.core.downloader.handlers.http.HttpDownloadHandler',
's3':'scrapy.core.downloader.handlers.s3.S3DownloadHandler',
}
保存项目中默认启用的下载处理器(requestdownloaderhandler)的字典。永远不要在项目中修改该设定,而是修改DOWNLOADER_HANDLERS。
如果需要关闭上面的下载处理器,您必须在项目中的DOWNLOAD_HANDLERS设定中设置该处理器,并为其赋值为None。例如,关闭文件下载处理器:
DOWNLOAD_HANDLERS={
'file':None,
}
DOWNLOAD_TIMEOUT
默认:180
下载器超时时间(单位:秒)。
DUPEFILTER_CLASS
默认:'scrapy.dupefilter.RFPDupeFilter'
用于检测过滤重复请求的类。
默认的(RFPDupeFilter)过滤器基于scrapy.utils.request.request_fingerprint函数生成的请求指纹。
DUPEFILTER_DEBUG
默认:False
默认情况下,RFPDupeFilter只记录第一次重复的请求。设置DUPEFILTER_DEBUG为True将会使其记录所有重复的requests。
EDITOR
默认:dependsontheenvironment
执行edit命令编辑spider时使用的编辑器。其默认为EDITOR环境变量。如果该变量未设置,其默认为vi(Unix系统)或者IDLE编辑器(Windows)。
EXTENSIONS
默认::{}
保存项目中启用的插件及其顺序的字典。
EXTENSIONS_BASE
默认:
{
'scrapy.contrib.corestats.CoreStats':0,
'scrapy.webservice.WebService':0,
'scrapy.telnet.TelnetConsole':0,
'scrapy.contrib.memusage.MemoryUsage':0,
'scrapy.contrib.memdebug.MemoryDebugger':0,
'scrapy.contrib.closespider.CloseSpider':0,
'scrapy.contrib.feedexport.FeedExporter':0,
'scrapy.contrib.logstats.LogStats':0,
'scrapy.contrib.spiderstate.SpiderState':0,
'scrapy.contrib.throttle.AutoThrottle':0,
}
可用的插件列表。需要注意,有些插件需要通过设定来启用。默认情况下,该设定包含所有稳定(stable)的内置插件。
更多内容请参考extensions用户手册及所有可用的插件。
ITEM_PIPELINES
默认:{}
保存项目中启用的pipeline及其顺序的字典。该字典默认为空,值(value)任意。不过值(value)习惯设定在0-1000范围内。
为了兼容性,ITEM_PIPELINES支持列表,不过已经被废弃了。
样例:
ITEM_PIPELINES={
'mybot.pipelines.validate.ValidateMyItem':300,
'mybot.pipelines.validate.StoreMyItem':800,
}
ITEM_PIPELINES_BASE
默认:{}
保存项目中默认启用的pipeline的字典。永远不要在项目中修改该设定,而是修改ITEM_PIPELINES。
LOG_ENABLED
默认:True
是否启用logging。
LOG_ENCODING
默认:'utf-8'
logging使用的编码。
LOG_FILE
默认:None
logging输出的文件名。如果为None,则使用标准错误输出(standarderror)。
LOG_LEVEL
默认:'DEBUG'
log的最低级别。可选的级别有:CRITICAL、ERROR、WARNING、INFO、DEBUG。更多内容请查看Logging。
LOG_STDOUT
默认:False
如果为True,进程所有的标准输出(及错误)将会被重定向到log中。例如,执行print'hello',其将会在Scrapylog中显示。
MEMDEBUG_ENABLED
默认:False
是否启用内存调试(memorydebugging)。
MEMDEBUG_NOTIFY
默认:[]
如果该设置不为空,当启用内存调试时将会发送一份内存报告到指定的地址;否则该报告将写到log中。
样例:
MEMDEBUG_NOTIFY=['user@example.com']
MEMUSAGE_ENABLED
默认:False
Scope:scrapy.contrib.memusage
是否启用内存使用插件。当Scrapy进程占用的内存超出限制时,该插件将会关闭Scrapy进程,同时发送email进行通知。
See内存使用扩展(Memoryusageextension).
MEMUSAGE_LIMIT_MB
默认:0
Scope:scrapy.contrib.memusage
在关闭Scrapy之前所允许的最大内存数(单位:MB)(如果MEMUSAGE_ENABLED为True)。如果为0,将不做限制。
See内存使用扩展(Memoryusageextension).
MEMUSAGE_NOTIFY_MAIL
默认:False
Scope:scrapy.contrib.memusage
达到内存限制时通知的email列表。
Example:
MEMUSAGE_NOTIFY_MAIL=['user@example.com']
See内存使用扩展(Memoryusageextension).
MEMUSAGE_REPORT
默认:False
Scope:scrapy.contrib.memusage
每个spider被关闭时是否发送内存使用报告。
查看内存使用扩展(Memoryusageextension).
MEMUSAGE_WARNING_MB
默认:0
Scope:scrapy.contrib.memusage
在发送警告email前所允许的最大内存数(单位:MB)(如果MEMUSAGE_ENABLED为True)。如果为0,将不发送警告。
NEWSPIDER_MODULE
默认:''
使用genspider命令创建新spider的模块。
样例:
NEWSPIDER_MODULE='mybot.spiders_dev'
RANDOMIZE_DOWNLOAD_DELAY
默认:True
如果启用,当从相同的网站获取数据时,Scrapy将会等待一个随机的值(0.5到1.5之间的一个随机值*DOWNLOAD_DELAY)。
该随机值降低了crawler被检测到(接着被block)的机会。某些网站会分析请求,查找请求之间时间的相似性。
随机的策略与wget--random-wait选项的策略相同。
若DOWNLOAD_DELAY为0(默认值),该选项将不起作用。
REDIRECT_MAX_TIMES
默认:20
定义request允许重定向的最大次数。超过该限制后该request直接返回获取到的结果。对某些任务我们使用Firefox默认值。
REDIRECT_MAX_METAREFRESH_DELAY
默认:100
有些网站使用meta-refresh重定向到session超时页面,因此我们限制自动重定向到最大延迟(秒)。=>有点不肯定:
REDIRECT_PRIORITY_ADJUST
默认:+2
修改重定向请求相对于原始请求的优先级。负数意味着更多优先级。
ROBOTSTXT_OBEY
默认:False
Scope:scrapy.contrib.downloadermiddleware.robotstxt
如果启用,Scrapy将会尊重robots.txt策略。更多内容请查看RobotsTxtMiddleware。
SCHEDULER
默认:'scrapy.core.scheduler.Scheduler'
用于爬取的调度器。
SPIDER_CONTRACTS
默认::{}
保存项目中启用用于测试spider的scrapycontract及其顺序的字典。更多内容请参考SpidersContracts。
SPIDER_CONTRACTS_BASE
默认:
{
'scrapy.contracts.default.UrlContract':1,
'scrapy.contracts.default.ReturnsContract':2,
'scrapy.contracts.default.ScrapesContract':3,
}
保存项目中默认启用的scrapycontract的字典。永远不要在项目中修改该设定,而是修改SPIDER_CONTRACTS。更多内容请参考SpidersContracts。
SPIDER_MIDDLEWARES
默认::{}
保存项目中启用的下载中间件及其顺序的字典。更多内容请参考激活spider中间件。
SPIDER_MIDDLEWARES_BASE
默认:
{
'scrapy.contrib.spidermiddleware.httperror.HttpErrorMiddleware':50,
'scrapy.contrib.spidermiddleware.offsite.OffsiteMiddleware':500,
'scrapy.contrib.spidermiddleware.referer.RefererMiddleware':700,
'scrapy.contrib.spidermiddleware.urllength.UrlLengthMiddleware':800,
'scrapy.contrib.spidermiddleware.depth.DepthMiddleware':900,
}
保存项目中默认启用的spider中间件的字典。永远不要在项目中修改该设定,而是修改SPIDER_MIDDLEWARES。更多内容请参考激活spider中间件.
SPIDER_MODULES
默认:[]
Scrapy搜索spider的模块列表。
样例:
SPIDER_MODULES=['mybot.spiders_prod','mybot.spiders_dev']
STATS_CLASS
默认:'scrapy.statscol.MemoryStatsCollector'
收集数据的类。该类必须实现状态收集器(StatsCollector)API.
STATS_DUMP
默认:True
当spider结束时dumpScrapy状态数据(到Scrapylog中)。
更多内容请查看数据收集(StatsCollection)。
STATSMAILER_RCPTS
默认:[](空list)
spider完成爬取后发送Scrapy数据。更多内容请查看StatsMailer。
TELNETCONSOLE_ENABLED
默认:True
表明telnet终端(及其插件)是否启用的布尔值。
TELNETCONSOLE_PORT
默认:[6023,6073]
telnet终端使用的端口范围。如果设置为None或0,则使用动态分配的端口。更多内容请查看Telnet终端(TelnetConsole)。
TEMPLATES_DIR
默认:scrapy模块内部的templates
使用startproject命令创建项目时查找模板的目录。
URLLENGTH_LIMIT
默认:2083
Scope:contrib.spidermiddleware.urllength
爬取URL的最大长度。更多关于该设定的默认值信息请查看:http://www.boutell.com/newfaq/misc/urllength.html
USER_AGENT
默认:"Scrapy/VERSION(+http://scrapy.org)"
爬取的默认User-Agent,除非被覆盖。