Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准,给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准,作为这个努力的一部分,它开源了自己使用的 robots.txt 解析器,源代码托管在 GitHub 上,采用 Apache License 2.0 许可证。robots.txt 解析器是一个 C++ 库,用于解析和匹配 robots.txt 文件中的规则,它已经有约 20 年历史了,包含了 1990 年代写的代码。
robotstxt
robots.txt 解析器
Google 称过去 25 年Robots Exclusion Protocol 协议一直是一种约定的标准,给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准,作为这个努力的一部分,它开源了自己使用的 robots.txt 解析器,源代码托管在 GitHub 上,采用 Apache License 2.0 许可证。robots.txt 解析器是一个 C++ 库,用于解析和匹配 robots.txt 文件中的规则,它已经有约 20 年历史了,
| 授权协议 | Apache | 开发语言 | C/C++,Python |
|---|---|---|---|
| 操作系统 | 跨平台 | 机构组织 | |
| 收录时间 | 2019-06-27 11:08:18 |