robotstxt-rust基于 Rust 的 robots.txt 解析器

robotstxt-rust 用 Rust 实现了谷歌的 robots.txt 解析器 robotstxt。

特点如下：

• 原生Rust代码实现，不依赖任何第三方库
• 0 unsafe代码
• 保留所有原Google版的实现方式
• 与原Google版API完全一致
• 用Rust跑通了100%的Google C++测试用例

安装

[dependencies]
robotstxt = "0.2.0"

快速开始

use robotstxt::DefaultMatcher;

let mut matcher = DefaultMatcher::default();
let robots_body = "user-agent: FooBot\n\
                   disallow: /\n";
assert_eq!(false, matcher.one_agent_allowed_by_robots(robots_body, "FooBot", "https://foo.com/