jcrawlweb爬虫

jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq.

Heritrix是一个开源，可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Herit

Harvestman是一个非常简单、轻量级的Web爬虫，使用Ruby编写，示例代码：require'harvestman'Harvestman.crawl'http://www.foo.com/bar

Crowbar:基于Mozilla浏览器的ajax爬虫，还可作为远程浏览器使用，比较有意思。

scrape 是一个简单高级的 Web 爬虫库，使用 Go 语言开发。示例代码：package ma

scrape是一个简单高级的Web爬虫库，使用Go语言开发。示例代码：package mainimport (    "fmt"    "net/http"    "github.com/yhat/s

根据关键词采集搜狗移动结果，然后判断符合要求的url保留 w : vicguo53

Crowbar: 基于Mozilla浏览器的 ajax 爬虫，还可作为远程浏览器使用，比较有意思。

Harvestman 是一个非常简单、轻量级的 Web 爬虫，使用 Ruby 编写，示例代码：req

Heritrix是一个开源，可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和METArobots标签。其最出色之处在于它