爬虫需求

本书是有关软件需求的经典教材，本书全面而深入地讲述了软件开发中一个至关重要的问题——软件需求问题。软

《计算机科学丛书•需求工程:基础、原理和技术》对需求工程中的主要概念、方法、原理和技术进行了全面介绍

本书讲述了软件开发中一个至关重要的问题——软件需求问题。软件开发人员及用户往往容易忽略信息沟通，导致

Heritrix是一个开源，可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和METArobots标签。其最出色之处在于它

Crowbar: 基于Mozilla浏览器的 ajax 爬虫，还可作为远程浏览器使用，比较有意思。

Harvestman 是一个非常简单、轻量级的 Web 爬虫，使用 Ruby 编写，示例代码：req