Hawk_Crawler数据采集和清洗工具

HAWK是一种数据采集和清洗工具，依据GPL协议开源，能够灵活，有效地采集来自网页，数据库，文件， 并通过可视化地拖拽， 快速地进行生成，过滤，转换等操作。其功能最适合的领域，是爬虫和数据清洗。

Hawk的含义为“鹰”，能够高效，准确地捕杀猎物。

HAWK使用C# 编写，其前端界面使用WPF开发，支持插件扩展。通过图形化操作，能够快速建立解决方案。

GitHub地址：https://github.com/ferventdesert/Hawk

其Python等价的实现是etlpy：http://www.cnblogs.com/buptzym/p/5320552.html

笔者专门为其开发的工程文件已公开在GitHub：https://github.com/ferventdesert/Hawk-Projects

使用时，点击文件，加载工程即可加载。不想编译的话，可执行文件在：https://github.com/ferventdesert/Hawk/tree/master/Versions

编译路径在: Hawk.Core\Hawk.Core.sln

以获取大众点评的所有北京美食为例，使用本软件可在10分钟内完成配置，在1小时之内自动并行抓取全部内容，并能监视子线程工作情况。而手工编写代码，即使是使用python，一个熟练的程序员也可能需要一天以上：

视频演示，复杂度由小到大:

• 链家二手房

• 微信公共平台

• 大众点评-北京美食