partitionjob远程分区批处理发布
partitionjob
spring boot上构建spring batch远程分区Step,分布式多机处理,提高spring batch处理时效。
批处理是企业级业务系统不可或缺的一部分,spring batch是一个轻量级的综合性批处理框架,可用于开发企业信息系统中那些至关重要的数据批量处理业务.SpringBatch基于POJO和Spring框架,相当容易上手使用,让开发者很容易地访问和利用企业级服务.spring batch是具有高可扩展性的框架,简单的批处理,复杂的大数据批处理作业都可以通过SpringBatch框架来实现。
项目特色
本项目不仅搭建了一个完整的可直接运行的spring batch远程分区处理实例,而且基于spring profile控制,可实现如下模式部署
一主多从
多主多从
主从混用
架构图
原理简述
基于RabbitMQ,master节点将数据根据相关逻辑(ID,hash),拆分成一段一段要处理的数据集,然后将数据集放到消息中间件中(ActiveMQ,RabbitMQ ),从节点监听到消息,获取消息,读取消息中的数据集处理并发回结果
更多详情可移步博客:kailing.pub,更多关于spring batch的技术交流可在博客留言区给我留言
评论
partitionjob远程分区批处理发布
partitionjobspringboot上构建springbatch远程分区Step,分布式多机处理,提高springbatch处理时效。批处理是企业级业务系统不可或缺的一部分,springbat
partitionjob远程分区批处理发布
0
一分区居民楼
物业公司暂无开发商暂无小区地址河北省/沧州市/黄骅市/骅西街道/兴港路物业类型公寓住宅权属类别商品房住宅竣工时间暂无产权年限其它总户数暂无总建面积暂无容积率暂无绿化率暂无建筑类型多层所属商圈学院路统一
一分区居民楼
0
Jailhouse分区管理程序
Jailhouse是一个基于Linux的分区管理程序。它能够运行在裸机上,可使用被成为“单元”的方式来配置CPU和硬件的虚拟化特性,可以通过非常规方式彼此间进行接口。Jailhouse的设计非常简单,
Jailhouse分区管理程序
0