首页 > 学院 > 开发设计 > 正文

图书简介:Spring Batch批处理框架

2019-11-14 22:57:41
字体:
来源:转载
供稿:网友
图书简介:SPRing Batch批处理框架

大数据时代批处理利器,国内首度原创解析Spring Batch框架。

内容简介:

《Spring Batch 批处理框架》全面、系统地介绍了批处理框架Spring Batch,通过详尽的实战示例向读者展示了Spring Batch框架对大数据批处理的基本开发能力,并对框架的架构设计、源码做了特定的剖析;在帮助读者掌握Spring Batch框架基本功能、高级功能的同时,深入剖析了Spring Batch框架的设计原理,帮助读者可以游刃有余地掌握Spring Batch框架。

  《Spring Batch 批处理框架》分为入门篇、基本篇和高级篇三部分。入门篇介绍了批处理、Spring Batch的基本特性和新特性,快速入门的Hello World等内容引领读者入门,从而进入数据批处理的世界。基本篇重点讲述了数据批处理的核心概念、典型的作业配置、作业步配置,以及Spring Batch框架中经典的三步走策略:数据读、数据处理和数据写,详尽地介绍了如何对CVS格式文件、JSON格式文件、xml文件、数据库和JMS消息队列中的数据进行读操作、处理和写操作,对于数据库的操作详细介绍了使用JDBC、Hibernate、存储过程、JPA、Ibatis等处理。高级篇提供了高性能、高可靠性、并行处理的能力,分别向读者展示了如何实现作业流的控制,包括顺序流、条件流、并行流,如何实现健壮的作业,包括跳过、重试和重启等,如何实现扩展作业及并行作业,包括多线程作业、并行作业、远程作业和分区作业等,从而实现分布式、高性能、高扩展性的数据批处理作业。

?目录

第1篇 入门篇第1章 Spring Batch简介1.1 什么是批处理1.2 Spring Batch1.2.1 典型场景1.2.2 Spring Batch架构1.3 Spring Batch优势1.3.1 丰富的开箱即用组件1.3.2 面向Chunk的处理1.3.3 事务管理能力1.3.4 元数据管理1.3.5 易监控的批处理应用1.3.6 丰富的流程定义1.3.7 健壮的批处理应用1.3.8 易扩展的批处理应用1.3.9 复用企业现有IT资产1.4 Spring Batch 2.0新特性1.4.1 支持java51.4.2 支持非顺序的Step1.4.3 面向Chunk处理1.4.4 元数据访问1.4.5 扩展性1.4.6 可配置性1.5 Spring Batch 2.2新特性1.5.1 Spring Data集成1.5.2 支持Java配置1.5.3 Spring Retry1.5.4 Job Parameters1.6 开发环境搭建第2章 Spring Batch之Hello World2.1 场景说明2.2 项目准备2.2.1 项目结构2.2.2 准备对账单文件2.2.3 定义领域对象2.3 定义job基础设施2.4 定义对账Job2.4.1 配置ItemReader2.4.2 配置ItemProcessor2.4.3 配置ItemWriter2.5 执行Job2.5.1 Java调用2.5.2 JUnit单元测试2.6 概念预览第2篇 基本篇第3章 Spring Batch基本概念3.1 命名空间3.2 Job3.2.1 Job Instance3.2.2 Job Parameters3.2.3 Job Execution3.3 Step3.3.1 Step Execution3.4 Execution Context3.5 Job Repository3.5.1 Job Repository Schema3.5.2 配置Memory JobRepository3.5.3 配置DB Job Repository3.5.4 数据库Schema3.6 Job Launcher3.7 ItemReader3.8 ItemProcessor3.9 ItemWriter第4章 配置作业Job4.1 基本配置4.1.1 重启Job4.1.2 Job拦截器4.1.3 Job Parameters校验4.1.4 Job抽象与继承4.2 高级特性4.2.1 Step Scope4.2.2 属性Late Binding4.3 运行Job4.3.1 调度作业4.3.2 命令行执行4.3.3 与定时任务集成4.3.4 与Web应用集成4.3.5 停止Job第5章 配置作业步Step5.1 配置Step5.1.1 Step抽象与继承5.1.2 Step执行拦截器5.2 配置Tasklet5.2.1 重启Step5.2.2 事务5.2.3 事务回滚5.2.4 多线程Step5.2.5 自定义Tasklet5.3 配置Chunk5.3.1 提交间隔5.3.2 异常跳过5.3.3 Step重试5.3.4 Chunk完成策略5.3.5 读、处理事务5.4 拦截器5.4.1 ChunkListener5.4.2 ItemReadListener5.4.3 ItemProcessListener5.4.4 ItemWriteListener5.4.5 SkipListener5.4.6 RetryListener第6章 读数据ItemReader6.1 ItemReader6.1.1 ItemReader6.1.2 ItemStream6.1.3 系统读组件6.2 Flat格式文件6.2.1 Flat文件格式6.2.2 FlatFileItemReader6.2.3 RecordSeparatorPolicy6.2.4 LineMapper6.2.5 DefaultLineMapper6.2.6 LineCallbackHandler6.2.7 读分隔符文件6.2.8 读定长文件6.2.9 读JSON文件6.2.10 读记录跨多行文件6.2.11 读混合记录文件6.3 XML格式文件6.3.1 XML解析6.3.2 Spring OXM6.3.3 StaxEventItemReader6.4 读多文件6.5 读数据库6.5.1 JdbcCursorItemReader6.5.2 HibernateCursorItemReader6.5.3 StoredProcedureItemReader6.5.4 JdbcPagingItemReader6.5.5 HibernatePagingItemReader6.5.6 JpaPagingItemReader6.5.7 IbatisPagingItemReader6.6 读JMS队列6.6.1 JmsItemReader6.7 服务复用6.8 自定义ItemReader6.8.1 不可重启ItemReader6.8.2 可重启ItemReader6.9 拦截器6.9.1 拦截器接口6.9.2 拦截器异常6.9.3 执行顺序6.9.4 Annotation6.9.5 属性Merge第7章 写数据ItemWriter7.1 ItemWrite7.1.1 ItemWriter7.1.2 ItemStream7.1.3 系统写组件7.2 Flat格式文件7.2.1 FlatFileItemWriter7.2.2 LineAggregator7.2.3 FieldExtractor7.2.4 回调操作7.3 XML格式文件7.3.1 StaxEventItemWriter7.3.2 回调操作7.4 写多文件7.4.1 MultiResourceItemWriter7.4.2 扩展MultiResourceItemWriter7.5 写数据库7.5.1 JdbcBatchItemWriter7.5.2 HibernateItemWriter7.5.3 IbatisBatchItemWriter7.5.4 JpaItemWriter7.6 写JMS队列7.6.1 JmsItemWriter7.7 组合写7.8 Item路由Writer7.9 发送邮件7.9.1 SimpleMailMessageItemWriter7.10 服务复用7.10.1 ItemWriterAdapter7.10.2 PropertyExtractingDelegatingItemWriter7.11 自定义ItemWrite7.11.1 不可重启ItemWriter7.11.2 可重启ItemWriter7.12 拦截器7.12.1 拦截器接口7.12.2 拦截器异常7.12.3 执行顺序7.12.4 Annotation7.12.5 属性Merge第8章 处理数据ItemProcessor8.1 ItemProcessor8.1.1 ItemProcessor8.1.2 系统处理组件8.2 数据转换8.2.1 部分数据转换8.2.2 数据类型转换8.3 数据过滤8.3.1 数据Filter8.3.2 数据过滤统计8.4 数据校验8.4.1 Validator8.4.2 ValidatingItemProcessor8.5 组合处理器8.6 服务复用8.6.1 ItemProcessorAdapter8.7 拦截器8.7.1 拦截器接口8.7.2 拦截器异常8.7.3 执行顺序8.7.4 Annotation8.7.5 属性Merge第3篇 高级篇第9章 作业流Step Flow9.1 顺序Flow9.2 条件Flow9.2.1 next9.2.2 ExitStatus VSBatchStatus9.2.3 decision条件9.3 并行Flow9.4 外部Flow定义9.4.1 Flow9.4.2 FlowStep9.4.3 JobStep9.5 Step数据共享9.6 终止Job9.6.1 end9.6.2 stop9.6.3 fail第10章 健壮Job10.1 跳过Skip10.1.1 配置Skip10.1.2 跳过策略SkipPolicy10.1.3 跳过拦截器10.2 重试Retry10.2.1 配置Retry10.2.2 重试策略RetryPolicy10.2.3 重试拦截器10.2.4 重试模板10.3 重启Restart10.3.1 重启Job10.3.2 启动次数限制10.3.3 重启已完成的任务第11章 扩展Job、并行处理11.1 可扩展性11.2 多线程Step11.2.1 配置多线程Step11.2.2 线程安全性11.2.3 线程安全Step11.2.4 可重启的线程安全Step11.3 并行Step11.4 远程Step11.4.1 远程Step框架11.4.2 基于SI实现远程Step11.5 分区Step11.5.1 关键接口11.5.2 基本配置11.5.3 文件分区11.5.4 数据库分区11.5.5 远程分区Step


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表