学Java的兄弟姐妹，很大一部分要去做J2EE企业级项目，今天给大家介绍一款J2EE企业级解决方案开源系统

基于Spring+SpringMVC+Mybatis分布式敏捷开发系统架构，提供整套公共微服务服务模块：集中权限管理（单点登录）、内容管理、支付中心、用户管理（支持第三方登录）、微信平台、存储系统、配置中心、日志分析、任务和通知等，支持服务治理、监控和追踪，努力为中小型企业打造全方位J2EE企业级开发解决方案。

项目在线演示地址：

http://47.93.195.63/zheng-upms-server/

该项目开源主页：

https://gitee.com/shuzheng/zheng

前言

zheng项目不仅仅是一个开发架构，而是努力打造一套从 前端模板 - 基础框架 - 分布式架构 - 开源项目 - 持续集成 - 自动化部署 - 系统监测 - 无缝升级 的全方位J2EE企业级开发解决方案。

项目介绍

基于Spring+SpringMVC+Mybatis分布式敏捷开发系统架构，提供整套公共微服务服务模块：内容管理、支付中心、用户管理（包括第三方）、微信平台、存储系统、配置中心、日志分析、任务和通知等，支持服务治理、监控和追踪，努力为中小型企业打造全方位J2EE企业级开发解决方案。

组织结构

• zheng

• zheng-common -- SSM框架公共模块

• zheng-admin -- 后台管理模板

• zheng-ui -- 前台thymeleaf模板[端口:1000]

• zheng-config -- 配置中心[端口:1001]

• zheng-upms -- 用户权限管理系统

• zheng-upms-common -- upms系统公共模块

• zheng-upms-dao -- 代码生成模块，无需开发

• zheng-upms-client -- 集成upms依赖包，提供单点认证、授权、统一会话管理

• zheng-upms-rpc-api -- rpc接口包

• zheng-upms-rpc-service -- rpc服务提供者

• zheng-upms-server -- 用户权限系统及SSO服务端[端口:1111]

• zheng-cms -- 内容管理系统

• zheng-cms-common -- cms系统公共模块

• zheng-cms-dao -- 代码生成模块，无需开发

• zheng-cms-rpc-api -- rpc接口包

• zheng-cms-rpc-service -- rpc服务提供者

• zheng-cms-search -- 搜索服务[端口:2221]

• zheng-cms-admin -- 后台管理[端口:2222]

• zheng-cms-job -- 消息队列、任务调度等[端口:2223]

• zheng-cms-web -- 网站前台[端口:2224]

• zheng-pay -- 支付系统

• zheng-pay-common -- pay系统公共模块

• zheng-pay-dao -- 代码生成模块，无需开发

• zheng-pay-rpc-api -- rpc接口包

• zheng-pay-rpc-service -- rpc服务提供者

• zheng-pay-sdk -- 开发工具包

• zheng-pay-admin -- 后台管理[端口:3331]

• zheng-pay-web -- 演示示例[端口:3332]

• zheng-ucenter -- 用户系统(包括第三方登录)

• zheng-ucenter-common -- ucenter系统公共模块

• zheng-ucenter-dao -- 代码生成模块，无需开发

• zheng-ucenter-rpc-api -- rpc接口包

• zheng-ucenter-rpc-service -- rpc服务提供者

• zheng-ucenter-web -- 网站前台[端口:4441]

• zheng-wechat -- 微信系统

• zheng-wechat-mp -- 微信公众号管理系统

• zheng-wechat-mp-dao -- 代码生成模块，无需开发

• zheng-wechat-mp-service -- 业务逻辑

• zheng-wechat-mp-admin -- 后台管理[端口:5551]

• zheng-ucenter-app -- 微信小程序后台

• zheng-api -- API接口总线系统

• zheng-api-common -- api系统公共模块

• zheng-api-rpc-api -- rpc接口包

• zheng-api-rpc-service -- rpc服务提供者

• zheng-api-server -- api系统服务端[端口:6666]

• zheng-oss -- 对象存储系统

• zheng-oss-sdk -- 开发工具包

• zheng-oss-web -- 前台接口[端口:7771]

• zheng-oss-admin -- 后台管理[端口:7772]

• zheng-message -- 实时通知系统

• zheng-message-sdk -- 开发工具包

• zheng-message-server -- 服务端[端口:8881,SocketIO端口:8882]

• zheng-message-client -- 客户端

• zheng-shop -- 电子商务系统

• zheng-demo -- 示例模块(包含一些示例代码等)

• zheng-demo-rpc-api -- rpc接口包

• zheng-demo-rpc-service -- rpc服务提供者

• zheng-demo-web -- 演示示例[端口:9999]</pre>

技术选型

后端技术:

网址已整理成文档请点击点击下方链接

网址链接shimo.im/docs/wP9txRcVRyDcQWKx

前端技术:

网址已整理成文档请点击点击下方链接

网址链接shimo.im/docs/wP9txRcVRyDcQWKx

架构图

模块依赖

模块介绍

zheng-common

Spring+SpringMVC+Mybatis框架集成公共模块，包括公共配置、MybatisGenerator扩展插件、通用BaseService、工具类等。

zheng-admin

基于bootstrap实现的响应式Material Design风格的通用后台管理系统，zheng项目所有后台系统都是使用该模块界面作为前端展示。

zheng-ui

各个子系统前台thymeleaf模板，前端资源模块，使用nginx代理，实现动静分离。

zheng-upms

本系统是基于RBAC授权和基于用户授权的细粒度权限控制通用平台，并提供单点登录、会话管理和日志管理。接入的系统可自由定义组织、角色、权限、资源等。用户权限=所拥有角色权限合集+用户加权限-用户减权限，优先级：用户减权限>用户加权限>角色权限

zheng-oss

文件存储系统，提供四种方案：

• 阿里云 OSS

• 腾讯云 COS

• 七牛云

• 本地分布式存储

zheng-api

服务网关，对外暴露统一规范的接口和包装响应结果，包括各个子系统的交互接口、对外开放接口、开发加密接口、接口文档等服务，可在该模块支持验签、鉴权、路由、限流、监控、容错、日志等功能。示例图：

zheng-cms

内容管理系统：支持多标签、多类目、强大评论的内容管理，有基本单页展示，菜单管理，系统设置等功能。

zheng-pay

• 一站式支付解决方案，统一下单接口，支持支付宝、微信、网银等多种支付方式。不涉及业务的纯粹的支付平台。

• 统一下单（统一下单接口、统一扫码）、订单管理、数据分析、财务报表、商户管理、渠道管理、对账系统、系统监控。

zheng-ucenter

通用用户管理系统， 实现最常用的用户注册、登录、资料管理、个人中心、第三方登录等基本需求，支持扩展二次开发。

zheng-wechat-mp

微信公众号管理平台，除实现官网后台自动回复、菜单管理、素材管理、用户管理、消息群发等基础功能外，还有二维码推广、营销活动、微网站、会员卡、优惠券等。

zheng-wechat-app

微信小程序后台

zheng-message

基于Netty实现SocketIO的实时推送系统。支持命名空间、二进制数据、SSL、ACK等功能。

环境搭建

开发工具:

• MySql: 数据库

• jetty: 开发服务器

• Tomcat: 应用服务器

• SVN|Git: 版本管理

• Nginx: 反向代理服务器

• Varnish: HTTP加速器

• IntelliJ IDEA: 开发IDE

• PowerDesigner: 建模工具

• Navicat for MySQL: 数据库客户端

开发环境：

• Jdk7+

• Mysql5.5+

• Redis

• Zookeeper

• ActiveMQ

• Dubbo-admin

• Dubbo-monitor

工具安装

环境搭建和系统部署文档

资源下载

• JDK7 http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

• Maven http://maven.apache.org/download.cgi

• Redis https://redis.io/download

• ActiveMQ http://activemq.apache.org/download-archives.html

• ZooKeeper http://www.apache.org/dyn/closer.cgi/zookeeper/

• Dubbo http://dubbo.io/Download-zh.htm

• Elastic Stack https://www.elastic.co/downloads

• Nginx http://nginx.org/en/download.html

• Jenkins http://updates.jenkins-ci.org/download/war/

• dubbo-admin-2.5.3 http://download.csdn.net/detail/shuzheng5201314/9733652

• dubbo-admin-2.5.4-SNAPSHOT-jdk8 http://download.csdn.net/detail/shuzheng5201314/9733657

更多资源请点击点击下方链接

Java学习、面试；文档、视频资源免费获取shimo.im/docs/wP9txRcVRyDcQWKx

开发指南:

• 1、本机安装Jdk7、Mysql、Redis、Zookeeper、ActiveMQ并启动相关服务，使用默认配置默认端口即可

• 2、克隆源代码到本地并打开，推荐使用IntelliJ IDEA，本地编译并安装到本地maven仓库

修改本地Host

• 127.0.0.1 http://ui.zhangshuzheng.cn

• 127.0.0.1 http://upms.zhangshuzheng.cn

• 127.0.0.1 http://cms.zhangshuzheng.cn

• 127.0.0.1 http://pay.zhangshuzheng.cn

• 127.0.0.1 http://ucenter.zhangshuzheng.cn

• 127.0.0.1 http://wechat.zhangshuzheng.cn

• 127.0.0.1 http://api.zhangshuzheng.cn

• 127.0.0.1 http://oss.zhangshuzheng.cn

• 127.0.0.1 http://config.zhangshuzheng.cn

• 127.0.0.1 zkserver

• 127.0.0.1 rdserver

• 127.0.0.1 dbserver

• 127.0.0.1 mqserver

编译流程

maven编译安装zheng/pom.xml文件即可

启动顺序（后台）

准备工作

• 新建zheng数据库，导入project-datamodel文件夹下的zheng.sql

• 修改各dao模块和rpc-service模块的redis.properties、jdbc.properties、generator.properties数据库连接等配置信息，其中master.redis.password、master.jdbc.password、slave.jdbc.password、generator.jdbc.password密码值使用了AES加密，请使用com.zheng.common.util.AESUtil工具类修改这些值

• 启动Zookeeper、Redis、ActiveMQ、Nginx（配置文件参考project-tools/nginx下的*.conf文件）

zheng-upms

• 首先启动 zheng-upms-rpc-service(直接运行src目录下的ZhengUpmsRpcServiceApplication#main方法启动) => zheng-upms-server(jetty)，然后按需启动对应子系统xxx的zheng-xxx-rpc-service(main方法) => zheng-xxx-webapp(jetty)

• 访问 http://upms.zhangshuzheng.cn:1111/，子系统菜单已经配置到zheng-upms权限中，不用直接访问子系统，默认帐号密码：admin/123456

• 登录成功后，可在右上角切换已注册系统访问

zheng-cms

• zheng-cms-admin：启动ActiveMQ-启动 => 启动zheng-rpc-service => 启动zheng-cms-admin

• zheng-cms-web：启动nginx代理zheng-ui静态资源，配置文件可参考 nginx.conf

zheng-oss

• 首先启动zheng-oss-web服务

• 开发阶段，如果zheng-oss-web没有公网域名，推荐使用ngrok内网穿透工具，为开发环境提供公网域名，实现上传回调

• 启动nginx代理zheng-ui静态资源

开发演示

• 创建数据表（建议使用PowerDesigner）

• 直接运行对应项目dao模块中的generator.main()，可自动生成单表的CRUD功能和对应的model、example、mapper、service代码

• selectByExampleWithBLOBsForStartPage()

• selectByExampleForStartPage()

• selectByExampleWithBLOBsForOffsetPage()

• selectByExampleForOffsetPage()

• 生成的model和example均已实现Serializable接口，支持分布式

• 已包含抽象类BaseServiceImpl，只需要继承抽象类并传入泛型参数，即可默认实现mapper接口所有方法，特殊需求直接扩展即可

• BaseServiceImpl默认已实现四种根据条件分页接口

• BaseServiceImpl方法根据读写操作自动切换主从数据源，继承的扩展接口，可手动通过DynamicDataSource.setDataSource(DataSourceEnum.XXX.getName())指定数据源

• 启动流程：优先rcp-service服务提供者，再启动其他webapp

• 扩展流程：可扩展和拆分rpc-api和rpc-service模块，可按微服务拆分或场景拆分

部署方式

• war包项目：使用tomcat等web容器启动

• rpc-service服务提供者jar包：将打包后的zheng-xxx-rpc-service-assembly.tar.gz文件解压，使用bin目录的管理脚本运行即可，支持优雅停机。

框架规范约定

约定优于配置(convention over configuration)，此框架约定了很多编程规范，下面一一列举：

• service类，需要在叫名service的包下，并以Service结尾，如CmsArticleServiceImpl

• controller类，需要在以controller结尾的包下，类名以Controller结尾，如CmsArticleController.java，并继承BaseController

• spring task类，需要在叫名task的包下，并以Task结尾，如TestTask.java

• mapper.xml，需要在名叫mapper的包下，并以Mapper.xml结尾，如CmsArticleMapper.xml

• mapper接口，需要在名叫mapper的包下，并以Mapper结尾，如CmsArticleMapper.java

• model实体类，需要在名叫model的包下，命名规则为数据表转驼峰规则，如CmsArticle.java

• spring配置文件，命名规则为applicationContext-*.xml

• 类名：首字母大写驼峰规则；方法名：首字母小写驼峰规则；常量：全大写；变量：首字母小写驼峰规则，尽量非缩写

• springmvc配置加到对应模块的springMVC-servlet.xml文件里

• 配置文件放到src/main/resources目录下

• 静态资源文件放到src/main/webapp/resources目录下

• jsp文件，需要在/WEB-INF/jsp目录下

• RequestMapping和返回物理试图路径的url尽量写全路径，如：@RequestMapping("/manage")、return "/manage/index"

• RequestMapping指定method

• 模块命名为项目-子项目-业务，如zheng-cms-admin

• 数据表命名为：子系统_表，如cms_article

• 更多规范，参考[[阿里巴巴Java开发手册] http://git.oschina.net/shuzheng/zheng/attach_files
  </pre>

演示地址

演示地址： http://upms.zhangshuzheng.cn/

预览图

数据模型

拓扑图

开发进度

参与开发

首先谢谢大家支持，如果你希望参与开发，欢迎通过Github上fork本项目，并Pull Request您的commit。

常见问题

• Eclipse下，dubbo找不到dubbo.xsd报错，不影响使用，如果要解决，可参考 http://blog.csdn.net/gjldwz/article/details/50555922

• 报zheng-xxx.jar包找不到,请按照文档编译顺序，将源代码编译并安装到本地maven仓库

• zheng-cms-admin启动卡住：因为没有启动activemq

• zheng-upms-server访问报session不存在：因为没有启动redis服务

• 界面没有样式：因为zheng-admin没有编译安装到本地仓库

• linux下执行rpc-service脚本报“bin/bash^M 坏的解释器”，使用sed -i 's/\r$//' filename删除脚本中\r字符

作者：张恕征

感谢阅读，点个关注呗

阿里巴巴   https://github.com/alibaba

腾讯开源   https://github.com/Tencent

奇虎360   https://github.com/Qihoo360

小米开源  https://github.com/XiaoMi

豆瓣开源  https://github.com/douban

网易开源 https://github.com/netease

在这些公司的开源解决方案内，能够学习到国内最顶级的软件解决方案。

欢迎访问学习去。

————————————————

版权声明：本文为CSDN博主「霍先生的虚拟宇宙网络」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/u010919083/article/details/103285909

介绍

ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环，也是工作量较大的一块。Kettle是ETL中其中一个开源工具，基于纯Java开发。

kettle有两种脚本transformation（转换）和Job（作业）

Kettle有三个主要组件：Spoon、Kitchen、Pan

         Spoon：是一个图形化的界面，可以让我们用图形化的方式开发转换和作业。windows选择Spoon.bat；Linux选择Spoon.sh

         Kitchen：利用Kitchen可以使用命令行调用Job

         Pan：利用Pan可以用命令行的形式调用Trans

         Carte：Carte是一个轻量级的Web容器，用于建立专用、远程的ETL Server。

声明

1.Kettle最早叫做Kettle，后来该名为PDI，不过大多数人还是习惯于叫Kettle

2.我们这里使用的版本是最新的Kettle 8.1的版本

3.说明一下Kettle的帮助文档可以在Spoon中找到，如果有任何问题可以去帮组文档中查找

运行PDI Client（Spoon）

PDI Client启动分为两种：一种是安装包方式安装，然后在菜单栏中启动，这种方式并不是我们想要的。另外一种是通过解压zip包，然后通过启动脚本spoon.bat或者spoon.sh启动Spoon。

如果正确启动，则出现的主界面应该是下面这样的。

界面整体功能的介绍在Spoon的帮助文档中有详细的介绍，下图中的章节。

Kettle的使用流程

1.创建一个简单的转换

首先这个转换的事例是把testdb数据库中的t_user表的数据拷贝到test表数据库中的user表。

1）创建一个转换

2）连接到testdb和test数据库

连接好以后应该会在DB连接中出现两个数据库连接。

3）在核心对象中拖入一个表输入

并对表输入进行属性设置。

4）然后在核心对象中拖入插入/更新组件

5）按住shift从表输入到插入/更新

6）然后在对插入/更新进行配置，在用来查询的关键字中需要设置连接的字段。

7）最后保存，并运行这个转换，看看是否正确。

2.创建一个简单的作业

这个作业就是将之前的转换以定时执行的方式运行。

1）拖入开始组件，这里设置的间隔时间的3分钟

2）拖入转换组件，将刚刚保存的转换文件配置到Transformation属性中。

3）点击运行按钮，运行配置的作业。

3.连接资源库

在实际的团队开发过程中，不可能将自己的转换、作业和调度等配置存放在自己的电脑中。而Kettle的资源库正可以将我们的转换、作业等存储下来，构成一种协作平台。

转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。Kettle支持连接的资源库类型有三种：

         1.Pentaho Repository：使用的是Kettle公司自己的服务器，一般自己公司不会使用

         2.Database Repository：保存在数据库的资源库，通过用户名密码访问

         3.File Repository：保存的服务器硬盘的资源库，不用密码就可以使用

1）连接资源库

点击右侧的Connect按钮，打开资源连接的Dialog，这里我们需要选择Other Repository

然后在选择Database Repository，如下所示。

2）配置数据库连接，点击Database Connection进行配置

3）完成配置后，点击finish即可。配置完成后，数据库中会多出一些表，选择Connect Now。

4）选择连接后，我们需要输入用户名密码，即可连接到指定的资源库。注意，这里的用户名密码默认是admin/admin（管理员）或者guest/guest（访问者）。然后在title上会显示连接的资源库。

注意：上面的连接配置不要使用中文，包括资源名等等。不然会出现资源库配置为灰色，而且没有Connect按钮。解决方案见Kettle常见错误。

4.使用资源库进行协作开发

1.转换或作业的导入导出

1）导入

当我们有转换或作业在外部需要导入到资源库时，我们可以选择文件—从XML文件导入，选择我们需要导入的文件。

然后将文件保存，会弹出Save界面，选择保存的目录和文件名即可。

2）导出

当我们需要将资源库中的作业和转换保存到本地使用时，我们可以选择文件—导出，进行导出。

2.探索资源库

选择工具—资源库—探索资源库，可以连接到当前连接的资源库。

下面就连接上的资源库。浏览Tab主要是资源库中存在的转换和作业

在浏览的目录或者文件上可以进行以下的各种操作。在这里我实在是没有找不到access controll和历史版本查看的功能。

3.资源连接库管理

在右侧的显示个人信息地方我们可以管理资源库。

————————————————

版权声明：本文为CSDN博主「永远_不会懂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/u013468915/article/details/82629260

1、什么是ETL?

答：ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我要学习的ETL工具是Kettle！

2、什么是Kettle？

答：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
Kettle(现在已经更名为PDI，Pentaho Data Integration-Pentaho数据集成)。

3、Kettle的结构。

4、Kettle的结构-Spoon和Data Integration Server。

答：Spoon是构建ETL Jobs和Transformations的工具。Spoon以拖拽的方式图形化设计，能够通过spoon调用专用的数据集成引擎或者集群。

Data Integration Server是一个专用的ETL Server，它的主要功能有：

5、Kettle的结构-Enterprise Console。

答：Enterprise Console（企业控制台）提供了一个小型的客户端，用于管理Pentaho Data Integration企业版的部署。包括企业版本的证书管理、监控和控制远程Pentaho Data Integration服务器上的活动、分析已登记的作业和转换的动态绩效。

6、kettle的核心组件。

7、Kettle概念模型。Kettle的执行分为两个层次：Job（作业）和Transformation（转换）。

8、Kettle的下载。

Kettle官方网址：https://community.hitachivantara.com/s/article/data-integration-kettle，目前最新版本8.2版本的，不建议官网下载，贼慢，压缩包一个G左右的。

Kettle的国内镜像：7.1版本，http://mirror.bit.edu.cn/pentaho/Data%20Integration/，8.2版本，http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/

9、 Kettle的压缩包下载完毕，解压缩即可。Kettle的目录文件，如下所示：

10、 Kettle的部署，Kettle下载以后需要配置一下环境变量，因为Kettle是纯Java开发的哦！

由于Kettle是Java语言开发的，该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。安装jdk1.8版本即可，配置环境变量，这些自己百度一下就行了，不啰嗦了。在Window10环境下，双击Spoon.bat即可运行了。

11、Kettle界面简介。

12、Kettle实现，把数据从CSV文件复制到Excel文件。

首先，创建一个转换，找到核心对象，找到输入里面的CVS文件输入图元，拖拽到工作区域，双击CVS文件输入。

可以修改步骤的名称，点击浏览，选择到CVS文件，其他参数可以默认，点击获取字段，最后点击确定。

CVS文件输入配置完毕以后，可以配置Excel输出，如下所示：

此时，可以 按住shift拖动鼠标，划线，将CVS文件输入和Excel输出连到一起。

最后，点击Excel输出，选择字段，点击获取字段，将输出到Excel的字段进行映射，最后点击确定即可。

点击ctrl + s保存，然后点击启动按钮即可。

13 、Kettle的执行结果。

14、Kettle，可以被称为可视化编程。

1）、Kettle可以被归类为可视化编程语言(Visula Programming Languages,VPL)，因为Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。
2）、Kettle里的图就是转换和作业。
3）、可视化编程一直是Kettle里的核心概念，它可以让你快速构建复杂的ETL作业和减低维护工作量。它通过隐藏很多技术细节，使IT领域更贴近于商务领域。

15、Kettle里面的转换。

1）、转换(transaformation)是ETL解决方案中最主要的部分，它处理抽取、转换、加载各种对数据行的操作。
2）、转换包含一个或多个步骤(step)，如读取文件、过滤数据行、数据清洗或将数据加载到数据库。
3）、转换里的步骤通过跳(hop)来连接，跳定义一个单向通道，允许数据从一个步骤向另一个步骤流动。
4）、在Kettle里，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。
5）、数据流有的时候也被称之为记录流。

16、Kettle里面的，Step步骤（控件）是转换里的基本的组成部分。

一个步骤有如下几个关键特性：

1）、步骤需要有一个名字，这个名字在转换范围内唯一。
2）、每个步骤都会读、写数据行(唯一例外是"生成记录"步骤，该步骤只写数据)。
3）、步骤将数据写到与之相连的一个或多个输出跳，再传送到跳的另一端的步骤。
4）、大多数的步骤都可以有多个输出跳。一个步骤的数据发送可以被被设置为分发和复制，分发是目标步骤轮流接收记录，复制是所有的记录被同时发送到所有的目标步骤。

17、Kettle里面的，Hop跳（即图元之间的连线）。

1）、跳就是步骤之间带箭头的连线，跳定义了步骤之间的数据通路。
2）、跳实际上是两个步骤之间的被称之为行集的数据行缓存（行集的大小可以在转换的设置里定义）。
3）、当行集满了，向行集写数据的步骤将停止写入，直到行集里又有了空间。
4）、当行集空了，从行集读取数据的步骤停止读取，直到行集里又有可读的数据行。

18、Kettle里面的，数据行-数据类型。

数据以数据行的形式沿着步骤移动。一个数据行是零到多个字段的集合，字段包含下面几种数据类型。

1）、String:字符类型数据
2）、Number:双精度浮点数。
3）、Integer:带符号长整型（64位）。
4）、BigNumber:任意精度数据。
5）、Date:带毫秒精度的日期时间值。
6）、Boolean:取值为true和false的布尔值。
7）、Binary:二进制字段可以包含图像、声音、视频及其他类型的二进制数据。

19、Kettle里面的，数据行-元数据。

每个步骤在输出数据行时都有对字段的描述，这种描述就是数据行的元数据。通常包含下面一些信息。

1）、名称：行里的字段名应用是唯一的。
2）、数据类型：字段的数据类型。
3）、格式：数据显示的方式，如Integer的#、0.00。
4）、长度：字符串的长度或者BigNumber类型的长度。
5）、精度：BigNumber数据类型的十进制精度。
6）、货币符号：￥。
7）、小数点符号:十进制数据的小数点格式。不同文化背景下小数点符号是不同的，一般是点（.）或逗号（，）。
8）、分组符号：数值类型数据的分组符号，不同文化背景下数字里的分组符号也是不同的，一般是点（.）或逗号（，）或单引号（’）。

20、Kettle里面的，并行概念。

跳的这种基于行集缓存的规则允许每个步骤都是由一个独立的线程运行，这样并发程度最高。这一规则也允许数据以最小消耗内存的数据流的方式来处理。在数据仓库里，我们经常要处理大量数据，所以这种并发低消耗内存的方式也是ETL工具的核心需求。

对于kettle的转换，不可能定义一个执行顺序，因为所有步骤都以并发方式执行：当转换启动后，所有步骤都同时启动，从它们的输入跳中读取数据，并把处理过的数据写到输入跳，直到输入跳里不再有数据，就中止步骤的运行。当所有的步骤都中止了，整个转换就中止了。 （要与数据流向区分开）

如果你想要一个任务沿着指定的顺序执行，那么就要使用后面所讲的"作业"！

作者：别先生

   
博客园：https://www.cnblogs.com/biehongli/

本系统基于jdk1.8+Tomcat8+mysql5.7部署(内核引擎为Kettle9.0)，支持各个版本kettle(包括：kettle7、kettle8、kettle9等开发的作业和转换在线运行)，采用一键安装包（支持Windows和Linux部署），非常方便实用。

测试地址一    测试地址二 (用户密码admin )     加群下载、永久免费升级

一、主要功能说明：

• 如果动辄上百或几十个job需要管理，这时在使用客户端管理已经很难编排。

• 定时设置，可以按照cron的方式，设置定时的周期和时间。

• 可以进行作业调度和转换调度。

• 对作业和转换的执行情况进行监控。

• 实时查看作业运行日志，查看log日志，查看kettle内部的运行日志。

• 支持数据库资源库和文件资源库，可以共享进行多人开发。

• 支持多人协作的多用户模式，权限隔离。

• 采用B/S结构，灵活部署。

• 可以进行集群部署、分布式部署，提高承载能力。

• 可以进行任务判断和补发，提高容错能力。

二、系统截图：

2.1系统首页

2.2数据库资源库管理界面

2.3作业管理，同时支持数据库资源库和文件资源库 

2.4作业的调度设置界面

2.5转换的管理列表

2.6转换的编辑界面

2.7 监控界面

2.8用户管理界面

2.9策略配置界面