阿里巴巴 https://github.com/alibaba
腾讯开源 https://github.com/Tencent
奇虎360 https://github.com/Qihoo360
小米开源 https://github.com/XiaoMi
豆瓣开源 https://github.com/douban
网易开源 https://github.com/netease
在这些公司的开源解决方案内，能够学习到国内最顶级的软件解决方案。
欢迎访问学习去。
————————————————
版权声明：本文为CSDN博主「霍先生的虚拟宇宙网络」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u010919083/article/details/103285909
介绍
ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环，也是工作量较大的一块。Kettle是ETL中其中一个开源工具，基于纯Java开发。
kettle有两种脚本transformation（转换）和Job（作业）
Kettle有三个主要组件：Spoon、Kitchen、Pan
Spoon：是一个图形化的界面，可以让我们用图形化的方式开发转换和作业。windows选择Spoon.bat；Linux选择Spoon.sh
Kitchen：利用Kitchen可以使用命令行调用Job
Pan：利用Pan可以用命令行的形式调用Trans
Carte：Carte是一个轻量级的Web容器，用于建立专用、远程的ETL Server。
声明
1.Kettle最早叫做Kettle，后来该名为PDI，不过大多数人还是习惯于叫Kettle
2.我们这里使用的版本是最新的Kettle 8.1的版本
3.说明一下Kettle的帮助文档可以在Spoon中找到，如果有任何问题可以去帮组文档中查找
运行PDI Client（Spoon）
PDI Client启动分为两种：一种是安装包方式安装，然后在菜单栏中启动，这种方式并不是我们想要的。另外一种是通过解压zip包，然后通过启动脚本spoon.bat或者spoon.sh启动Spoon。
如果正确启动，则出现的主界面应该是下面这样的。
界面整体功能的介绍在Spoon的帮助文档中有详细的介绍，下图中的章节。
Kettle的使用流程
1.创建一个简单的转换
首先这个转换的事例是把testdb数据库中的t_user表的数据拷贝到test表数据库中的user表。
1）创建一个转换
2）连接到testdb和test数据库
连接好以后应该会在DB连接中出现两个数据库连接。
3）在核心对象中拖入一个表输入
并对表输入进行属性设置。
4）然后在核心对象中拖入插入/更新组件
5）按住shift从表输入到插入/更新
6）然后在对插入/更新进行配置，在用来查询的关键字中需要设置连接的字段。
7）最后保存，并运行这个转换，看看是否正确。
2.创建一个简单的作业
这个作业就是将之前的转换以定时执行的方式运行。
1）拖入开始组件，这里设置的间隔时间的3分钟
2）拖入转换组件，将刚刚保存的转换文件配置到Transformation属性中。
3）点击运行按钮，运行配置的作业。
3.连接资源库
在实际的团队开发过程中，不可能将自己的转换、作业和调度等配置存放在自己的电脑中。而Kettle的资源库正可以将我们的转换、作业等存储下来，构成一种协作平台。
转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。Kettle支持连接的资源库类型有三种：
1.Pentaho Repository：使用的是Kettle公司自己的服务器，一般自己公司不会使用
2.Database Repository：保存在数据库的资源库，通过用户名密码访问
3.File Repository：保存的服务器硬盘的资源库，不用密码就可以使用
1）连接资源库
点击右侧的Connect按钮，打开资源连接的Dialog，这里我们需要选择Other Repository
然后在选择Database Repository，如下所示。
2）配置数据库连接，点击Database Connection进行配置
3）完成配置后，点击finish即可。配置完成后，数据库中会多出一些表，选择Connect Now。
4）选择连接后，我们需要输入用户名密码，即可连接到指定的资源库。注意，这里的用户名密码默认是admin/admin（管理员）或者guest/guest（访问者）。然后在title上会显示连接的资源库。
注意：上面的连接配置不要使用中文，包括资源名等等。不然会出现资源库配置为灰色，而且没有Connect按钮。解决方案见Kettle常见错误。
4.使用资源库进行协作开发
1.转换或作业的导入导出
1）导入
当我们有转换或作业在外部需要导入到资源库时，我们可以选择文件—从XML文件导入，选择我们需要导入的文件。
然后将文件保存，会弹出Save界面，选择保存的目录和文件名即可。
2）导出
当我们需要将资源库中的作业和转换保存到本地使用时，我们可以选择文件—导出，进行导出。
2.探索资源库
选择工具—资源库—探索资源库，可以连接到当前连接的资源库。
下面就连接上的资源库。浏览Tab主要是资源库中存在的转换和作业
在浏览的目录或者文件上可以进行以下的各种操作。在这里我实在是没有找不到access controll和历史版本查看的功能。
3.资源连接库管理
在右侧的显示个人信息地方我们可以管理资源库。
————————————————
版权声明：本文为CSDN博主「永远_不会懂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013468915/article/details/82629260
1、什么是ETL?
答：ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我要学习的ETL工具是Kettle！
2、什么是Kettle？
答：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
Kettle(现在已经更名为PDI，Pentaho Data Integration-Pentaho数据集成)。
3、Kettle的结构。
4、Kettle的结构-Spoon和Data Integration Server。
答：Spoon是构建ETL Jobs和Transformations的工具。Spoon以拖拽的方式图形化设计，能够通过spoon调用专用的数据集成引擎或者集群。
Data Integration Server是一个专用的ETL Server，它的主要功能有：
5、Kettle的结构-Enterprise Console。
答：Enterprise Console（企业控制台）提供了一个小型的客户端，用于管理Pentaho Data Integration企业版的部署。包括企业版本的证书管理、监控和控制远程Pentaho Data Integration服务器上的活动、分析已登记的作业和转换的动态绩效。
6、kettle的核心组件。
7、Kettle概念模型。Kettle的执行分为两个层次：Job（作业）和Transformation（转换）。
8、Kettle的下载。
Kettle官方网址：https://community.hitachivantara.com/s/article/data-integration-kettle，目前最新版本8.2版本的，不建议官网下载，贼慢，压缩包一个G左右的。
Kettle的国内镜像：7.1版本，http://mirror.bit.edu.cn/pentaho/Data%20Integration/，8.2版本，http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/
9、 Kettle的压缩包下载完毕，解压缩即可。Kettle的目录文件，如下所示：
10、 Kettle的部署，Kettle下载以后需要配置一下环境变量，因为Kettle是纯Java开发的哦！
由于Kettle是Java语言开发的，该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。安装jdk1.8版本即可，配置环境变量，这些自己百度一下就行了，不啰嗦了。在Window10环境下，双击Spoon.bat即可运行了。
11、Kettle界面简介。
12、Kettle实现，把数据从CSV文件复制到Excel文件。
首先，创建一个转换，找到核心对象，找到输入里面的CVS文件输入图元，拖拽到工作区域，双击CVS文件输入。
可以修改步骤的名称，点击浏览，选择到CVS文件，其他参数可以默认，点击获取字段，最后点击确定。
CVS文件输入配置完毕以后，可以配置Excel输出，如下所示：
此时，可以 按住shift拖动鼠标，划线，将CVS文件输入和Excel输出连到一起。
最后，点击Excel输出，选择字段，点击获取字段，将输出到Excel的字段进行映射，最后点击确定即可。
点击ctrl + s保存，然后点击启动按钮即可。
13 、Kettle的执行结果。
14、Kettle，可以被称为可视化编程。
1）、Kettle可以被归类为可视化编程语言(Visula Programming Languages,VPL)，因为Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。
2）、Kettle里的图就是转换和作业。
3）、可视化编程一直是Kettle里的核心概念，它可以让你快速构建复杂的ETL作业和减低维护工作量。它通过隐藏很多技术细节，使IT领域更贴近于商务领域。
15、Kettle里面的转换。
1）、转换(transaformation)是ETL解决方案中最主要的部分，它处理抽取、转换、加载各种对数据行的操作。
2）、转换包含一个或多个步骤(step)，如读取文件、过滤数据行、数据清洗或将数据加载到数据库。
3）、转换里的步骤通过跳(hop)来连接，跳定义一个单向通道，允许数据从一个步骤向另一个步骤流动。
4）、在Kettle里，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。
5）、数据流有的时候也被称之为记录流。
16、Kettle里面的，Step步骤（控件）是转换里的基本的组成部分。
一个步骤有如下几个关键特性：
1）、步骤需要有一个名字，这个名字在转换范围内唯一。
2）、每个步骤都会读、写数据行(唯一例外是"生成记录"步骤，该步骤只写数据)。
3）、步骤将数据写到与之相连的一个或多个输出跳，再传送到跳的另一端的步骤。
4）、大多数的步骤都可以有多个输出跳。一个步骤的数据发送可以被被设置为分发和复制，分发是目标步骤轮流接收记录，复制是所有的记录被同时发送到所有的目标步骤。
17、Kettle里面的，Hop跳（即图元之间的连线）。
1）、跳就是步骤之间带箭头的连线，跳定义了步骤之间的数据通路。
2）、跳实际上是两个步骤之间的被称之为行集的数据行缓存（行集的大小可以在转换的设置里定义）。
3）、当行集满了，向行集写数据的步骤将停止写入，直到行集里又有了空间。
4）、当行集空了，从行集读取数据的步骤停止读取，直到行集里又有可读的数据行。
18、Kettle里面的，数据行-数据类型。
数据以数据行的形式沿着步骤移动。一个数据行是零到多个字段的集合，字段包含下面几种数据类型。
1）、String:字符类型数据
2）、Number:双精度浮点数。
3）、Integer:带符号长整型（64位）。
4）、BigNumber:任意精度数据。
5）、Date:带毫秒精度的日期时间值。
6）、Boolean:取值为true和false的布尔值。
7）、Binary:二进制字段可以包含图像、声音、视频及其他类型的二进制数据。
19、Kettle里面的，数据行-元数据。
每个步骤在输出数据行时都有对字段的描述，这种描述就是数据行的元数据。通常包含下面一些信息。
1）、名称：行里的字段名应用是唯一的。
2）、数据类型：字段的数据类型。
3）、格式：数据显示的方式，如Integer的#、0.00。
4）、长度：字符串的长度或者BigNumber类型的长度。
5）、精度：BigNumber数据类型的十进制精度。
6）、货币符号：￥。
7）、小数点符号:十进制数据的小数点格式。不同文化背景下小数点符号是不同的，一般是点（.）或逗号（，）。
8）、分组符号：数值类型数据的分组符号，不同文化背景下数字里的分组符号也是不同的，一般是点（.）或逗号（，）或单引号（’）。
20、Kettle里面的，并行概念。
跳的这种基于行集缓存的规则允许每个步骤都是由一个独立的线程运行，这样并发程度最高。这一规则也允许数据以最小消耗内存的数据流的方式来处理。在数据仓库里，我们经常要处理大量数据，所以这种并发低消耗内存的方式也是ETL工具的核心需求。
对于kettle的转换，不可能定义一个执行顺序，因为所有步骤都以并发方式执行：当转换启动后，所有步骤都同时启动，从它们的输入跳中读取数据，并把处理过的数据写到输入跳，直到输入跳里不再有数据，就中止步骤的运行。当所有的步骤都中止了，整个转换就中止了。 （要与数据流向区分开）
如果你想要一个任务沿着指定的顺序执行，那么就要使用后面所讲的"作业"！
作者：别先生
博客园：https://www.cnblogs.com/biehongli/
KettleOnline在线调度管理系统说明：
本系统基于jdk1.8+Tomcat8+mysql5.7部署(内核引擎为Kettle9.0)，支持各个版本kettle(包括：kettle7、kettle8、kettle9等开发的作业和转换在线运行)，采用一键安装包（支持Windows和Linux部署），非常方便实用。
测试地址一 测试地址二 (用户密码admin ) 加群下载、永久免费升级
一、主要功能说明：
High&NewTech：新物种？这是一种不需要写代码的程序猿，这事，得从Ta们掌握了 iVX工具(首个无代码编程语言)说起……
目录
新物种？这是一种不需要写代码的程序猿，这事，得从Ta们掌握了 iVX工具(首个无代码编程语言)说起……
3.3、可以自己通过iVX封装和重用内部模块(iVX内部叫小模块)
新物种？这是一种不需要写代码的程序猿，这事，得从Ta们掌握了 iVX工具(首个无代码编程语言)说起……
无数人在大学刚开始学编程课的第一天起，可能就开始幻想：能不能不写代码？拖拖拽拽程序就出来了。很多程序员或多或少可能都思考过这个问题，但时至今日，真正可用的工具非常少（某个领域内的DSL也许有），但是作为通用语言的“无代码”解决方案至今还没有出现。如果不算Scratch儿童编程（能够实现的功能太简单），iVX是我找到的非常nice的一个。
为什么只有一个“无代码”语言（也可以叫：通用解决方案或开发体系），我觉得主要原因还是，“确实非常难”，从综合技术角度来讲，要做出来，至少需要三个方面的突破：
理论代表构思“无代码”语言的可行性，现代编程体系中代码是如何产生的？哪些可以封装到对象里面？无法封装的业务逻辑如何表达？作为语言的颗粒度如何定义（能够做到精确表达对应代码）？如何实现语言迭代（如何构造抽象语言层）？如何调试如何编译？目标操作系统是哪些？编写代码是哪种？能够做多大规模的应用出来？理论的限制在什么方面？
所有这些问题，都要一个一个想明白。而且这一解决方案并不是靠我们一个团队就能单独完成，这里意思是说要配合相关基础技术的整体进步才能够实现；例如，CPU每年都比以前性能提升50%左右；操作系统和浏览器技术的快速进步；4G甚至5G为手机系统提供更快的网络访问。这些都为“无代码”语言理论可行性提供了有力支撑。要知道，如果在十几年前，IE6/7/8的年代，无论如何也是不可能做出来的。
我觉得要做出来“无代码”语言，技术上首先一定要继承现有的一些“技术成果”，当然主要是软件技术/软件工程领域的。 例如，这套语言应该是面向对象为基础的，还可以面向别的，但是基础一定是面向对象；应该结合云计算技术去实施，云计算已经提供了优秀的后端基础设施的解决方案，这部分直接用就好了（例如serverless CDN redis Docker 对象存储 弹性计算等等）；当然，前后台分离，数据驱动，组件化这些最好都有。
另外，技术上肯定也是需要突破的，这套思路以前没有人实施过，可以想象肯定有很多技术上的坑要去踩！尤其是在编译上，数据绑定处理上，逻辑控制，代码生成等方面。（内部人士透露哦）。
做出来的无疑是一套IDE，是一套完整的工具。如果让这个工具尽可能简单？如何符合开发者的习惯？能够快速打开和加载大规模的应用？工具如何布局可以使窗口尽可能的少？如何能最大限度减少操作次数？如何构造表达逻辑的面板（而且是图灵完备的）？
好啦，说了那么多，迫不及待地，让我们一起看看这个工具长什么样的吧……
iVX工具的简介
官网： https://www.ivx.cn/index
文档中心： https://www.ivx.cn/docview
Demo： https://demo.ivx.cn/
iVX属于首款零代码开发语言，它去掉了程序语法，但保留程序逻辑。它拥有着简单的界面和开发环境（纯web）：
前端和后台，都可以开发（看右侧，而且是前后台分离的）；前端所见即所得，组件不够可以自己写。
触发式的逻辑编写，每个对象后面都可以添加逻辑。支持“循环” “分支” “回调” “延迟”调用等。如果想看，已经开发的项目，可以简单查看 www.ivx.cn/videocenter （有一些解决方案在上面）。如果是程序员（无论前端后台还是iOS或其它）学习这套全新的开发方式，非常迅速，几天就可以上手，因为开发逻辑和方式几乎一摸一样。
快速学习：对新手，不在需要学习繁复语法，后台和数据库配置...，快速成为全栈工程师；
快速开发：使用拖拽配置方式，效率数倍提升，而且不容易出错，也无需配置环境（做完就发布上架）；
快速维护：整体来说容易进行结构化设计，可重用性很高，所有模块数据都可重用；
快速运行：产生的前后台代码质量都很高的（实测前端是React代码后台是Go代码，质量不错）；
由于，该工具包括了前后台，因此，学习后，对只熟悉某一端开发的工程师瞬间就成为了全栈工程师，你说6不6？
iVX对程序员友好的设计体现在方方面面。虽然是“无代码”，但毕竟是编程语言，所以还是为开发者而设计的！大家只是开发的效率更快了，不会丢了饭碗啦，哈哈。
支持程序员自定义组件，并使用自己开发的组件（以后据说也可以交易）。也可以直接导入npm包。
支持对外部数据库自定义SQL语句（DBO），以及对外部后台程序的RPC调用。
最后，敲重点，为了让更多的开发者更加清晰的了解首个无代码编程语言— iVX，现阶段的个人学习者，学习阶段全部免费哦，嘻嘻。