2021年8月

编者按:非洲,一个我们熟悉又陌生的“非常之洲”,一个落后与商机交织的“神秘之洲”。近日,界面新闻记者实地走访了坦桑尼亚、津巴布韦、肯尼亚和埃塞俄比亚等国,试图发现一个真实鲜活的非洲,勾勒出中国人在非洲大陆的援建生活和商业足迹。“到非洲去”,对任何人来说,都是一次需要精心准备的奇幻冒险。

见到卓武,是在北京。作为肯尼亚中华总商会会长,他随同非洲八国政府官员来中国参加“一带一路”建设的知识学习。

坐在北京东城区朝阳门北大街的一家酒店大堂,看着窗外车流,卓武笑着说,“回到国内,每个城市都是中国人,但感觉自己不属于这里”。

他的归属感在非洲。

20岁出头的年纪,卓武被公司派往肯尼亚,后来自己创业,一呆就是21年,如今商业版图涉及建材、家具、物流和旅游等行业。

他还致力于架构中非经贸合作和文化交流的桥梁,曾任职于东部非洲中国总商会副主席职务。2017年,在他的力促下,肯尼亚中华总商会在内罗毕成立,为中国小微企业融入当地社会提供更多服务。

肯尼亚副总统向肯尼亚中华总商会授牌。

7月上旬的一天,界面新闻记者采访了这位在非洲奋斗了21年的华商。

以下为卓武的口述:

我是安徽人,大学毕业后,在河南一家国企上班,1997年1月7日被派往肯尼亚做国际贸易。以前能去非洲工作,是一件了不起的事情,因为工资比国内高好几倍。虽然我不太知道非洲是什么样子, 但当时觉得能够不依赖社会背景和关系,获得这样一份工作,还是很不容易的。

当年,肯尼亚只有七八百个中国人,包括大使馆等驻外机构的工作人员。首都内罗毕比现在还要美,作为曾经的英国殖民地,基础实施和绿化都很好,因为人口比较少,车辆也少,显得道路很宽敞。现在,内罗毕的人口增加了、城市规模扩大了、汽车多了,道路也拥堵了。

在肯尼亚,华人比较少,大部分是华侨,基本上都是新侨。1997年到2007年,在肯尼亚工作生活的中国人以个人为主。2007年到现在,很多人拖家带口地过去。现在那边的中国人超过了数万。

我刚去肯尼亚的时候,没有亲人和朋友,语言、生活上很不适应,一到逢年过节尤其想家。我记得,第一年,一个人在非洲过春节,真的很痛苦,孤独、委屈。当时没有手机,只能用座机给家里打电话,一分钟20块钱,我的工资一个月才300多块钱,打个十几分钟的电话,就成“月光”了。所以,打电话的时候,我都会先打好腹稿,在最短的时间内把事情说清楚,说完赶紧挂掉。现在我还保留着通电话前打腹稿的习惯。

我在肯尼亚公司工作3个月后,就被派往乌干达分公司担任总经理,主要销售一种干电池产品。那时候当地市场上认可的是另外一种品牌的干电池,我们通过正常的销售渠道完全进不去。为了打开市场,我和当地员工每天背着干电池,走街串巷,通过这种方式再慢慢地接触上游的批发商。一天下来,脚上全是白泡。

辛苦总是有回报的。第一个月,我们卖出去的干电池不到50箱,到了第二个月,销售了大约500箱。就这样干了两年,1999年底,我从国企出来,开始自己创业。

卓武和肯尼亚梅鲁郡旅游局局长等官员合影。

前五年,因为缺乏经验和足够的资金,交了不少学费。

起初做苹果生意,把山东烟台的苹果进口到非洲。当时,我加入了联合国驻乌干达维和部队的水果供应商名单,每个月有2-3万美元的利润。挣了些钱之后,我就开始幻想回国买别墅、娶媳妇的生活了。

很快,幻想破灭了。有一次,在运输苹果的过程中,因为物流出了问题,苹果全部烂掉了,直接损失200多万元。最终,因为违约,也失去了维和部队水果供应商的资格。

另外,我在乌干达做了冷饮工厂,主要是做矿泉水和棒棒冰。因为缺乏人才和技术,产品质量没有达到标准,被客人投诉,又失败了。

一系列挫败,让我痛定思痛,也学到了一些经验,我开始寻找抗风险能力强的行业进行投资。随着非洲经济的发展,建材行业非常兴盛。当时东非市场没有中国人做建材产品,例如瓷砖,市场上的同类产品大多来自于西班牙和意大利,价格很高,一平方米的瓷砖卖到80多美元,同样的产品在中国只卖8美元左右,利润空间很大。

2005年到2008年,我积累了大概价值五六千万元人民币瓷砖的库存。生意就这样做了起来。

直到全球经济危机袭来,我遭遇了最大的一次损失。2010年,我在肯尼亚、乌干达、卢旺达的业务一落千丈。因为货币贬值、管理不善,还有市场竞争激烈等原因,损失大约上千万元。

幸运的是,我最终坚持了下来,现在建材、家具、物流和旅游业务都还不错。

肯尼亚中华总商会向肯尼亚国家警务委员会捐赠办公电脑。

在非洲做生意,虽然困难多,但是机会也多,属于商业“蓝海”,对很多人来说是逐梦之地。去非洲淘金的中国人,在蒙内铁路建设时期大批涌入了肯尼亚。这条全长480公里的铁路由中国企业承建,2014年9月开工。很多中国人就是那个时候过来的。

中国人在非洲从事的行业比较多,主要有贸易、金融、服务、工程建设等。贸易最容易受到当地人的抗议,因为会冲击到当地小商贩的生意,所以,从业者经常受到警察局、税务局和移民局的“骚扰”。做投资、做工厂、工程承包、金融服务等行业会更好一些。

其实,肯尼亚的主流民意,对中国人进入本国市场是很欢迎的,特别是肯尼亚的精英阶层,他们认为中国的“一带一路”是共赢的,“非洲梦”和“中国梦”是相通的;当地普通老百姓也很欢迎中国商人,因为可以享受到中国物美价廉的商品。

现在,中国是肯尼亚最大的投资国和贸易国。从贸易角度讲,肯尼亚每个家庭可能都有来自中国的产品,比如华为、OPPO、传音手机等是非常受肯尼亚人民欢迎的手机品牌,人们平时使用的自行车、电熨斗、瓷砖等也可能是来自中国的产品。

从基础建设角度看,肯尼亚的南环路、蒙内铁路,一些水利工程、房屋建设,都是中国企业承建的,这些对他们都有很大影响。从长远来看,中肯之间的经贸合作越来越开放。

越来越多的中国人去非洲工作生活,如何帮助他们更好、更快地融入当地的社会,是我一直考虑的事情。

我之前在东部非洲中国总商会任副主席,希望帮助中国企业和中国人做一些事情。但是所做的还远远不够。后来,我和几个商界朋友一起筹备设立了肯尼亚中华总商会,2017年3月在当地挂牌。我希望在当地华人华侨遇到不公平对待的时候,能够帮助他们发声。

近几年来,肯尼亚当局开始收紧工作签证的发放,而随着“一带一路”倡议的实施去非洲的中国人越来越多,两种因素的夹击下,要拿到工作签证的难度就大大提高了。这引发了一些问题。

为此,肯尼亚中华总商会和肯尼亚投资局、警察局、移民局和劳工局进行了积极沟通,积极呼吁这件事情的顺利解决,希望工作签证的发放既能够遵守当地的法律,又能够满足大众的需求。

肯尼亚中华总商会举办首届中肯合作论坛。

我们还希望今后能够多举办一些论坛,加强中肯之间的交流沟通,希望把商会的力量回馈给当地社会,比如学校、孤儿院、贫民窟等。我们鼓励更多的企业参与到当地的公益慈善活动当中去。

下一步,我想在肯尼亚做一个中国文化旅游中心,建一个中国小镇,也希望通过总商会的努力,撮合安徽的黄山市与肯尼亚山所在的梅鲁郡结成友好交流城市。

对我来说,非洲就是我的第二故乡。我真的希望中肯两国能更好地融合交流,两国人民能够互敬友爱。

就大部分华侨生活而言,面临的最大难题将是子女的教育问题。如果孩子学习当地的语言文化,恐怕失去中国的根儿。如果回国,父母就会和孩子无法一起生活。这件事情,一直让大家很纠结,恐怕还得继续纠结下去,希望国家可以关注到这部分人的需求。


自阿里提出“大中台、小前台”的理念之后,“中台”概念在行业内迅速席卷,成为关注的焦点。很多传统企业想要通过中台的搭建来实现数字化转型,同时也有很多互联网公司推出中台理念,发展自己的新业务。

而在这个瞬息万变的互联网时代,我们应该如何理解中台?什么样的中台战略才适合企业?这无疑是我们需要思考的问题。

 

一、中台探路

2015年,马云访问了位于芬兰的移动游戏巨头公司Supercell。拥有《部落冲突》、《卡通农场》、《海岛奇兵》、《皇室战争》和《荒野乱斗》等全球热门游戏的Supercell,在游戏开发上率先使用中台策略,把游戏开发过程中大量的素材、算法和工具等资源,沉淀在技术平台上,大幅提高了游戏开发小团队的效率,降低试错成本。

受此启发,阿里巴巴于2015年底启动“中台战略”。“中台战略”从组织架构和业务机制重构开始,拆掉“部门墙”,形成“大中台,小前台”的运作模式。具体来说,阿里巴巴的中台以业务中台、数据中台和人工智能中台为主要驱动,通过集合集团的运营数据能力、产品技术能力并进行知识沉淀、复用,对各前台业务进行强力的支撑,让前台的一线业务变得更敏捷,以快速适应瞬息万变的市场。

阿里巴巴的大中台架构

而互联网巨头之一的腾讯,也于2018年9月30日成立技术委员会,旨在打造具有腾讯特色的数据中台和技术中台。其中,数据中台包括用户中台、内容中台、应用中台等;技术中台包括通信中台、AI中台、安全中台等。通过这双中台,企业与开发者可以灵活地把技术应用到具体的业务场景中。

随后的2018年12月21日,京东也首次采用中台的组织架构概念进行了组织架构的调整。从纵向垂直一体化转变为积木化的前中后台的组织架构,重点建设了包含供应链、技术、营销、客服、基础平台业务等在内的大中台的同时,也在加速组织的扁平化。

总体来看,这些互联网企业发展中台有三个特点:

首先是中台的率先落地实践。传统企业的烟囱式架构,导致企业信息化存在重复建设、重复投资、高昂的交互和协作成本等问题。当这些互联网巨头们成长为业务极为多元、沟通逻辑十分复杂的庞大组织时,传统平台俨然已无法跟上发展的脚步。因此,他们对中台的迫切需求就首先需要在业务上去实现。通过构建有效的中台能力,并开放给客户,为各个领域的企业和开发者搭建数字化的业务平台,从而提升整个产业的竞争力。

第二,中台能快速实现老业务全面数字化,让企业目前还处在优势的业务能力数字化,让用户通过各种数字化渠道来达到目标,可以整合外部资源构建数字化生态,还能够做到基于精准的运营数据对业务进行调整。

第三,中台能快速地重用成熟业务模式来尝试新业务,新战略。对于新业务,可以重用企业的某些能力,能够基于一部分真实用户快速尝试新业务,还要能够分享在尝试新业务时获得的经验。

 

二、什么是真正的中台?

中台发展火热,很多中台的概念也纷纷抛出,但通过对中台的溯源分析我们可以看到,不管什么样的中台战略或者中台方案,都必须满足以下几个基本要求:

首先,中台战略能否助力企业实现数字化转型,建设卓越的数字企业,实现降本节费提质增效的目的,这是衡量中台战略终极标准。

其次,中台战略能否助力以用户为中心的持续规模化创新,中台建设想方设法持续提高企业对于用户的响应力和规模化创新能力。

第三,是否有能力沉淀。中台弥补创新驱动快速变化的前台和稳定可靠驱动变化周期相对较慢的后台之间的⽭盾,提供⼀个中间层来适配前台与后台的配速问题,沉淀能⼒,打通并顺滑链接前台需求与后台资源,帮助企业不断提升用户响应⼒。

第四,是否有技术积淀能力。中台基于统一能力框架(UCF)的产品及服务重构,体现了数字化时代业务创新的关键要素,如容器化、微服务架构、统一数字化建模、数据驱动、智能嵌入、开放、运营导向、混合云集成、国际化等。

 

三、实干型中台战略创新者

作为中台领域的创新者,JEPaaS云平台凭借创新的开发技术与丰富的行业经验推出了实干型中台工具,驱动企业数字化转型,赋能企业数字化创新。

针对大多数企业在数字化转型中分阶段建设的IT系统存在的烟囱式架构,JEPaaS数字中台将原有分散的企业应用系统通过以通信服务、数据库操作、应用式配置中心、认证中心等在内的多种基础组件进行快速对接,基于多维内存数据库技术在数据架构层实现数据信息的汇总,形成标准化数据,通过统一数据实现所有相关业务系统的集中管理。

JEPaaS数字中台架构图

通过JEPaaS数字中台,可以将企业中类似CRM、OA、ERP等应用软件中的用户管理、权限管理、表单定义、流程管理进行打通,也解决了实际运营管理工作中因为烟囱式架构而带来的业务疏离与协同效率差的难题。

与此同时,JEPaaS可将前台的通用能力沉降到中台,为前台“减肥瘦身”,恢复前台的响应⼒;并可将业务场景中共性的部分,以能力组件方式沉淀到中台,形成业务共享单元,实现后端业务资源到前台易用能力的转化,前台需求与后台资源的快速打通,使企业市场响应⼒得到快速提升。

JEPaaS基于数字中台开发的系列数字化产品和解决方案,形成了完整“技术+业务+运营”的服务体系,帮助企业建立高效的信息化中台,解决了企业实际存在的信息化不全面、运营管理难统筹和市场响应缓慢等诸多问题,为企业实现数字化创新提供了坚实的保障。


一、 数据湖概述

数据湖这一概念,最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是:如果我们把数据比作大自然的水,那么各个江川河流的水未经加工,源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。

“数据湖是一个集中化存储海量的、多个来源,多种类型数据,并可以对数据进行快速加工,分析的平台,本质上是一套先进的企业数据架构。”

"数据湖"的核心价值在于为企业提供了数据平台化运营机制。随着DT时代的到来,企业急需变革,需要利用信息化、数字化、新技术的利器形成平台化系统,赋能公司的人员和业务,快速应对挑战。而这一切的数据基础,正是数据湖所能提供的。

下面通过一组漫画,更直观的解释数据湖的概念。

从前,数据少的时候,人们拿脑子记就可以了,大不了采用结绳记事:

后来,为了更有效率的记事和工作,数据库出现了。数据库核心是满足快速的增删改查,应对联机事务。

比如你用银卡消费了,后台数据库就要快速记下这笔交易,更新你的卡余额。

日子久了,人们发现,库里的数据越来越多了,不光要支持联机业务,还有分析的价值。但是,传统数据库要满足频繁、快速的读写需求,并不适合这种以读取大量数据为特征的分析业务。

于是,人们在现有的数据库基础上,对数据进行加工。这个加工过程,被称为:ETL(Extract-Transform-Load)抽取、转换和加载。

经过这三步,数据仓库就建好了。这个“仓库”,主要是为了数据分析用途,比如用于BI、出报表、做经营分析等等。

简要总结下:数据库用于联机事务,通常为小数据量高频读写。

数据库等原始数据,经过ETL加工以后,就被装进了数据仓库。数据仓库主要用于联机分析业务,通常为大数据量读取。

虽然应用场景不一样,但他们都是结构化数据。

在相当长的一段时间内,他们联合起来,共同满足企业的实时“交易”型业务和联机“分析性”的业务。

随着时代的发展,数据的类型越来越多,人们对数据的需求也越来越复杂。

企业越来越看重这些“大数据”的价值,希望把他们存好、用好。

这些数据,五花八门,又多又杂,怎么存呢?

索性挖个大坑吧!

这就是数据湖的原型。说白了,数据湖就像一个“大水坑”,是一种把各类异构数据进行集中存储的架构。

为什么不是数据河Data River?

因为,数据要能存,而不是一江春水向东流。

为什么不是数据池Data Pool?

因为,要足够大,大数据太大,一池存不下。

为什么不是数据海Data Sea?

因为,企业的数据要有边界,可以流通和交换,但更注重隐私和安全,“海到无边天作岸”,那可不行。

so,数据湖,Data Lake,刚刚好。

可是,概念虽好,把这个“水坑”用好却不容易。

二、 数据湖特点

数据湖本身,具备以下几个特点:

1.原始数据

海量原始数据集中存储,无需加工。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志, XML, JSON),非结构化数据(电子邮件,文档, PDF)和二进制数据(图像,音频,视频)。也就是数据湖将不同种类的数据汇聚到一起。

2.按需计算

使用者按需处理,不需要移动数据即可计算。数据库通常提供了多种数据计算引擎供用户来选择。常见的包括批量、实时查询、流式处理、机器学习等。

3.延迟绑定

数据湖提供灵活的,面向任务的数据编订,不需要提前定义数据模型。

三、 数据湖优缺点

任何事物都有两面性,数据湖有优点也同样存在些缺点。

3.1优点

  1. 数据湖中的数据最接近原生的。这对于数据探索类需求,带来很大便利,可以直接得到原始数据。

  2. 数据湖统一企业内部各个业务系统数据,解决信息孤岛问题。为横跨多个系统的数据应用,提供一种可能。

  3. 数据湖提供了全局的、统一的企业级数据概览视图,这对于数据质量、数据安全..直到整体的数据治理,甚至提高到数据资产层面都大有裨益。

  4. 数据湖改变了原有工作模式,鼓励人人了解、分析数据;而不是依赖于专门的数据团队的”供给”方式,可以提升数据运营效率、改善客户互动、鼓励数据创新。

3.2 缺点

  1. 对数据的归集处理程度明显缺失,对于试图直接使用数据的用户来说显得有些过于“原材料”化,且数据太过冗余。应对这一问题,可通过”数据接入+数据加工+数据建模”的方式来解决。

  2. 对数据湖基础层的性能有较高要求,必须依托高性能的服务器进行数据处理过程。这主要是来自于海量数据、异构多样化数据、延迟绑定模式等带来的问题。.

  3. 数据处理技能要求高。这也主要是因为数据过于原始带来的问题。

四、 数据湖与关联概念

1.数据湖与数据仓库

数据湖建设思路从本质上颠覆了传统数据仓库建设方法论。传统的企业数据仓库则强调的是整合、面向主题、分层次等思路。其两者并不是对等的概念,更多是包含;即数据仓库作为数据湖的一类“数据应用”存在。

两者可从以下维度进行对比:

1)存储数据类型

数据仓库是存储清洗加工过的,可信任的、结构良好的数据;数据湖则是存储大量原始数据,包括结构化的、半结构化的和非结构化的数据。在我们世界中,主要是由原始的、混乱的、非结构化的数据组成。

随着“混乱数据”的不断升级,人们对它的兴趣也不断增长,想要更好的理解它、从其中获取价值、并根据它做出决策。这就得需要一个灵活、敏捷、经济且相对轻松的解决方案,然而这些都不是数据仓库的强项。而且当有新的需求提出时,传统数据仓库又难以快速随之变化。

2)处理数据方式

如果需要加载到数据仓库中的数据,我们首先需要定义好它,这叫做写时模式(Schema-On-Write)。而对于数据湖,您只需加载原始数据,然后,当您准备使用数据时,就给它一个定义,这叫做读时模式(Schema-On-Read)。

这是两种截然不同的数据处理方法。因为数据湖是在数据到使用时再定义模型结构,因此提高了数据模型定义的灵活性,可满足更多不同上层业务的高效率分析诉求。

3)工作合作方式

传统的数据仓库的工作方式是集中式的,业务人员给需求到数据团队,数据团队根据要求加工、开发成维度表,供业务团队通过BI报表工具查询。

数据湖更多是开放、自助式的(self-service),开放数据给所有人使用,数据团队更多是提供工具、环境供各业务团队使用(不过集中式的维度表建设还是需要的),业务团队进行开发、分析。

2.数据湖 vs 大数据

数据湖的技术实现,与大数据技术紧密结合。

·通过Hadoop存储成本低的特点,将海量的原始数据、本地数据、转换数据等保存在Hadoop中。这样所有数据都在一个地方存储,能给后续的管理、再处理、分析提供基础。

·通过Hive、Spark等低成本处理能力(相较于RDBMS),将数据交给大数据库平台即行处理。此外,还可通过Storm、Flink等支持流式处理等特殊计算方式。

·由于Hadoop的可扩展性,可以很方便地实现全量数据存储。结合数据生命周期管理,可做到全时间跨度的数据管控

3.数据湖 vs 云计算

云计算采用虚拟化、多租户等技术满足业务对服务器、网络、存储等基础资源的最大化利用,降低企业对IT基础设施的成本,为企业带来了巨大的经济性;同时云计算技术实现了主机、存储等资源快速申请、使用,则同样为企业带来了更多的管理便捷性。在构建数据湖的基础设施时,云计算技术可以发挥很大作用。此外,像AWS、MicroSoft、EMC等均提供了云端的数据湖服务。

4.数据湖 vs 人工智能

近些年,人工智能技术再一次飞速发展,训练和推理等需要同时处理超大的,甚至是多个数据集,这些数据集通常是视频、图片、文本等非结构化数据,来源于多个行业、组织、项目,对这些数据的采集、存储、清洗、转换、特征提取等工作是一个系列复杂、漫长的工程。数据湖需要为人工智能程序提供数据快速收集、治理、分析的平台,同时提供极高的带宽、海量小文件存取、多协议互通、数据共享的能力,可以极大加速数据挖掘、深度学习等过程。

5.数据湖 vs 数据治理

传统方式下,数据治理工作往往是在数据仓库中。那么在构建企业级数据湖后,对数据治理的需求实际更强了。因为与”预建模”方式的数仓不同,湖中的数据更加分散、无序、不规格化等,需要通过治理工作达到数据”可用”状态,否则数据湖很可能会”腐化”成数据沼泽,浪费大量的IT资源。平台化的数据湖架构能否驱动企业业务发展,数据治理至关重要。这也是对数据湖建设的最大挑战之一。

6.数据湖 vs 数据安全

数据湖中存放有大量原始及加工过的数据,这些数据在不受监管的情况下被访问是非常危险的。这里是需要考虑必要的数据安全及隐私保护问题,这些是需要数据湖提供的能力。但换种角度来看,将数据集中在数据湖中,其实是有利于数据安全工作的。这要比数据分散在企业各处要好的多。

五、 数据湖的架构体系

数据湖是一种存储架构,本质上讲是存储,企业基于云服务,可以快速挖出一个适合自己的“湖”,完成数据的采集、存储、处理、治理,提供数据集成共享服务、高性能计算能力和大数据分析算法模型,支撑经营管理数据分析应用的全面开展。为规模化数据应用赋能。

数据湖技术架构涉及了数据接入(转移)、数据存储、数据计算、数据应用、数据治理、元数据、数据质量、数据资源目录、数据安全及数据审计等10个方面领域:

图片

1.数据接入(移动)

数据提取允许连接器从不同的数据源获取数据并加载到数据湖中。数据提取支持:所有类型的结构化,半结构化和非结构化数据。批量,实时,一次性负载等多次摄取;在数据接入方面,需提供适配的多源异构数据资源接入方式,为企业数据湖的数据抽取汇聚提供通道。

2.数据存储

数据存储应是可扩展的,提供经济高效的存储并允许快速访问数据探索。它应该支持各种数据格式。

3.数据计算

数据湖需要提供多种数据分析引擎,来满足数据计算需求。需要满足批量、实时、流式等特定计算场景。此外,向下还需要提供海量数据的访问能力,可满足高并发读取需求,提高实时分析效率。并需要兼容各种开源的数据格式,直接访问以这些格式存储的数据。

4.数据治理

数据治理是管理数据湖中使用的数据的可用性,安全性和完整性的过程。数据治理是一项持续的工作,通过阐明战略、建立框架、制定方 针以及实现数据共享,为所有其他数据管理职能提供指导和监督。

5.元数据

元数据管理是数据湖整个数据生命周期中需要做的基础性工作,企业需要对元数据的生命周期进行管理。元数据管理本身并不是目的,它是组织从其数据中获得更多价值的一种手段,要达到数据驱动,组织必须先是由元数据驱动的。

6.数据资源目录

数据资源目录的初始构建,通常会扫描大量数据以收集元数据。目录的数据范围可能包括全部数据湖中被确定为有价值和可共享的数据资产。数据资源目录使用算法和机器学习自动完成查找和扫描数据集、提取元数据以支持数据集发现、暴露数据冲突、推断语义和业务术语、给数据打标签以支持搜索、以及标识隐私、安全性和敏感数据的合规性。

7.隐私与安全

数据安全是安全政策和安全程序的规划、开发和执行、以提供对数据和信息资产的身份验证、授权、访问和审核。需要在数据湖的每个层中实现安全性。它始于存储,发掘和消耗,基本需求是停止未授权用户的访问。身份验证、审计、授权和数据保护是数据湖安全的一些重要特性。

8.数据质量

数据质量是数据湖架构的重要组成部分。数据用于确定商业价值,从劣质数据中提取洞察力将导致质量差的洞察力。数据质量重点关注需求、检查、分析和提升的实现能力,对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

9.数据审计

两个主要的数据审计任务是跟踪对关键数据集的更改:跟踪重要数据集元素的更改;捕获如何/何时/以及更改这些元素的人员。数据审计有助于评估风险和合规性。

10.数据应用

数据应用是指通过对数据湖的数据进行统一的管理、加工和应用,对内支持业务运营、流程优化、营销推广、风险管理、渠道整合等活动,对外支持数据开放共享、数据服务等活动,从而提升数据在组织运营管理过程中的支撑辅助作用,同时实现数据价值的变现。在基本的计算能力之上,数据湖需提供批量报表、即席查询、交互式分析、数据仓库、机器学习等上层应用,还需要提供自助式数据探索能力。

六、 如何通过数据治理实现数据湖商业价值

数据湖对一个企业的数字化转型和可持续发展起着至关重要的作用。构建开放、灵活、可扩展的企业级统一数据管理和分析平台, 将企业内、外部数据随需关联,打破了数据的系统界限。

  1. 利用数据湖智能分析、数据可视化等技术,实现了数据共享、日常报表自动生成、快速和智能分析,满足企业各级数据分析应用需求。

  2. 深度挖掘数据价值,助力企业数字化转型落地。实现了数据的目录、模型、标准、认责、安全、可视化、共享等管理,实现数据集中存储、处理、分类与管理,实现报表生成自动化、数据分析敏捷化、数据挖掘可视化,实现数据质量评估、落地管理流程。

七、 数据湖遇到挑战

数据湖本身是一个中心化的存储,能够存储任意规模的结构化与非结构化数据。数据湖的优势就是数据可以先作为资产存放起来,问题就在于如何把这些数据在业务中利用起来。当部署了数据湖之后,数据治理问题将会接踵而至,比如从数据湖到数据湖,如何将数据进行分流、湖的数据如何进行整理等。

数据仓库里的数据是经过过整理、清晰易懂的。而数据湖的概念是不经处理直接进行堆砌,那么数据湖就有可能会变成“数据沼泽”,筛选难度会变大。由于定义不正确、信息不完整、数据陈旧或无法找到所需信息,它需要更多的元数据来理解存储在数据湖中的数据资产,包括数据内容、数据资产图谱、数据敏感性、用户喜好、数据质量、上下文(缺乏上下文将无法用于分析)和数据价值等业务层面的理解。另外这些系统和应用是技术人员开发的,由于技术人员和业务人员的思维和“语言”存在差异,这使得业务用户获取数据变得更加复杂和困难。

1.避免数据沼泽

如何让数据湖的水保持清亮不会成为数据沼泽?“数据湖的数据不被有效使用就会成为大垃圾场。”中国有句谚语:“流水不腐,户枢不蠹”。数据只有流动起来,才可以不成为数据沼泽,湖泊只是暂存数据河流的基地。数据流动就意味着所有的数据产生,最终要有它的耕种者和使用者。要让数据有效流动起来,就要建立有效的“数据河”(Data River)。业界在数据湖的尝试上一般都会忽视数据治理的重要性,这是很危险的,由它导致的数据沼泽也是企业对数据湖持续观望的原因之一。

2.数据智能化治理是数据湖实现价值必有之路

对数据治理的需求实际更强了。因为与“预建模”方式的数仓不同,湖中的数据更加分散、无序、不规则化等,需要通过治理工作达到数据“可用”状态,否则数据湖很可能会“腐化”成数据沼泽,浪费大量的IT资源。平台化的数据湖架构能否驱动企业业务发展,数据治理至关重要,没有数据湖治理,企业可能失去有意义的商业智能。这也是对数据湖建设的最大挑战之一。

考虑全面的数据湖治理,包括是谁引入的数据、谁负责数据,以及数据的定义,以确保数据的妥善标记和使用,实现对企业数据资源内容层面的优化改造和有效管控。

八、 数据湖的未来展望

现阶段数据湖更多是作为数据仓库的补充,数据湖概念和技术还在不断演化,不同的解决方案供应商也在添加新的特性和功能,包括架构标准化和互操作性、数据治理要求、数据安全性等。

数据湖作为一种云服务随时按需满足对不同数据的分析、处理和存储需求,数据湖的扩展性,可以为用户提供更多的实时分析,基于企业大数据的数据湖正在向支持更多类型的实时智能化服务发展,将会为企业现有的数据驱动型决策制定模式带来极大改变。

数据湖发展到现在,已经成为企业数据体系的基础:数据库、数仓、大数据处理、机器学习等各种数据服务,都可以“一湖尽收”。在这个“上云用数赋智”时代,很多企业已经完成上云第一步,接下来,就是如何“用数”和“赋智”。



作者:梅西爱骑车
链接:https://www.jianshu.com/p/098f2e2d726b
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


易维通圆桌智能制造系列:智能工厂信息化系统数据集成与共享

话题思考

1、我们接触过哪些信息化系统?

2、信息化系统数据集成最大的困难在哪里?

3、当前企业信息化软件部署存在哪些问题?

4、本地部署和云部署各有什么优缺点?

5、你所了解的本地部署、IaaS、PaaS、SaaS是什么?

信息化系统是智能制造的关键,那么,基于数据的信息化系统的功能是什么?如何运作?之间存在什么样的关系?

现在很多企业发现,信息化系统更新换代太快,以至于似乎刚刚上了一个管理系统软件,还没有用熟,好像马上就要落伍了,有些赶不上行业发展的步伐。这种现象很大的一部分原因在于对工厂信息化的架构和关系不够了解造成的,缺乏战略布局和规划。

一个企业需要涉及的管理系统软件很多,如常见的ERP、SAP、MES、PLM等。接下来对这些常见软件技术进行分析。

一、关于PLM、ERP、APS、MES几种信息系统的数据集成

技术的发展日新月异,企业要增强竞争力,在市场竞争中立于不败之地,采用先进技术武装自己是必由之路。近30年,对社会影响最大的技术进步当属信息技术,信息技术的进步改变着我们的日常生活,也改变着企业的方式。

现在我们在企业内办公,主要的工作都是通过电脑完成的,当然现在智能手机也能完成某些原来需要通过电脑完成的工作,但信息的主要功能还是通过电脑端完成的。电脑只是硬件,具体的功能还必须通过软件来实现,例如Word, Excel等都是常用软件。稍有规模的企业都是由多个部门组成的,部门之间的信息交流就需要更复杂的信息来实现,PLM(产品生命周期) ERP(企业资源计划) APS(高级计划与排程) MES(制造执行)是不同的信息,它们功能不同,但使用数据存在交叉重叠。如果这些之间没有集成,各自的所需数据需要多次录入,增加了信息维护工作量和出错机会,每个都是一座信息孤岛。如果是成立多年的企业,他们的信息化路径一般是,从财务和CAD画图开始,又过渡到进销存,之后进行生产环节的信息化。除非新成立的企业,信息化工作可以全盘展开考虑。已经存在的企业,面临的局面都是已经有些信息,如果继续提升信息化水平,必须结合当前的状况。必须考虑未来信息与现在信息的集成。

中国制造2025计划,加深了中国制造企业对信息系统的认知度,企业开始认识到产品创新的重要性以及信息在产品创新中的地位。比如企业通过PLM对产品的生命周期进行管理,可以加速产品的创新迭代,让产品发挥并提升价值,这个技术是为了适应企业的发展而产生的——需求促进技术要求。

凡事预则立,不预则废。对信息规划也是一样,信息规划者既要看当前企业需求,也要考虑未来增加信息时,不同信息之间的衔接和信息通信。

对信息的理解,我们可以分为概念上的信息和实际中的信息。概念上的信息指PLM, ERP, APS和MES按照他们的概念各有各的功能,但一套实际的信息,可能涵盖理论上多个功能,例如一套MES,可能也涵盖了ERP中的进销存功能。就像防火墙和路由器是两个不同的概念,可是现实中,实际的路由器除了路由功能外,都有简单的防火墙功能,而实际的防火墙都包括了路由器的功能。我们这里介绍各功能,以理论上的功能为定义,这样表述起来更明确。(本文我们只讲理论上的功能)

1、云计算

近些年来,国家大力提倡设备上云,所谓的云计算,就是将原本工厂本地的数据中心运行的软件、系统部署到远程的数据中心。这些数据中心有专业的运营服务商(腾讯云、阿里云)来负责,这样的好处是企业可以免去数据中心建设、通信建设和管理相关的任务,将这些基础服务外包给了专业的云计算服务提供商,对于工业信息化系统,这将是以后非常常见的运行方式,这里先谈谈信息化系统的部署。

(1)信息化系统的部署

通常由三种云服务模型:SaaS(软件即服务)、PaaS(平台即服务)、IaaS(基础架构即服务)

用户通过Internet 可以从完善的计算机基础设施获得服务。这类服务可以称为基础设施即服务,这就是通常所说的IAAS。而相应的另外两种服务就是平台即服务和软件即服务。平台及服务提供了用户可以访问的完整或部分的应用程序开发,我们通常称之为PAAS。软件及服务则提供了完整的可直接使用的应用程序,我们通常称之为SAAS。如果把他们看作层次结构,那么第一层自然叫做IAAS,第二层就是PAAS,第三层也就是SAAS。

区别是什么呢?

打个比方,如果我们要吃饺子,我们有三种方式:

——自己做——那么你就需要准备很多东西

——买速冻饺子然后自己做

——叫外卖

——上饺子馆直接吃,吃完走人

而这几种方式有什么区别呢?看下图:

对于企业来说,假设你是一个非常强大的公司,拥有基础设施以及其他一切的应用手段,那么,就可以把云计算分成三层:基础设施、平台、软件

这其实就是云计算的三个分层,基础设施在最下端,平台在中间,软件在顶端,分别是Infrastructure-as-a-Service(IAAS),Platform-as-a-Service(PAAS),Software-as-a-Service(SAAS),别的一些“软”的层可以在这些层上面添加。

而你的公司什么都有,现在所处的状态叫本地部署(On-Premises),就像在自己家做饺子一样。如果你想在办公室或者公司的网站上运行一些企业应用,你需要去买服务器,或者别的高昂的硬件来控制本地应用,让你的业务运行起来,这就叫本地部署。

假如你突然有一天想明白了,只是为了吃上饺子,为什么非要自己做呢?于是,准备考虑一家云服务供应商,这个云服务供应商能提供哪些服务呢?其所能提供的云服务也就是云计算的三个分层:PAAS、IAAS和SAAS,就像饺子店提供三种服务:买成品回家做、外卖和到店吃。

IAAS: Infrastructure-as-a-Service(基础设施即服务),由高度可扩展和自动化的计算机资源组成,是完全自主服务,用于访问和监控计算,网络、存储和其他服务等内容。它允许企业按需求和需要购买资源,而不必购买全部的硬件。有了IAAS,你可以将硬件外包到别的地方去。IAAS公司会提供场外服务器,存储和网络硬件,你可以租用。节省了维护成本和办公场地,公司可以在任何时候利用这些硬件来运行其应用。一些大的IAAS公司包括Amazon, Microsoft, VMWare, Rackspace和Red Hat.不过这些公司又都有自己的专长,比如Amazon和微软给你提供的不只是IAAS,他们还会将其计算能力出租给你来构建你的网站。

PAAS: Platform-as-a-Service(平台即服务),第二层就是所谓的PAAS,某些时候也叫做中间件。公司所有的开发都可以在这一层进行,节省了时间和资源。云平台服务或平台即服务为某些软件提供了一些云组件,这些组件主要是用于应用程序。PAAS开发中提供了一些框架,可以基于它创建很多自定义的应用程序,所有服务器、存储、网络都可以由企业或者第三方提供商来进行管理,而开发人员负责应用程序的管理。

PAAS公司在网上提供各种开发和分发应用的解决方案,比如虚拟服务器和操作系统。这节省了你在硬件上的费用,也让分散的工作室之间的合作变得更加容易。网页应用管理,应用设计,应用虚拟主机,存储,安全以及应用开发协作工具等。

SAAS: Software-as-a-Service(软件即服务),第三层也就是所谓SAAS,云应用程序服务,代表了云计算市场中企业最常用的选项。SaaS利用互联网,向其他用户提供应用程序,这些应用程序由第三方供应商管理。这一层是和你的生活每天接触的一层,大多是通过网页浏览器来接入。不需要任何下载和安装,任何一个远程服务器上的应用都可以通过网络来运行,就是SAAS了。

2、智能工厂信息化软件——PLM、ERP、APS、MES信息功能介绍

2.1 ERP

企业资源计划即 ERP (Enterprise Resource Planning)它是由美国 Gartner Group 公司于1990年提出。企业资源计划用于制造业,是一种资源计划软件。理论上的ERP可以包括业务流程,产品数据,存货、分销与运输,人力资源和定期报告。现实中的ERP主要是财务和进销存,其它模块相对应用少,ERP的生产模块普遍功能弱,难以满足企业生产计划排程的需要。如果将企业比作一个人,那么ERP相当于你手中的电脑、手机等设备,而人通过这些硬件和安装在这些设备中的各种软件,获取足够多的信息以做出更合适的选择。比如天气预报可以提供给我们天气的信息,以便准备出行。

ERP就是一个数据功能应用的集合,存储了各种企业生产、业务、技术、运营等数据,然后通过各种应用功能使用这些数据,经过运算输出便于我们管理企业的内容。

ERP的发展的过程可以分为下面五个阶段:

第一阶段: MIS 系统阶段 (Management Information System)信息管理系统

企业的信息管理系统主要是记录大量原始数据、支持查询、汇总等方面的工作。

第二阶段: MRP阶段 (Material Require Planning)物料需求计划

企业的信息管理系统对产品构成进行管理,借助计算机的运算能力及系统对客户订单,在库物料,产品构成的管理能力,实现依据客户订单,按照产品结构清单展开并计算物料需求计划。实现减少库存,优化库存的管理目标。

第三阶段:MRP II 阶段 (Manufacture Resource Planning)制造资源计划

在 MRP 管理系统的基础上,系统增加了对企业生产中心、加工工时、生产能力等方面的管理,以实现计算机进行生产排程的功能,同时也将财务的功能囊括进来,在企业中形成以计算机为核心的闭环管理系统,这种管理系统已能动态监察到产、供、销的全部生产过程。

第四阶段:ERP 阶段 (Enterprise Resource Planning)企业资源计划

进入 ERP 阶段后,以计算机为核心的企业级的管理系统更为成熟,系统增加了包括财务预测、生产能力、调整资源调度等方面的功能。配合企业实现JIT管理全面、质量管理和生产资源调度管理及辅助决策的功能。成为企业进行生产管理及决策的平台工具。

ERP系统的本质就是通过网络技术,将企业的硬件、软件资源的信息整合在一起,以便公司采取更加合理的决策。

MIS是信息管理系统,关键词是“记录”。

MRP是物料需求计划,以拉动式生产的角度展开。

MRPⅡ是制造企业资源计划,加入财务模块。

ERP是企业资源计划,范围更大,严格意义上,各种企业资源都纳入进行管理,如加入人力资源等模块。

2.2 APS——实现ERP生产计划的一些功能,可以视为ERP的一种

APS,又名高级计划与排程,它的英文全称是 Advanced Planning and Scheduling,企业软件。是对所有资源具有同步的,实时的,具有约束能力的模拟能力,不论是物料,机器设备,人员,供应,客户需求等影响计划因素。主要对短期的计划优化,对比,可执行性。其将要采用基于内存的计算结构,这种计算处理可以持续的进行计算。解决复杂的生产计划排程问题必须借助于APS。

2.3MES——制造企业生产过程执行系统

MES制造执行系统是一套面向制造企业车间执行层的生产信息化管理系统。MES制造执行系统可以为企业提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块,为企业打造一个扎实、可靠、全面、可行的制造协同管理平台。

现实中的mes系统主要着眼于利用各种技术手段实现数据采集,为企业的数据分析提供一些数据的支持。

制造执行管理系统是美国在90年代初提出来的,其目的是为了加强ERP的计划执行功能,将计划执行功能同车间的现场控制进行系统联系,然后通过控制层设备(PLC程控器、数据采集器、条形码、各种计量及检测仪器、机械手等)来进行控制。

MES系统的特点。

1)数据采集引擎、整合数据采集渠道(RFID、条码设备、PLC、Sensor、IPC、PC等)覆盖整个工厂制造现场,保证现场数据的实时、准确、全面的采集;

2)打造工厂生产管理系统数据采集基础平台,具备良好的扩展性;

3)采用先进的RFID、条码与移动计算技术,打造从原材料供应、生产、销售物流闭环的条码系统;

4)全面完整的产品追踪追溯功能;

5)生产状况监视;

6)库存管理与看板管理;

7)实时、全面、准确的性能与品质分析SPC。

这些与工业化4.0所提倡的很多点是一致的。

这些年很多公司都在热衷于上线MES系统,很大原因在于其“实在憨厚”的本性。我们看看MES可以帮我们解决哪些“实在”的问题,提供哪些“实在”的便利呢?

MES提供的便利:

1)不下车间掌控生产现场状况工艺参数监测、实录、受控

2)制程品质管理,问题追溯分析

3)物料损耗、配给跟踪、库存管理

4)生产排程管理,合理安排工单

5)客户订单跟踪管理,如期出货

6)生产异常,及时报警提示

7)设备维护管理,自动提示保养

8)OEE指标分析,提升设备效率

9)自动数据采集,实时准确客观

10)报表自动及时生成,无纸化

11)员工生产跟踪,考核依据客观

12)成本快速核算,订单报价决策

13)细化成本管理,预算执行分析

对比mes的功能来看,其实施前后的变化如下:

这些便利可以细分成11大核心模块,我们来看看。

1、生产调度:通过对有限资源能力的排序和调度为作业计划进行优化与排序;

2、资源分配和状态:管理生产所需资源,协调劳动者、生产设备、工具和物料的分配使之最优化,并且跟踪其当前工作状态以及完工情况;

3、生产过程管理:通过生产指令将物料或加工命令送到某一加工单元开始工序或工步的操作;

4、文档管理:管理和分发与产品、工艺规程、设计或工作令有关的记录和单据,以及对生产历史数据的保存与维护;

5、产品跟踪和产品清单管理:通过监视工件在任意时刻的位置和状态信息来获取每一个产品的历史记录,此记录可向上追踪至材料组件,或追踪至终端成品;

6、性能分析:提供实际制造过程的结果报告,并与历史记录及所期望的目标进行比较;

7、劳力资源管理:提供按分钟级更新的员工状态信息数据(包括工时、参与率、成果确认等)便于指导人员的工作;

8、维护管理:追踪设备和工具的保养情况,指导维护工作,保证机器和其他资产设备的正常运转以实现工厂的执行目标;

9、过程管理:监控生产过程,指导工厂的工作流程,提高加工效率和质量;

10、质量管理:实时分析从制造现场采集到的信息,跟踪和分析加工过程的质量,确保产品品质;

11、数据采集:采集并组织来自人员,机器和底层控制操作数据以及工序物料信息,从而获得内部生产作业所需的表格、记录或参数资料。

2.4 PLM产品生命周期

PLM,是一个英文缩写,翻译过来产品生命周期(Product Lifecycle Management,PLM)根据业界权威CIMDATA定义,PLM为一种应用于在单一地点的企业内部、分散在多个地点企业内部,在产品研发领域具有协作关系的企业之间的,支持产品全生命周期的信息的创建、分发和应用的应用解决方案。现实中的PLM一般是用于对图纸和文档进行。

它实施一整套的业务解决方案,把人、过程和信息有效地集成在一起,作用于整个企业,覆盖产品从概念到销售的全生命周期,支持产品全生命周期的信息的创建、管理、分发和应用的一系列应用解决方案,它能够集成与产品相关的人力资源、流程、应用系统和信息。

对比来说,ERP、MES主要是解决企业内部的问题,而PLM的侧重点是产品的市场调研与产品销售后的服务。

PLM 解决方案的初衷是满足汽车和航天产业的需求。虽然此类系统功能多样且操作复杂,但能够有效管理生命周期长达数年的产品。对于产品生命周期极短或发展飞快的行业来说,此类 PLM 解决方案通常无法奏效。

相反,新一代的现代 PLM 解决方案已经推出,专为管理历时极短(通常为几个月甚至几周)且节奏超快的产品生命周期而设计。尤其是,能够满足服装、箱包、制鞋等市场中企业特定需求的 PLM 系统已经出现—— DNASOFT PLM。

2.4.1、PLM产品模块

PLM总控台:分季节、主题、系列等对项目进行规划,根据产品设计过程中数据回流,快速准确地审阅和对比计划,并有实时调整和同步功能,实现对产品周期的管控

设计CAD:承接企划的任务数据,利用设计CAD专业设计功能快速自由/组合设计,还可以将线下设计稿,用手机APP快速上传至系统中。款式图片及自动配色、配料、搭配方案等数字设计结果自动分解形成各类产品数据BOM。设计图稿一旦上传,设计师无法删除,即使人员流失,设计稿依然保存在系统中。资料全部数据化方便,新晋设计师查找设计稿熟悉公司的设计风格,快速度过“新手期”

版型CAD:设计数据流向CAD作为参考,CAD工作后的尺寸表、单用量数据回流工作数据台,形成产品数据。减少不同部门的人员,一些简单的沟通,提高设计师的工作效率,节省设计资源。

工艺CAPP:基于款式效果图一键褪色,进行各类工艺标识,可视化图形设计自动分解形成各类产品工艺BOM数据,改变传统制单模式。从设计CAD流入的数据,自动生成的工艺表单,解决数据不流通,影响生产进度的问题。同时,软件上还可以显示工艺的进行情况,让高层把握工作进度,从而制定方向。

样品管家:唯一二维码管理模式,结合APP扫码对样衣的完整属性信息查阅、借用、流向追踪等精细化管理。

BOM中心:清晰了解开发进度,按物料、颜色尺码等统计开发情况,版单与设计文件、版型文件、物料等互相关联,后期基于完整数据可快速返单。

板料供应链:能应对常变多维度的数据来源(企划、设计、头版、齐色、大货),进行物料需求分析,快速完成采购单汇总,以及简便规范的物料仓储操作流程,实现无纸化办公。

成本预算:自动关联的核价细节,相关核价表单展示,并定制报表打印。

发外工艺:清晰了解工艺发外加工情况,并有时间预警,及时跟踪工艺按时回收。

2.4.2、PLM与PDM的区别

PDM

PDM作为产品创新数字化的重要概念,是Production Data Management的缩写,顾名思义,关注点在于产品数据的信息管理,并且在传统的理解中,更确切的是指产品研发过程的数据管理,即Engineering Process Management,内容一般会包括如下常规部分:

1) 文档管理

文档是产品数据中不可缺少的部分,如各类行业设计标准及规范、产品的市场需求、产品研发过程产生的的需求分析、详细设计等技术文件,甚至包括这些文档的模板,都需要进行良好的管理和标准化。当然,为了更顺畅进行文档的内容更改记录和结果管理,往往需要在此环节涉及PDM系统与Office办公工具软件的集成。

2) 图纸管理

图纸是产品设计的重要结果数据文件,是PDM关注的核心,而在PDM逐渐成熟的过程中的早期,国内市场上大量存在的是图文档管理系统。直到现在,很多国产PDM系统依然以图文档管理作为核心功能。

3) CAD集成

产品在我们的生活中无处不在,用于进行产品设计的工具软件也种类繁多,为了更好的进行图纸管理,将图纸信息(甚至包括图面信息的提取)如何顺畅的从CAD环境传递到PDM系统并保持同步性和关联性,则带来了CAD集成这样一个重要的实施部分。常见的CAD软件如AutoCAD、基于AutoCAD的二次开发软件、NX、Pro/E,以及Protel、Cadence等。

4) 可视化管理

由于图文档均被纳入到PDM的管理数据,然而由于相应的图文档编辑软件种类极为繁多,PDM中的使用者(包括各级领导)面临大量不同格式的图文档浏览需要,如果人人都安装各种编辑软件是不可想象的。提供统一的公共的可视化管理成为必需。

5) 物料管理与产品结构管理

在PDM系统中仅仅管理图文档的管理是远远不够的。按照PDM的传统理念,是以产品结构为中心组织各类数据,产品结构由各种类型的物料所构成,也成为每份图文档文件所依附的节点。物料管理作为一个独立的话题,还面对很多内容,如物料的编码系统,物料的创建申请,物料的可用状态的变化等等。

6) 产品配置管理

越来越多的产品需要在标准配置或功能基础上,为客户进行不同程度的个性化定制,这带来了设计环节思路上的重要变化,即产品配置管理。可以为客户提供大量的丰富的可选功能部件,满足不同的客户需求。如针对功能的标准型、高级型、豪华型,如针对不同地区的型号,针对不同性别年龄的型号等很多角度的产品设计资料的配置。

7) 工作流管理

正如上面所提及的,不论是图纸还是文档、物料以及产品结构,都需要从草稿状态到最终发布生效(甚至是多次的阶段性发布生效),相应的大量签审过程都属于工作流管理的范畴。可以这样讲,工作流驱动机制使得PDM能够管理数据状态的不断变化。

8) 其余基础部分(组织管理、权限管理等)

理所当然的,为了能够在PDM中创建和访问数据,相应的要管理必要的人员组织以及权限等基础性架,以上提及的,是PDM的常规涉及范围,而PLM,则代表了更全面的视角。

PLM
PLM的观点认为,一个标准完整的产品生命周期应该起源于需求。这种需求可能来自于市场的调查、分析或者反馈,也可能来自于企业自身不断创新推出新产品引领市场的需要。由于成本原因、技术风险原因或者市场条件变化等原因,最终有多少需求能够真正反映到企业的新产品中是一个值得探讨和管理的话题。因此在PLM系统中第一个关注的就是需求管理,跟踪有多少需求是最终有效的,以及这些需求的实现结果,并为后续新品的开发积累基础。

当相应的需求不断细化后,接下来会展开概念设计的工作,此阶段产生大量的技术尝试方案和原型系统以支持可行性论证等工作,虽然此时并非正式的产品研发,但作为企业的宝贵知识资产必须进行合理的管理和总结分析。

当企业真正确定了产品将采用的技术方案后,则进入了Production Engineer环节,即以往PDM的管理范畴,在此不再赘述。

从工作环节划分上,在完成产品的基本设计后,为了支持后续的生产,还必须要经过工艺设计。在不同产品类型和生产类型的企业中,工艺可能是指设计工艺,也可能是指生产工艺。这部分工作涉及到了工艺路线、工艺规程、工艺卡片等,也就是以往在中国广泛存在的CAPP系统的范畴。在PLM的大概念下,将工艺环节纳入并作为一个不可缺少的实施环节。

产品经过工艺设计后,会安排小批量的试制或者试验,试验数据也将对产品量产或交付上市前的完善产生重要参考支持,即TDM(Test Data Management)所关注的业务环节。

产品最终交付给客户后,通常还需要进行售后维护,那么该何时定期维护、如何管理和跟踪产品的实际状态以决定预防性维修,如何制定产品出现问题后的维护策略(如就地维护还是返厂维护等),则是一个目前新兴的重要业务领域,即MRO,同时MRO的大量信息也需要来自于最初的设计部门的产品设计资料以及产品出库和交付过程的大量记录信息。

最终随着市场的发展和更新换代的需要,一些型号的产品不再安排生产和售后维护从而真正的退出市场,意味着这类产品生命周期的结束。

这样的一个完整过程是产品生命周期理念的精髓和管理价值所在,同时在此过程中,必须要解决项目管理视角的数据组织、质量管理体系的建设、与周边ERP系统以及MES系统的信息交互,各种类型BOM数据的转换交付文档的动态内容出版解决方案,以及需要集成更多种类的工具软件(CAE/CAM)等大量细节问题。

总结

通过上面的表述,相信很多人已经对PDM和PLM的概念能够做出相应的区分判断。大致的差异有两点总结:

1) 关注范围不同

PDM关注的是研发数据的管理,虽然也会涉及其余部门,一般会重点集中于设计部门进行实施,而PLM关注整个产品生命周期,实施范围可能涉及市场、销售、研发、工艺、制造、工程和售后维护等大量环节,每个环节都有可能成为实施的关注点。可以说,在业务范围和功能深度上,PLM做了大量的延伸。

2) 实施难度不同

PLM的实施相比PDM显然难度更大,业务领域更多,对实施顾问、技术顾问的经验和技能要求更多,从业压力更大。在国内,由于两者的混淆,经常会见到以PLM为名的项目只是在做PDM范围的工作,并没有覆盖到应有的整体业务,企业的管理效率只能在局部取得改善。

相信随着实施服务商水平的不断进步,国内客户知识的不断增长,PLM产品整体功能和行业解决方案的不断成熟,真正的PLM解决方案一定会逐渐发挥和展现它应有的意义和价值。

3、各系统的协作关系

(1)工厂的物流与信息流

物流:原料采购,原料入库,原料出库、加工组装、测试、验收、出厂交付客户。

信息流:

一个产品的生产如下:

市场调查(获取市场需求)——核心数据录入PLM系统(形成初步需求规格书)——需求下发设计部门——细化需求,开展设计——产生方案并论证可行性测试——确认方案——PDM环节,完成基本设计,工艺设计——小批量生产,获取是生产数据——市场化(销售)——合同、文件录入ERP系统——按照需求获取物料清单——ERP生产计划系统开始规划生产——MES接受生产计划指挥控制层开始工作(在生产过程中MES实时向ERP和PLM反馈数据)——合同满足,交付客户——PLM继续监控产品售后数据

————有些企业将售后维保系统部署到了客户的生产系统中,跟自己的企业系统进行了对接,为用户提供设备的运行状况检测、生命周期预测、维护保养建议等服务。当企业数据云服务化之后,可以选择将软件部署在云端。这些数据还可以和客户的mes系统对接,厂家实时获取设备的状态数据,用户则除了状态数据还可以获得生产数据,真正实现社会化大生产的数据共享,为柔性生产提供数据支持。

PLM系统包含了PDM系统,同时兼顾了需求调研和售后维保两个环节。如果说ERP和MES是企业内部的管理系统,那么毫无疑问PLM为跨企业数据共享提供可通道。

总结

制造企业关心三个问题:生产什么,生产多少以及如何生产。如何生产又包括可以生产什么,在什么时间生产什么,在什么时间已生产什么,质量如何效率如何等问题,ERP回答的就是前两个问题,根据合同,确定生产目标和生产计划。MES协调解决如何生产问题。

MES管理都是在ERP的框架下运行的,是ERP的子集或交集。主要功能是对ERP的计划的一种监控和反馈,是ERP业务管理在生产现场的细化。ERP是业务管理级的系统,而MES是现场作业级的系统。所以,很多MES管理软件都会与工业设备,通过工控技术进行实时数据采集,再上传给ERP系统进行业务状态改变和业务指令处理。

而随着企业精细化管理的提升和市场为导向的生产运营需求提高,需要一整套可以覆盖需求、设计、产品运行状态监督检测、障碍跟踪,这时候PLM系统就很好地解决了这个问题。PLM包含了全部PDM的功能,成为了企业ERP系统向市场向用户两段延伸的手,进一步强化了企业生产管理的效率。

4、PLC、ERP、MES信息系统地交叉共同数据分析

制造业企业的核心数据为销售数据、技术数据、生产数据和采购数据。PLM、ERP、APS、 MES 信息系统数据存在交叉关系,有部分数据对多个系统都需要,这部分数据如果在多个系统中共享,就能提高系统维护效率,也减少维护数据出错概率,改进了信息系统的功能。要分析如何数据集成,先要知道哪些数据属于多个系统使用,这些数据就是我们的集成对象。

(1)销售数据

销售数据和ERP、APS都相关。基本的销售数据重要字段是客户、商品、数量、交货期。ERP系统可以用该数据形成销售发票,统计销售额。对APS系统来说,销售数据是生产计划排程的源头,在销售数据基础上形成组装计划,加工计划和外协计划。

(2)技术数据

接到销售订单后,技术部门要进行设计,设计产品结构,也就是BOM表,设计零件加工工艺。PLM是管理图纸的系统,它的核心应用领域是在设计领域,BOM表就是在设计阶段产生的,BOM在PLM系统中有存储。ERP系统中也要用到BOM数据,ERP中MRP分解计算,就是在BOM数据基础上,利用销售订单形成公司内部加工零件数量和对外协采购数量。APS排产系统也用到BOM,它比ERP系统计算的更细。当然了如果公司已经有了APS系统,就不需要ERP系统的MRP计算功能了。

BOM数据表可以有下面的表示方式,最基本的BOM表,仅仅包含3个字段,母件,子件和数量。这种BOM表结构只能表示简单的组装关系,即零件都完成后再一起组装。如果零件加工过程和组装过程伴随在一起,这种BOM无法表示出。

比如,一种原材料C0,经过一步加工到C1,这时候需要装配上A, 然后继续加工成C2, 再装配上B,然后加工成C3, 下一步变成C。

在实际的生产过程中,这种流程也很常见,简单的母件和子件表是无法表示出零件的前后流程关系。在生产计划排程APS系统中,必须将装配关系和零件生产前后顺序流程都表示出来才能进行正确的还有指导性的排程。该例子可以用下面表格样式表示出其流程关系。

从C0到C为零件生产流程主线路,我们定义为5个工序:

例如C1工序既涉及到加工,又涉及到组装。如果该工序号后面写的是零件,则该步骤为装配,后面是装配使用的数量。如果工序号后面是设备,则后面是具体设备编号,和在该设备上加工使用的时间。通过该表就可以表示出流程中既有装配,又有组装的复杂流程。

PLM的核心应用领域是设计领域,在产品设计时,需要设计零件总装图和各个零件的图纸。零件的总装图上体现出了产品结构信息,也就是BOM。PLM产品可以直接从总装图上提取出BOM信息,并将该信息存储在数据库中。笔者单位使用的是国内知名PLM厂商CAXA公司的产品,现将CAXA从图纸中提取BOM信息做一介绍。

CAXA PLM提供产品结构管理,以结构树的方式显示产品的装配组成关系。产品结构树为用户提供关于产品组成的直观视图,在产品结构树的基础上,可以进一步实现产品结构对应的BOM输出。可以绘制总装图,也可以通过批量入库把总装图中的结构提取出来,生成产品的结构树。生成的结构树样式如下:

结构树对应的BOM信息会保存在CAXA PLM对应的数据库中,如何通过技术手段将BOM信息导入其它信息系统中呢?后面讲。

(3)生产库存数据

可以使用MES系统实时采集库存数据,库存数据会为ERP系统和APS系统提供数据支持。ERP系统一般采用键盘输入数据,而MES系统一般是通过条形码,二维码,RFID等技术采集数据,效率大大高于键盘输入,并且便于在生产现场现采集,保证数据的实时性。实时性的库存是最有意义的。MES是车间和ERP和APS系统之间的协调信息系统,它提供了通常ERP系统所不能提供的生产车间信息的透明性,提供了ERP和APS与底层车间(操作终端与设备)的可靠数据界面等。

(4) 采购数据

采购数据和销售数据是相反的对应关系,销售是卖给客户,采购是供应商卖给本企业。在ERP中采购单据和销售单据格式基本一样。ERP和APS都需要采购数据。

5、信息系统的数据集成和共享的技术分析

(1)公共部分使用同样数据库表格

使用同样数据库表格,指的是使用同样的数据库,例如PLM、ERP、APS、MES数据库都是Sql server, 里面不同系统涉及到的BOM表都是Sql server中同一张表。这无疑是集成最彻底的方式,但经常每个公司侧重点不同,例如提供ERP的公司,没有PLM产品,或者不擅长PLM,其PLM系统功能不强。如果是大公司的产品,产品线更丰富,相互融合性更好些。例如用友公司既有ERP 产品,也有PLM产品。如果想要这种方式集成,需要购买时,考虑大公司的信息系统产品。

(2)使用中间文件

该方法是在一个信息系统将需要共享数据导出,导出到一个中间文件,然后再通过这个中间文件将共享数据导入到另外一个信息系统中。

例如:Excel文件是最常用的表格程序。一般的PLM、ERP、APS、MES都有数据导出到Excel和从Excel导入的功能。可以从PLM系统中导出BOM数据到Excel表格中,然后再从Excel表格将BOM数据导入到ERP和APS系统中。

(3)使用数据自动传递方式

数据自动传递,是指利用程序软件在不同的信息系统之间自动传递共享数据,这样传递数据效率高。自动传递数据的手段之中,通过数据库触发器传递数据是开发便利,成本低廉的手段。下面对数据库触发器传递数据做一介绍。

PLM、ERP、APS、MES信息系统常用的数据中,可能Sql server是使用最多的。SQL Server 是 Microsoft推出一套产品,它具有使用方便、与相关软件集成程度高等优点,成为了Windows平台下进行数据库应用开发理想的选择。SQL Server广泛应用于金融、保险、电力、行政管理等与数据库有关的行业。SQL Server与其它数据库,如Access、FoxPro、Excel等有良好的ODBC接口,可以把上述数据库 转成SQL Server的数据库。

Sql server数据库带有触发器的功能,利用触发器功能编写代码,代码是自动触发的。当对表中的数据做了任何修改之后立即被激活,然后程序运行,对其它数据表进行修改。

基本的触发器包括一下3种类型:

A insert触发器:向表中插入数据时被触发;

B update触发器:修改表中数据时被触发;

C delete触发器:从表中删除数据时被触发。

以知名ERP厂商用友的ERP为例,它的零件基础数据都是存在于Inventory表格中。零件基础数据是PLM, ERP, APS和MES的共同数据,需要共享。可以只维护一个系统,然后设置触发器,当一个信息系统零件基础数据更新后,利用触发器自动修改其它信息系统零件基础数据。

这三个方式如何使用,这就需要根据企业的需求来做,这也是工控人的一个很有前景的方向。

后记

随着企业信息化应用的逐步发展,企业的信息化环境逐渐复杂。在企业使用PLM产品用于管理图纸之后,PLM就需要关注与其它管理信息系统的集成,实现与各种CAD系统集成,提取的规范化、标准化的信息,并与ERP/APS/MES等系统进行快速的数据交换,避免数据的重复定义导致的问题,从而提升企业的整体运营效率。

PLM最新的趋势会用到大数据和虚拟化技术,但只有解决了PLM与ERP、APS和MES系统的集成问题,不同系统数据实现共享,大数据和智能化技术才能更好从企业的海量数据中进行深度挖掘,提取出有价值的信息,为企业经营决策提供支撑。



作者:漠漠彡
链接:https://www.jianshu.com/p/6c395b04e481
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


目前国内主流的低代码开发平台有:宜搭、简道云、明道云、云程、氚云、伙伴云、道一云、JEPaaS、华炎魔方、搭搭云、JeecgBoot 、RuoYi等。这些平台各有优劣势,定位也不同,用户可以根据自己需求选择。


一、宜搭

宜搭是阿里巴巴集团在2019年3月公测的面向业务开发者的零代码业务应用搭建平台。开发者可以通过可视化开发单据页面、流程页面、报表页面、展示页面、外部链接页面,将这些页面组合在一起形成轻应用,一键发布到PC和手机端。宜搭在2018年在阿里巴巴集团内部发布,阿里作为首个种子用户,到目前为止已有上万个应用在上面使用。 在2019年9月宜搭也发布了升级版宜搭Plus,在单据、流程、报表等方面都进行了全面升级,成为一款面向ISV开发者的低代码开发平台,能够满足企业复杂业务管理系统开发所需的数据建模、逻辑&服务编排、专业UI页面设计等需求。

优势:大厂产品,用户体验较好,开发简单应用较为便捷,定位阿里生态,发展较快。

劣势:只能线上用,不能私有化部署,不交付源代码,价格较高。


二、简道云

简道云发布至今快五年了,已经算是市面上发展比较久的产品了,它由国内专业的大数据BI和分析平台厂商——南京帆软软件有限公司(以下简称“帆软”)孵化而来,在数据分析方面具有天然的优势。 简道云与帆软旗下报表、BI等其他产品定位有所不同,简道云致力于帮助非技术人员快速搭建企业应用,无需使用编码,即可搭建销售、OA办公、生产等管理应用,帮助企业规范业务流程、促进团队协作、实现数据追踪!

简道云的核心功能包括表单、流程表单、仪表盘以及其他一些高级功能,通过这些功能的组合,搭建出各种不同的应用。

优势:强大数据分析功能、快速移动化、界面交互体验优。

劣势:缺乏低代码开发功能,模型无法代码化扩展,复杂应用无法支撑;仅支持云端部署,无法私有化部署,费用较高。


三、明道云

明道云的发展历史很长,从最开始的梅花网到协作SaaS产品明道,最后在2018年转型成为零代码业务应用构建平台。在行业中,还属于比较新的产品,明道云给自己的定位是一个APaaS平台,让企业用户不需要代码开发就能够搭建出用户体验上佳的销售、运营、人事、采购等核心业务应用。从整体功能上看,明道云对标的是国外应用搭建平台Airtable,主要通过搭建数据管理以及流程管理应用,帮助企业高效管理业务。

优势:移动化能力强,支持与钉钉和企业微信集成,视图功能较为强大,可扩展性好。

劣势:报表功能较弱,审批流偏弱,有一定上手门槛,费用高。


四、云程

云程平台是一款基于SpringBoot+VUE的低代码开发框架。采用微服务、前后端分离架构,基于可视化流程建模、表单建模、报表建模工具,零代码快速构建云端业务应用 ,平台即可本地化部署,也可基于K8S云原生部署。云程平台也是一款专业的BPM软件,即可独立部署,支撑企业级端到端流程落地,也可嵌入到您的OA、ERP等系统中,作为流程引擎组件使用。云程平台主要目的让开发者注重专注业务,降低技术难度,从而节省人力成本,缩短项目周期,提高软件安全质量,为企业信息化建设降本增效。

云程研发团队核心成员有10年以上的软件研发经验,聚焦于低代码平台、流程引擎等中间件产品研发,我们即可输出云程平台源代码,也可提供专业咨询和定制服务。

官方网站: http://www.yunchengxc.com/

在线演示:http://www.yunbangong100.com:31110/

官方文档:http://www.yunchengxc.com/category/help/doc

优势:云原生架构,流程引擎功能强大,对复杂应用支撑较好,云化和私有化均可,可交付源码,商业模式灵活。

劣势:缺乏市场宣传,缺乏生态化发展,用户界面美观方面稍有欠缺。


五、氚云

氚云是深圳奥哲网络科技有限公司(奥哲网络)三大主推产品之一,跟简道云是同时期的选手,已经发展近5年,是一款面向管理者或业务人员的以场景为中心的零(低)代码平台。2018年成为阿里战略投资的低代码应用搭建工具,与钉钉实现了深度融合。 氚云的定位与以流程为中心的H3 BPM和以业务为中心的云枢不同,氚云是以明确的场景为中心,通过可视化表单、流程设计、智能报表和模板化应用,帮助管理者或业务人员快速搭建流程与应用,透明呈现业务进度,实时展现精准数据,完整沉淀管理信息。

优势:表单流程配置灵活,应用模板丰富,交互设计体验较好,对钉钉支持较好。

劣势:功能较基础,复杂功能需使用低代码,需绑定钉钉提供服务,对于非钉钉类应用,局限性较大。


六、JEPaaS

JEPaaS是一款优秀的软件平台产品,可视化开发环境,低代码拖拽式配置开发,操作极其简单,可以帮助解决Java项目80%的重复工作,让开发更多关注业务逻辑,大大提高开发效率,能帮助公司大幅节省人力成本和时间成本,同时又不失灵活性。适用于搭建 OA、ERP、CRM、HR、HIS等所有的企业信息管理系统。


七、伙伴云

伙伴云,是由有着10年以上论坛软件开发及中小企业服务经验的前Discuz!团队打造的,历经“伙伴云表格”、“伙伴办公”,逐步升级为一个为企业经营服务的数据可视化平台,为企业的全流程运营管理与经营核算提供整体解决方案。通过强大的数据库引擎及权限架构,搭配可灵活定制的流程引擎与大数据分析引擎,配合专家级经营顾问与服务,打造全流程、实时可视化的经营核算体系,为企业构建起上下同心的经营伙伴关系,实现员工持续成长、组织持续变革、业绩持续提高。


八、道一云

道一云|七巧Plus(下面简称“七巧Plus”)是道一云旗下的一款低代码开发平台,去年7月左右上线,算是一款比较新的产品了。七巧Plus给自己的定位是一个高生产力的aPaaS平台,帮助企业快速搭建个性化应用,规范流程管理、数据追踪,提高团队协作效率。 道一云从2004年成立至今,近几年已经陆续发布了基于企业微信的协同应用套件——OA、HR、CRM等应用,在应用平台方面还发布了中台、七巧Plus,从布局上来看,是典型的“PaaS+SaaS”发展模式。


九、JeecgBoot

JeecgBoot 是一款基于代码生成器的低代码开发平台,零代码开发!采用前后端分离架构:SpringBoot2.x,Ant Design&Vue,Mybatis-plus,Shiro,JWT。强大的代码生成器让前后端代码一键生成,无需写任何代码! JeecgBoot引领新的开发模式(Online Coding模式-> 代码生成器模式-> 手工MERGE智能开发), 帮助解决Java项目70%的重复工作,让开发更多关注业务逻辑。既能快速提高开发效率,帮助公司节省成本,同时又不失灵活性!JeecgBoot还独创在线开发模式(No代码概念):在线表单配置(表单设计器)、移动配置能力、工作流配置(在线设计流程)、报表配置能力、在线图表配置、插件能力(可插拔)等等!

JeecgBoot开源版本功能有限,只有系统管理功能,低代码开发和流程引擎均需要购买商业版本。


十、RuoYi

RuoYi是一个后台管理系统,基于经典技术组合(Spring Boot、Apache Shiro、MyBatis、Thymeleaf)主要目的让开发者注重专注业务,降低技术难度,从而节省人力成本,缩短项目周期,提高软件安全质量。

RuoYi开源版本功能有限,只有系统管理功能,流程引擎等高级组件均需要购买商业版本。

————————————————

版权声明:本文为CSDN博主「大龄码农有梦想」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/wxz258/article/details/114488658