编者按:
betway西汉姆官网科技在大数据领域始终坚持足够的手艺敏锐度,,,,,并积累了富厚的履历与资产。。。。。。。。为此,,,,,我们组织了一个系列专文,,,,,分期揭晓,,,,,与您一起探索更适合当下行业生长的数据观,,,,,欢迎各人一连关注。。。。。。。。
在前一篇文章《数据架构是治理数据的基础》中,,,,,我们回首了数据治理领域详细实践历程与反思、数据架构的内在以及应用架构、手艺架构的关系,,,,,以为应该以企业级的架构视角来治理与使用数据。。。。。。。。本文将进一步围绕企业数据模子焦点,,,,,探讨怎样实验有用的数据治理。。。。。。。。
作者|betway西汉姆官网科技大数据研究院
内容|本篇共3427字,,,,,预计阅读时间12分钟
越来越多的企业熟悉到数据要素对企业的意义,,,,,意图从数据中挖掘出更多的营业价值,,,,,成百上千的数据库,,,,,数十万张表,,,,,就是企业的数字资产金矿。。。。。。。。他们大宗采购外部数据,,,,,在WAP与WEB中大宗埋点跟踪用户行为,,,,,应采尽采,,,,,源源一直流入数据湖中。。。。。。。。他们在使用数据时才意识到自己不知道有什么数据,,,,,该怎样解读与使用数据,,,,,已知的数据大都保存需要治理的种种质量问题。。。。。。。。
数据治理的界说是对数据资产的治理行使权威与控制(妄想、监控和执行),,,,,对企业中使用的数据的可获得性、可使用性、完整性、一致性、可审计性和清静性举行周全治理。。。。。。。。数据治理的目的是确保凭证政策和最佳实践对数据准确地举行治理,,,,,数据治理的驱动力通常集中在降低危害与刷新流程上(DAMA-DMBOK2)。。。。。。。。
现在数据治理事情中的问题与误区
金融行业已经履历了较量久的数据治理历程,,,,,一些企业积累了富厚的数据治理履历,,,,,无论实验路径,,,,,解决计划,,,,,照旧详细实验,,,,,若是没有捉住重点,,,,,治理事情很难取得实质刷新效果。。。。。。。。
现在数据治理事情或多或少保存一些问题,,,,,主要体现为:
重修章立制,,,,,而很少深入到现实营业与数据之中去发明与解决现实问题,,,,,脱离现实数据治理运动;;;;;;;
数据治理事情常被设计为一个或若干个项目,,,,,没有作为一项一样平常事情来做。。。。。。。。早期有些企业轰轰烈烈启动了项目,,,,,制订了激进的妄想,,,,,一旦遭遇波折便偃旗息鼓;;;;;;;
数据的开发、治理与使用,,,,,没有章法,,,,,没有协作。。。。。。。。如,,,,,盘货数据资产时,,,,,深度陷入字段级沼泽,,,,,迟迟得不到输出,,,,,而营业系统、数据剖析应用一直在动态转变中,,,,,与数据治理各自进行,,,,,因此输出的数据资产清单新鲜度低,,,,,可用性差;;;;;;;
数据治理经常被看成主要而不紧迫甚至是不主要、不紧迫的事情,,,,,在面临紧迫的营业需求时,常受所谓的迅速开发滋扰,,,,,一边治理问题,,,,,一边制造问题。。。。。。。。
有些企业虽经由10多年的数据治理,,,,,但没有取得实质希望,,,,,仅是低水平的重复:数据资产快速膨胀,,,,,但高价值资产未几;;;;;;;一样平常事情效率不高,,,,,恒久收效缓慢;;;;;;;系统建设周期性推倒重来,,,,,没有积累沉淀;;;;;;;数据建设、使用与治理的本钱以及被羁系部分的处分恒久居高不下。。。。。。。。越来越多的数据治理部分熟悉到数据治理事情陷入了逆境,,,,,活动维艰。。。。。。。。
主要缘故原由可以归纳为以下几个方面:
数据治理依据不充分:数据治理的立法与司法职能欠缺,,,,,数据治理者执法依据不完善,,,,,没有获得高层治理支持,,,,,没有执行力;;;;;;;
没有告竣一致的目的:咨询可能提出了一个朴陋的或不切现实的目的,,,,,开发部分以快速支持营业为目的,,,,,甚至有些部分以增添数据资产为目的,,,,,都不以界说与交付高质量资产为条件,,,,,没有熟悉到高质量的数据带来的价值;;;;;;;
路径不清晰:有些走过场的数据治理咨询项目交付了一条没有怎样抵达目的、没有实操的实验路径,,,,,甚至可能数据治理走出的第一步就错了;;;;;;;
职责不明确:数据生产者、消耗者与治理者等关连人之间关于数据治理的认知保存重大的差别,,,,,职责不明确,,,,,生产者差池自己生产的数据认真,,,,,治理部分对资产的膨胀缺少有用控制;;;;;;;
专业能力缺乏:受过数据治理专业培训的职员很少,,,,,及格数据治理专业职员更少,,,,,没有形成数据治理文化与社区;;;;;;;
缺乏有用的工具:缺少便于生产者、治理者和消耗者之间相同协作的工具来支持一样平常数据治理事情,,,,,以提升事情质量与效率。。。。。。。。
充分使用企业数据模子驱动数据治理事情
优异的数据治理事情除了设立组织机构、建章立制之外,,,,,还需要设置和强制执行数据质量和数据架构标准,,,,,作为治理与行政的依据,,,,,确保数据在全企业规模内被准确、一致的界说、爆发和使用。。。。。。。。
许多企业的数据治理事情一样平常先制订数据标准,,,,,以数据标准为依据治理数据。。。。。。。。数据标准仅是权衡数据质量的参考依据之一。。。。。。。。
许大都据标准没有建设清晰的看法与逻辑关系,,,,,缺少明确标准目录的词汇与分类系统,,,,,使用者不清晰数据标准背后的逻辑,,,,,没有公共明确的基。。。。。。。。,,,数据治理事情大多仅限于治理伶仃的数据类型与码值;;;;;;;
以Excel、Word、PPT等文件形式展现的数据标准,,,,,所能表达的内容很有限,,,,,所能怀抱的数据质量维度也有限,,,,,数据的完整性与一致性不是其追求的目的,,,,,不可直接转化为可以实验的细节与执行的依据;;;;;;;
把实验宽泛的大而全的数据标准作为数据治理的切入点或启动项目不是一个好的选择。。。。。。。。大而全的数据标准可能还没有实验就已经由时。。。。。。。。
企业数据模子使数据治理真正成为现实。。。。。。。。企业数据模子作为营业元数据,,,,,提供了数据的参考分类框架、要害实体与关系的界说,,,,,以及企业数据元素的标准界说,,,,,作为支持数据治理利益相关者协作、自助服务和数据资产探索等焦点基础设施,,,,,为明确数据治理目的形玉成面的认知与共识,,,,,为怎样乐成实验抵达目的涤讪基础。。。。。。。。
对数据举行分类,,,,,是明确数据对数据举行治理的第一步。。。。。。。。数据模子是一种本体论模子,,,,,它首先界说数据种别,,,,,使用既定的规则网络、治理这些差别种别数据。。。。。。。。企业数据模子主题域清单表达企业最要害的领域——是最主要的分类要领之一。。。。。。。。银行业数据标准的主题划分一样平常参照成熟的行业数据模子,,,,,每个主题之下的划分标准,,,,,各家银行有较量大的差别;;;;;;;
对数据有准确的界说与一致的明确,,,,,是权衡数据是否切合要求,,,,,举行数据治理运动的基础。。。。。。。。许大都据问题是由于种种看法没有清晰的界说造成的;;;;;;;
数据之间的关系表达了营业规则,,,,,是企业数据实现与使用需要遵照执行的依据,,,,,但这一点普遍被忽视;;;;;;;
企业数据模子可以资助数据治理职员识别和定位敏感数据,,,,,设计差别用户会见控制权限以强制执行神秘性、完整性与合规,,,,,确保敏感数据获得;;;;;;;;;;;;;;
企业数据模子资助关连人站在企业的视角而不是局限于某个特定的系统或特定的数据集,,,,,可以发明影响全局的系统性问题,,,,,而不是一个局部规模,,,,,或者某个设计师的问题,,,,,可以有的放矢,,,,,重点解决系统性的问题,,,,,推动高效治理。。。。。。。。
数据的界说、分类与关系的表达形式是ER模子图,,,,,模子的可视化带来友好性,,,,,可以面向种种职员,,,,,因此企业数据模子是数据治理必不可少的基础设施工具。。。。。。。。
企业数据模子一样平常接纳IDEF本体论建模图形化要领,,,,,易于明确,,,,,便于差别的用户讨论、辨析与界说数据表达的本体,,,,,使种种用户的认知告竣一致;;;;;;;
基于企业数据模子妄想数据治理事情,,,,,资助制订怎样抵达目的的实验路径与恒久渐进的妄想。。。。。。。。在模子系统指导下,,,,,自上而下从要害的主题最先(如跨各营业系统的加入人、机构、员工等,,,,,高级治理职员不被细节所困扰,,,,,实验职员更容易明确和消化重点)逐个主题、逐个要害实体稳步推进,,,,,自下而上从要害的属性最先治理(如证件类型、币种代码等);;;;;;;
基于企业数据模子安排责任分工与协作,,,,,支持一样平常数据治理事情。。。。。。。。将明确的、透明的、正式的责任和行动应用于组织与流程实践,,,,,建设相互协作信任,,,,,包管每项数据治理使命都有明确的治理内容与RASCI责任人,,,,,确保它处于受控状态,,,,,提升数据治理实验的效率与绩效;;;;;;;
基于企业数据模子系统有用治理数据资产,,,,,指导、盘货数据资产。。。。。。。。建设统一的数据资源目录统一治理维护,,,,,阻止陷于治理沼泽,,,,,资助数据治理职员获得数据资产状态信息,,,,,哪些方面保存问题以找出需要治理的有毒资产,,,,,哪些获得了增强和刷新,,,,,作为最终用户跟踪、控制、判断是否切合数据治理要求的权衡参考标准,,,,,提高交互效率,,,,,镌汰相同本钱。。。。。。。。
企业数据模子是企业绵延数十年的积累,,,,,笼罩营业谋划、治理和决议数据需求,,,,,是数据领域恒久生长的稳固基石,,,,,预防新数据问题的爆发,,,,,支持可一连生长。。。。。。。。
银行的营业生长转变是相对稳固的,,,,,营业逻辑很少爆发倾覆性的改变,,,,,营业的转变同步更新到企业数据模子中。。。。。。。。企业数据模子是新系统开发的要害输入与数据需求和建模的基线,,,,,指导和妄想营业系统与剖析系统的模子设计,,,,,可以预防数据问题的爆发;;;;;;;
由于手艺的快速生长以及企业应用架构的优化,,,,,许多银行营业应用系统每隔若干年都会大规??????ⅰ靶乱淮。。。。。。。。重用企业数据模子的组件,,,,,监控新系统的数据模子设计与数据漫衍,,,,,可以镌汰大宗数据重构与迁徙事情,,,,,提升数据的质量,,,,,;;;;;;;だ吠蹲剩,,,实现可一连生长;;;;;;;
数据治理不应仅专注于数据的治理而忽视数据漫衍流转的治理,,,,,不对理的应用架构与数据流转造成的数据问题往往是成片成面的,,,,,甚至是灾难性的。。。。。。。。如一些营业系统数据经由数据中台或ODS重大的整合,,,,,作为数据客栈模子的贴源区,,,,,不但拉长了加工路径,,,,,大大降低了时效性,,,,,由于数据中台或ODS的整合可能使源数据面目一新,,,,,导致数据客栈在设计模子时很难还原出营业源模子,,,,,这样杂乱的数据流架构在原本数据质量不高的营业数据中制造了更多的垃圾。。。。。。。。
写在最后
做准确的事,,,,,准确地做事。。。。。。。。只有站在企业架构的高度,,,,,围绕企业数据模子焦点,,,,,关注手艺架构与应用架构对数据可能造成的负面影响,,,,,明确各自的职责,,,,,告竣一致的目的,,,,,提升专业能力,,,,,全心设计专业科学的要领与清晰的实验路径,,,,,才华实验有用的数据治理,,,,,与应用架构、手艺架构协同支持营业目的的实现!