数据库

当前位置:时时彩平台 > 数据库 > 没有这5项技术能力,还谈什么数据驱动型企业?

没有这5项技术能力,还谈什么数据驱动型企业?

来源:http://www.mrmtshipyard.com 作者:时时彩平台 时间:2020-01-27 11:08

要成为数据驱动型的企业,应不断追求卓越。这并不简单,但也不应该让人望而生畏。

|本文由好程序员特训营编辑

与今天相比,10年前建立数据战略要相对容易一些。那时,数据库专家们争论着甲骨文、微软和IBM关系数据库的功能和性能,还针对是否使用MySQL和PostgresSQL等开源数据库展开了辩论。少数企业研究了NoSQL数据库,这包括来自MarkLogic、MongoDB和Apache Cassandra等公司的文档存储、键值数据库和列式数据库等技术。在企业系统之间移动大量数据的企业投资于ETL平台,而少数企业则投资于数据质量或者主数据管理解决方案。

|作者:好程序员

而发展到今天,首席信息官认识到数据和信息是21世纪的真正宝库。拥有多样化的数据管理选择、可靠的数据操作实践、主动数据治理、高级分析、公民数据科学计划和成熟的机器学习能力等,都是实现具有竞争力和差异化的业务能力所必需的。

图片 1

缩小数据战略与执行之间的差距

这个时代日新月异,跟不上时代,就会被淘汰,作为程序员最重要的就是不断学习新技术,紧跟时代步伐,才能有更好的发展。

前不久,我参加了在纽约举行的Strata数据大会,想要了解一下首席信息官们在制定和执行全面数据战略时所面临的新机遇、趋势和挑战。

图片 2

在开幕式的主题演讲中,Cloudera公司的首席营销官Mark Hollison引用了《哈佛商业评论》最近进行的一项研究,非常清楚地证明了这些挑战。这项研究的一个关键发现是,69%的受访者说,他们的企业需要全面的数据战略,以便在未来3年内实现其战略目标,而只有35%的受访者说,他们企业的分析和数据管理能力正在朝着这些目标前进。

大数据的时代来临了,你知道大数据有哪些发展动向?

这说明了对数据和分析的业务期望越来越高,而底层实现却越来越复杂,这其间有很大的差距。首席信息官们如果想缩小这些差距,那就应该在他们的数据战略中考虑Strata数据大会重点介绍的以下5种技术能力。

一、Attunity发布Visibility For Hadoop系统

1

Dataguise发布了新版本的DgSecure软件,这个软件是以数据为中心的安全平台,数据经理和首席信息安全官可以使用该平台,管理传统关系数据库和大数据平台中的敏感数据。

管理多个云上的数据平台

DgSecure 6.0与一系列广泛的数据平台和数据源兼容,并支持本地系统和云系统中的结构化数据、半结构化数据和非结构化数据。它提供了数据检测、保护和监控功能,用于数据治理。它还与一系列更广泛的IT和数据管理框架兼容。

据同一项调查,51%的受访者计划在其数据战略中使用多个云,只有12%的受访者将75%以上的数据放在公有云上。将数据整合到集中式数据仓库或者数据湖的策略似乎已经过时了,而新现实是,首席信息官必须能够管理、集成和共享存储在多个公有云和私有云中的数据。

新版本还使用内置模板和自定义模板,简化了制定数据治理策略的工作。

好消息是,Cloudera数据平台、SAP数据汇集和InfoWorks DataFoundry等平台能够帮助数据部门管理、集成和治理对存储在不同大数据引擎和不同云上的数据存储库的访问。

二、Koverse 2.0加快数据湖的实施

我曾与InfoWorks首席执行官Buno Pati讨论过怎样在多云环境中处理数据。他告诉我,为企业数据处理和编排打好健壮而又灵活的基础是任何现代企业数据战略成功的关键所在。这些系统必须能够帮助企业快速启动新的分析应用实例,最大限度地减少对非常专业化人才的依赖,并无缝地穿越具有各种执行引擎和存储系统的混合云和多云环境。

初创公司Koverse提供一种“一体化数据湖”平台;该公司表示,相比目前的技术和方法,有了该平台,就可以大大加快收集大数据、部署到生产环境的速度,并降低成本。

2

该公司创办于2012年,两年多前开发了早期版本的技术。Koverse平台2.0于6月21日发布,它采用了Apache Accumulo的“分布式键/值存储”技术和该公司的通用索引引擎(Universal Indexing Engine)。

在多个大数据平台上要有成熟的功能

三、Looker更新嵌入式分析工具集

首席信息官们可以使用袖珍字典来帮助定义越来越流行的所有大数据平台。尽管大数据平台早期大多使用了Hadoop,而当今的企业则采用了多种平台,包括Apache Spark、Apache Hive、Snowflake,以及AWS、Azure和谷歌云平台支持的多个数据库,等等。

Looker商业智能平台可以访问驻留在数据库中或云端的数据。该公司的Powered by Looker工具让开发人员得以将那些功能嵌入到应用程序中,或者构建具有数据探查和分析功能的自定义应用程序。

使用多个大数据平台给首席信息官们带来了巨大的挑战,这是因为很难找到擅长数据和分析的技术人员,而且管理多个平台也增加了操作和安全的复杂性。

该公司更新了Powered by Looker,增添了预制应用程序模板、预制网页和应用程序窗口组件库、增强型API库,以及众多新功能,比如支持Java对话,那样更容易把Looker嵌入到应用程序里面。

虽然很多企业会整合到较少的数据平台上,并将其作为一种战略,但他们也必须考虑服务、工具、合作伙伴关系和培训,以便在多个数据平台之间提供更好的支持。

图片 3

3

四、Talend发布经过更新的大数据集成平台

投资于数据目录

Talend发布了新版本的Talend Data Fabric平台,用于集成驻留在本地或云端的数据和应用程序。

由于大型企业不太可能把数据集中在一个数据仓库或者数据湖中,因此建立数据目录的必要性在战略上就变得更加重要了。

新版本的Talend Data Preparation软件是Data Fabric系统的一部分,它为一系列广泛的业务用户提供了增强的自助式数据准备功能,而不是像许多数据准备工具那样将它们局限于一小批熟悉数据的用户。该公司表示,工具集提供了更直观的数据准备功能,还提供了基于角色访问共享式数据存储区的功能。

数据目录有助于最终用户搜索、识别和了解更多可用于分析、机器学习实验和应用程序开发的数据存储库。数据目录还提供了一个中心点,用于管理访问策略、发布数据源的状态,还支持最终用户与领域专家之间的协作。

五、Waterline Data软件支持Apache Atlas

Cloudera、SAP和Infoworks都具有数据目录功能,作为其产品的一部分。

Waterline Data开发同名的Smart Data Catalog软件,可以清点数据湖资产,改善数据发现功能,并且让公司更容易从那些资产获取价值。

4

Smart Data Catalog现在与Apache Atlas这种开源数据治理技术在Hortonworks数据平台里面集成起来。借助Waterline Smart Data Catalog,Apache Atlas用户就可以将人工的元数据标记换成自动化流程,对数据湖资产进行分类,并改善数据治理。

为作业选择合适的数据集成平台

六、Zoomdata的可视化分析软件支持MapR和Apache Drill

10年前,争论的焦点在于是否投资ETL平台,然后是投资于哪一个,而今天的问题则是更广泛和更具战略性的。这是因为今天的数据集成涵盖了比ETL支持的批处理功能更广泛的应用情形。当今的很多企业有:

Zoomdata提供一种大数据可视化分析平台,能够实时处理本地环境和云环境中庞大而复杂的查询。

物联网和其他实时数据处理的数据流需求,通过Apache Kafka、Apache Spark等平台和VantIQ等事件驱动的架构来满足。

Zoomdata的软件现已通过认证,可与基于Hadoop的MapR融合数据平台兼容,这两家公司正在展开合作,致力于改进产品整合和支持。

文档和其他非结构化数据处理需求,通过MarkLogic数据汇集平台或者文档存储来满足。

作为这次合作的一方面,Zoomdata表示,它开发了一款“智能连接件”(smart connector),能够以原生方式将其软件与Apache Drill联系起来,后者是一种开源SQL查询引擎,可以访问一大批NoSQL数据库和文件系统中的数据。

数据科学家和业务分析人员的数据准备需求,使用Tableau Prep、Alteryx Designer和Trifacta Wrangler等工具来满足。

七、Actian发布VectorH 5.0数据库

API与SaaS平台和企业数据源的集成需求,通过Boomi和MuleSoft等平台进行优化。

Actian发布了Actian Vector in Hadoop(VectorH)5.0,这是该公司现已与Apache Spark集成起来的SQL-in-Hadoop数据库的新版本。

提高数据质量和创建主数据源的需求,这些主数据源是使用Informatica、Talend、IBM、Reltio、Tamr等其他平台创建的。

与Spark集成起来后,就可以获取来自不同数据源、采用不同格式的数据,让开发人员得以利用VectorH,构建高性能数据流、ETL和机器学习等应用程序。随着企业组织将Hadoop分析系统迁移到生产环境,这类功能至关重要。

然而,没有一个通用的平台可以支持所有这些应用情形。此外,通过为作业选择合适的工具,可以更有效地实现数据集成,并提供更可靠的支持。这可能意味着,希望能满足多种数据集成需求的企业将不得不通过几个数据集成平台才能获得成熟的功能。

八、Attunity发布Visibility For Hadoop系统

5

Attunity是一家大数据管理软件开发商,它发布了最新版本的Visibility for Hadoop系统。新版本提供了更全面的分析功能,可帮助企业组织衡量Hadoop数据和存储使用情况,用于更准确的容量规划、优化成本效益,并满足数据治理和合规要求。新功能支持Hadoop文件系统的存储级别,还支持众多Hadoop数据处理引擎,包括MapReduce、Tez、Hive和Cloudera Impala。

利用每一项新功能主动进行数据治理

欢迎关注【“好程序员”微信公众号】毕业工资不过万,不收学费,高薪就业,最强保障——

虽然首席信息官、首席信息安全官和首席数据官更希望在采用新业务功能之前先进行数据治理,但这是一种不现实的战略。需要进行分析以实现数据驱动决策,并获得更多竞争优势的企业必须快速行动,把治理做为先决条件,但在进行这方面的尝试时会遇到阻碍。

对于那些负责保护企业数据资产、隐私政策和机密信息的高管来说,这确实是个棘手的问题。

然而,首席信息官和首席数据官有可能在采用新工具、功能和数据源的同时实施数据治理。这要求引进人才,以了解接受投资平台的数据治理能力,并建立引入和管理数据源更改的程序。

如果没有这些规则,首席信息官们将会面临数据债务,类似于技术债务企业随着时间的推移积累起来的债务。

好消息是,首席信息官们将在面向企业的成熟数据平台上获得数据治理能力。然而,拥有技术能力只是一个开始,首席信息官还需要技术人才、培训计划和变革管理实践,以使业务部门理解并遵守数据治理。

要成为数据驱动型的企业,应不断追求卓越

我不太喜欢数据就是新油田这种比喻,但不妨先这样想。石油公司不仅购买钻机,还神奇地拥有端到端的机制,可以高效地找到油田,并将石油运往炼油厂。这不是那么简单,同样的,数据管理、分析和机器学习也不是那么简单。

然而,只要企业负责任地投资于满足其应用情形的平台,投资于人才,并在数据集成、管理和治理方面完善其实践,这一切也并非难事。

作者:Isaac Sacolick是《数字化驱动:通过技术进行业务转型的领导者指南》一书的作者,该书涵盖了很多实践,例如敏捷、开发运维和数据科学等,这些都是成功实施数字化转型计划的关键。

编译:Charles

原文网址:-technical-capabilities-required-in-modern-enterprise-data-strategies.html

责任编辑:周星如

本文由时时彩平台发布于数据库,转载请注明出处:没有这5项技术能力,还谈什么数据驱动型企业?

关键词: