镇江市互联网协会

 找回密码
 立即注册
镇江市互联网协会 首页 网络技术 查看内容

Big Data是新技术,数据治理是目标

2012-7-4 09:00| 发布者: admin| 查看: 1275| 评论: 0|来自: 赛迪网

摘要: 来源:赛迪网,发布时间:2012-7-4 09:00,关键词:Big Data 新技术 数据 治理 目标

      对于遇到的各种大数据挑战,企业机构需要有效的解决方案,这就涉及到数据治理的问题。在Informatica看来,数据治理不是一个项目,而是一种体系和过程。该体系关注于信息系统执行层面,其目的是整合IT与业务部门的知识和意见,通过将流程、策略、标准和组织的有效组合,对企业的信息化建设进行全方位的监管,需要企业高层的授权和业务部门与IT部门的密切协作。数据治理项目包括四个关键要素:技术、策略和流程、标准和定义及组织。其中,技术要素包括数据访问、数据转换、数据质量、元数据、数据交互等等,我们从Big data定义来看,这种创新的技术应该归属到数据治理的技术范畴中。

 

      数据治理涵盖于企业的整个信息化建设过程,它涉及每个系统,包括所有业务核心系统、数据仓库、ECIF、风险管理、合规支持等等,它需要一个统一的管理平台进行管理,而这个平台支持各种数据技术,包括元数据管理、数据标准管理,以及主数据管理平台、数据质量管理平台和数据服务平台,最终实现所有数据的全方位监管,实现端到端的数据梳理和管理,确保数据的有效性、可访问性、高质量、一致性、可审计和安全性,这也是数据治理的六大目标。

 

      企业开展数据治理,在理顺数据治理管理框架之后,技术和方案的选择就至关重要。数据治理的相关技术包括企业数据集成、元数据管理、数据质量、实时数据和非结构化数据采集。作为全球领先的企业数据集成软件独立提供商,Informatica拥有领先的数据集成理念、全面而先进的数据集成解决方案,其数据治理的理念非常简单却实用:通过一个平台,支持所有数据类型的项目。

 

      借助Informatica数据集成平台,企业用户能够实现广泛的数据连接,即能实现海量交易数据的广泛连接功能,又可接入到海量社交互动数据,并且还针对海量数据处理的Hadoop平台开发了很多创新技术。这点非常重要,数据的广泛连接性是数据治理的重要基础。

 

      大数据环境造成了结构化数据、半结构化数据和非结构化数据并存的格局,采用昂贵的设备进行数据治理当然好,但巨大的成本压力已成为很多企业难以承受的负重。Hadoop这种可以更容易开发和运行处理大规模数据的软件平台,能够以更经济的方式、更好的性能来处理数据,从而获得了企业的青睐。Informatica数据集成平台已经能够非常好地支持Hadoop架构,释放了Hadoop的潜能,使用户能够提高大数据的投资回报:

 

      • 通过数据接入拓展了其交互性,包括社交媒体数据,并且可将其通过批量或实时的方式导入Hadoop。

 

      • 通过在Informatica中利用图形数据设计数据集成任务及流程,提高了生产力,并且可将设计直接部署在Hadoop中进行自主执行。

 

      • 借助通用数据整合平台,提高了所有企业数据的可管理性,包括Hadoop中的数据。

 

      此外,Informatica还适时推出了一些基于Hadoop环境的解决方案,比如HParser和Xmap。HParser是Hadoop环境下的数据编译转换解决方案,该方案可以运行在几乎所有的Apache Hadoop分布式环境中,与MapReduce架构平行,能高效率地把非结构的复杂数据——诸如网络记录、社交媒体数据、通话详细记录以及其他数据格式——转换为Hadoop中结构或半结构格式。在Informatica的线路图中,HParser是帮助企业利用大数据的重要里程碑,旨在帮助企业用户最大化其数据投资回报。

 

      变化是永恒的主题。由云计算、社交计算和移动计算等三大趋势推动的大数据正在重塑业务流程、IT 基础设施以及我们对于企业、客户和设备生成信息的捕获与使用方式。但企业成功地适应大数据时代带来的新环境却绝非理所当然之事。为确保您的企业取得成功,您需要对数据挑战和机遇做出战略性评估,并采用一个能够根据持续变化的业务需求灵活扩展的领先数据治理方案。借助 Informatica 支持各项数据治理方案的综合平台和服务,您的 IT 组织能够充分释放大数据潜能,把大数据转化为重大机遇。

 

相关阅读


回顶部