大数据VS数据仓库 市场上充斥着大数据技术是否将取代数据仓库的疑问。但在大多数企业中,事实并非如此。相反,大数据系统的部署,通常会相应的增加数据仓库的数量。 数据仓库平台通常是基于关系型数据库管理系统的,其中的数据是结构化的,通常源于一个企业的运营和事务系统。
业务高管和分析师作为使用者访问数据仓库,主要方式包括使用BI仪表板,OLAP和报告工具,或者临时SQL查询。 大数据分析,在另一方面,通常由非关系类技术支持,例如Hadoop,Spark和NoSQL数据库管理系统。数据既有结构化的,也有非结构化的,可以来自任何类型的内部系统和外部数据源,如社交媒体。在这些大数据上执行分析,可以帮助企业具备……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
大数据VS数据仓库
市场上充斥着大数据技术是否将取代数据仓库的疑问。但在大多数企业中,事实并非如此。相反,大数据系统的部署,通常会相应的增加数据仓库的数量。
数据仓库平台通常是基于关系型数据库管理系统的,其中的数据是结构化的,通常源于一个企业的运营和事务系统。业务高管和分析师作为使用者访问数据仓库,主要方式包括使用BI仪表板,OLAP和报告工具,或者临时SQL查询。
大数据分析,在另一方面,通常由非关系类技术支持,例如Hadoop,Spark和NoSQL数据库管理系统。数据既有结构化的,也有非结构化的,可以来自任何类型的内部系统和外部数据源,如社交媒体。在这些大数据上执行分析,可以帮助企业具备更好的业务洞察力——例如,基于过去预测未来的模式和行为活动。数据科学家和统计学家使用深层分析模型来完成这些任务,他们进行分析时使用的语言包括Python,R和Scala,也有一些基本的SQL。
大数据技术也使数据湖泊的概念得以实现——数据湖泊存储来自于各种来源的原始数据,以数据的原生格式保存,它可以根据需要进行数据过滤,为接下来分析做好准备。
最后,大数据系统和数据湖泊并不是数据仓库和数据集市的直接替代品。事实上,他们之间还有协同作用。例如,数据集湖所收集到的结构化数据收集可以迁移到数据仓库中进行常规分析。供应商也开始将大数据通道集成到他们的数据仓库平台,这样可以让不同格式存储的数据能够在单一地点被访问。
数据仓库的业务用例
现在让我们考察一下不同的用例和场景,在这些场景中,你的企业将会使用数据仓库项目。
第一次使用数据仓库与长期使用数据仓库的用户:已经部署数据仓库的公司,在寻求扩张的过程中,对现有数据仓库平台的扩展往往会是比较好的选择。正在进行首次数据仓库部署的公司,数据仓库一体机可能是一个比较好的选择。你的供应商会和你商讨,确定规模大小和设备的配置,之后就可以准备部署 。当然,对于数据平台新用户来说,所有类型的数据仓库平台都是可行的,你可以查看本节中的附加用例,以确定符合特定需求的数据仓库平台。
公司规模:规模较大的公司可能会选择以下方式:关系型DBMS、分析数据库或混合事务/分析处理(HTAP)。这些企业具备相应的基础设施和经验丰富的员工,使用上述技术能够做到得心应手。在HTAP方法中,相同的DBMS可以用于运作交易,分析建模和BI。为了支持HTAP,关系引擎可能需要提供内置的柱状访问方式或附加设备进行分析处理。
另一方面,较小的企业应该考虑数据仓库一体机或DWaaS设备。上述两个选项减少管理需求:预先配置好设备,DWaaS提供的数据仓库部署在云环境中,由云服务提供商负责管理。
云端用途:如果你的企业在云中运行着大量的应用程序;DWaaS对于企业来说可能是最好的选择。业务数据生成并存储于云端的数据仓库,以此为依托进行分析,是一种合理的选择。
IT部门的规模:IT部门规模较小的企业往往没有足够的管理人员来设置和优化数据仓库环境。对他们来说,数据仓库一体机或DWaaS也是一种不错的选择。
对数据延迟程度的要求:对于近乎实时的数据仓库来说,延迟要求做到最小化,优化数据仓库设备可能是最好的选择。用其他办法达到近乎实时的程度也不是不可能,但你可能需要提升你的数据仓库环境,这需要添置额外的高速硬件和软件来满足你的延迟需求。
需要与大数据集成:与大数据集成分析对企业很重要的时候,可以考虑数据仓库一体机和DWaaS产品。他们能够很好地与大数据分析功能进行集成。
现在,你已经大致了解了数据仓库的常用用例,下一步是调查购买数据仓库平台的可用选项。
翻译
TechTarget特邀编辑。北京邮电大学计算机科学与技术专业硕士。熟悉软件开发流程,对系统管理,网络配置,数据库应用等方面有深入的理解和实践经验。现就职于IBM(中国)投资有限公司,从事IBM服务器相关软件的开发工作。业余时间喜欢游泳登山,爱健身,喜欢结交朋友。
相关推荐
-
数据分析是关于文化,而非技术
在新加坡,Tableau公司新数据准备工具发布会上,发言人表示,数据分析日益盛行的原因在于数据量呈指数级增长以 […]
-
攻关克难:大数据系统中的预测技术
大数据分析近年来逐渐成为预测分析技术的代名词。这使得越来越多的人以为,任何用于预测分析的系统都必定涉及大数据; […]
-
让工业无忧 天泽智云发布工业智能应用孵化器GenPro
工业世界看似离我们遥远,却与我们的福祉紧密相连。数据和智能分析赋予我们更加广阔的视野,能够以预测的方式管理和避免还未发生的问题。
-
CardinalCommerce如何满足用户日益增长的数据分析需求?
通过使用Spark进行大数据分析,Visa全资附属公司CardinalCommerce在整个组织内加大了对数据的需求,并让更多的内部用户参与分析过程。