汹涌而来的大数据浪潮正在改变数据建模技术,包括模式的创建。这个观点在2016年圣地亚哥举办的EDW(企业数据世界)会议上提出,数据专业人员应该及时做出调整,适应形势的变化。
凭借海量数据和不同的数据结构,大数据的冲击也为NoSQL、Hadoop、Spark等带来了新的技术形式。尤其是NoSQL,呼吁在建立数据模型技术上做出改变。
2016年在圣地亚哥举办的EDW(企业数据世界)会议上,一些数据专家建议应该学习一些基本的命令,尤其是涉及到NoSQL数据库的,如MongoDB,Cassandra和Redis,至少要掌握其中的一种。
“没有人天生就掌握NoSQL“,纽约信息提供商LexisNexis的数据架构师Ted Hills如是说。数据建模师应该明白,他们掌握的所有关于逻辑建模的知识仍然是正确的,但他们也应该意识到NoSQL可以提供更丰富的工具箱,使开发者的工作更加便捷。
数据专业人员应该做好准备接受变化,并拥抱大数据工具的新功能,尽管大数据工具使得现有建模方法发生变化。
当数据建模技术遇上schema-on-write
大数据浪潮下,NoSQL的作用是延迟模式创建。数据模式的早期定义是数据质量实践的关键和启动一个项目的先决条件。
数据架构师和InfoAdvisors首席顾问Karen Lopez表示,在开发周期,模式创建可能会进入一个不同的阶段。
“这并不是说我们不关心质量,只是我们不关心模式创建的前期,”她说,这并不意味着要设计成为“非模式化“。相反,他们支持类似于“schema-on-read”的模型。
Hills也表示认同,人们对于NoSQL的热情逐渐缓和,因为他们不知道究竟是什么东西与数据库管理系统发生碰撞。随着初始数据的不断开发,才创建了数据模式。他预计数据建模从一个只是说明性的模式逐渐发展到包括一些描述性的建模。
敏捷性很重要
“现在,数据建模的出现使得一切变得更具描述性,”独立分析师Lakshmi Randall感叹。
NoSQL数据库可能与数据设计风格相关,比如说图形数据库。NoSQL图形数据库可以在许多交互中捕捉信息,例如,网络和客户关系系统。NoSQL图形数据库可以帮助创建一个广泛应用的描述性模型。
Hills强调,设计NoSQL数据库是一种趋势,它使企业和软件开发更加灵活。
设计NoSQL数据库也被认为是提高敏捷性的方法。与传统的建模相比,这种趋势也有许多原则要遵守。例如,项目的运作要围绕交付而进行,以及短暂而频繁的迭代和适度使用预付模式。
敏捷性意味着团队可以将项目划分成更细化的模块,提高完成项目的效率。企业业务的成功与否与每一个步骤息息相关。
Hills表示,数据建模师应该学习敏捷开发,提高工作效率。传统的数据建模过程更倾向于一蹴而就,完成项目的风格与多年形成的习惯密切相关。
在创建模式之前,在NoSQL中存储数据并无大碍。Hills叮嘱数据建模者以更加开放的心态挖掘新技术的价值。不要把新技术、新工具看成是敌人,要把它当成一个突破局限、探索新事物的好机会。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
采矿设备制造商利用BI on Hadoop来挖掘数据
如果大数据要取得巨大成功,则需要提供给更多的最终用户群组。但广泛使用的商业智能工具尚不能轻松分析最大的大数据, […]
-
新Qlik Sense功能可用于云计算、AI和大数据
一年前,Qlik公司公布其长期计划,即将高级云计算、AI和大数据功能添加到其自助式BI和数据可视化软件中。现在 […]
-
Cambridge Analytica秘密收集Facebook数据表明对道德数据挖掘的需求
当有关Cambridge Analytica公司秘密收集Facebook数据的消息传出时,这暴露了一个薄弱环节 […]