很多企业正在使用Hadoop和其他大数据技术，打破现有的业务模式，寻求新的业务策略、研发新的产品。 对于一些公司来说，大数据系统不仅仅是新型的数据处理和分析应用平台，它们还是全新商业策略背后的驱动力。 iPass公司遇到了大数据方面的挑战，该公司过去的商业模式是对客户的WIFI连接付费，现在他们想要利用大数据环境，实现战略转变，将主要营收模式转换到付费的企业用户管理和移动连接优化工具层面。该公司在2015年末推出了iPass SmartConnect软件，其功能包括一系列识别WIFI接入点的算法，对热点性能进行排名等，这样移动用户就可以连接到最快、最可靠的热点。
这意味着iPass会给用户提供了……
我们一直都在努力坚持原创.......请不要一声不吭，就悄悄拿走。
我原创，你原创，我们的内容世界才会更加精彩！
【所有原创内容版权均属TechTarget，欢迎大家转发分享。但未经授权，严禁任何媒体（平面媒体、网络媒体、自媒体等）以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
比爬取更进一步
RiskIQ 公司也利用大数据架构来拓宽业务范围。RiskIQ公司首席数据科学家Adam Hunt表示，当他在2014年初加入这家位于旧金山的公司时，其主要业务是在网络上进行网页爬取，寻找存在攻击漏洞的网站。但在一年之后，该公司构建了一个数据仓库并搭建了相应的分析环境，在现有的Hadoop集群之上部署了新的安全产品，它能够利用爬虫收集到的所有数据。 Hunter说：“我们能够利用被动数据的程度有了很大的提高，它真的改变了每个人对我们数据处理能力的看法，同时也改变了我们的业务方向。” MapR Technologies在2012年发布一个Hadoop 发行版，RiskIQ公司已经部署了这个集群。Hunter说，该系统最初只是用来存储原始数据的文件，这些原始数据可以传送给那些想要自己完成分析的客户。现在，Hadoop平台支撑着一套分析应用程序，旨在帮助企业清点和监控他们的网站、移动应用程序和其他联网资产；识别外部安全威胁；调查并回应攻击。 RiskIQ公司会爬取多达2000万的网页，并将高达25TB的数据传输到集群中，而集群则被安置在一个托管工具中。为了节省存储空间，Hunter说，公司将原始数据转换成Apache Parquet文件，这个文件的大小是原始文件的十分之一。即便如此，该集群仍需要在MapR的专有文件系统和HBase数据库中存储约500TB的数据；一个运行Solr搜索服务器的单独集群为实时作业提供3TB的数据索引。此外，在S3中还单存储了2PB的旧数据集。没有说明书
Gartner分析师Merv Adrian表示，大型数据系统的部署常常会因其复杂性而停滞不前，并指出2017年的调查结果显示，只有17%的Hadoop项目已经投入使用。2017 Pacific Northwest BI & Analytics Summit峰会上的一场演讲中，Adrian说道，企业IT团队对Hadoop和数据湖泊的需求正在变得越来越具体。他把构建一个大的数据架构比作完成一个拼图游戏，“但问题在于，你并不知道应该拼成什么样子。” 在2015年开始部署Hadoop环境时，TMW Systems公司感到有些痛苦，因为团队缺乏相应的大数据技能。“我们必须从头开始，”Timothy Leonard说，他被邀请担任TMW公司负责运营和技术执行副总裁。“当我来到这里的时候，人们对大数据并不了解。早期，我把大部分时间都花在给人们讲授大数据概念上。 TMW是一家为货车运输公司提供运输管理软件的供应商，它在2016年初开始使用Hadoop平台，以支持一套新的分析应用程序，为客户提供相应的服务。Leonard说，在此之前，运输公司只能使用他们自己的数据进行分析，现在他们可以看到关于价格、燃料使用和其他参数的聚合行业数据。 使用TMW软件的运输公司，其运营数据来自于Mayfield Heights, Ohio，那里有一个ERP系统，最终这些数据被传送到大数据架构中，该架构基于Hadoop的Hortonworks发行版，它包括两部分，一部分需要本地安装，另一部分则部署在微软的Azure云服务中。Leonard说，这些数据目前总计达数百TB，存储在一组HBase表中，每和表有多达9000列。他解释说，如此庞大的表数据，使分析应用程序的用户能够询问他们想要的任何问题，多个表也可以连接在一起。对处理速度的需求
网络安全初创公司ProtectWise在一组大数据系统的帮助下建立了自己的业务，该系统目前每天从企业网络中收集约100亿份运营数据记录。该数据被用于安全威胁的实时和历史分析，这家位于Denver的公司承诺不会错过或丢失任何记录，该承诺被写入其客户合同中。 ProtectWise的联合创始人和CTO Gene Stevens说，“24小时无间断的捕捉、处理和分析所有的网络数据，没有这种架构，几乎是不可能的。那样我们可能会一直原地踏步。” 基于云技术的大数据架构围绕着Cassandra的DataStax Enterprise(DSE)实现展开，它为实时分析程序提供了可能，这些程序在时刻检测着网络攻击。NoSQL数据库还存储了指向S3中保存的历史数据的索引，保存期限通常为一年。ProtectWise使用Spark的结构化流媒体模块分析过往的安全事件和攻击指示器的数据，利用DSE索引查找相关数据集。此外，Solr与DSE联系在一起，以供那些自行构建分析的客户使用。大数据可能难以“消化”
大数据应用程序中最具挑战性的部分可能不是针对大量数据集运行分析算法。 相反，首先摄取数据可能是一件更加简单的任务。 在TMW Systems的案例中，运输管理软件供应商将结构化和非结构化数据整合到Hadoop集群中，包括大量传感器数据。TMW的运营和技术执行副总裁Timothy Leonard补充道，“其他类型的数据平台或许可以处理分析，但除此之外，我找不到其他的方法来完成这项工作。” 移动互联公司iPass的大数据和分析主管Tomasz Magdanski说，为了降低出现性能问题的风险，大数据团队应该在部署方面好好考虑，特别是在提取、转换和加载数据的时候。部署时应考虑以规模为前提。 在ProtectWise的联合创始人、首席技术官Gene Stevens的支持下，将越来越多的数据引入网络安全供应商的大数据架构，且不存在任何错误，是当务之急。Stevens解释说：“我们知道我们必须要变得经验丰富，我们不能在摄取数据时遇到问题。” Stevens表示，在最高运行级别上，DSE系统每秒处理约600万次事务。ProtectWise还使用了一个用Scala编写的本地处理引擎，它使用Akka工具包来提供高吞吐率。他补充说，该系统每天处理10亿笔交易。
ProtectWise的大数据架构为其安全软件提供支持，它将网络可视化为虚拟的城市结构图，如上图所示。
把大数据架构放在适当的位置上，也需要做好一定的准备工作。ProtectWise成立于2013年，一开始使用开源的Cassandra，但随后转向DSE，以实现部署，此外它还使用了内置的Solr集成。Stevens说，即便如此，它还是在数据库使用中遇到了功能问题，尤其是在与Solr关联时。在问题解决后，DSE和S3设置在2014年中期上线，但Spark无法满足公司的处理需求，需要开发原生引擎。在2016年初，Spark终于加入了这个组合。 Stevens说：“现在，数据摄取吞吐量只受网络延迟的限制。大数据系统将拥有持久的影响力，因为它的业务和数据量都在不断地增长。并不是说我们不需要监视和管理它，但我们确信，这项技术将引领我们走向未来。”
翻译
TechTarget特邀编辑。北京邮电大学计算机科学与技术专业硕士。熟悉软件开发流程，对系统管理，网络配置，数据库应用等方面有深入的理解和实践经验。现就职于IBM（中国）投资有限公司，从事IBM服务器相关软件的开发工作。业余时间喜欢游泳登山，爱健身，喜欢结交朋友。
相关推荐
-
数据分析是关于文化，而非技术
在新加坡，Tableau公司新数据准备工具发布会上，发言人表示，数据分析日益盛行的原因在于数据量呈指数级增长以 […]
-
攻关克难：大数据系统中的预测技术
大数据分析近年来逐渐成为预测分析技术的代名词。这使得越来越多的人以为，任何用于预测分析的系统都必定涉及大数据； […]
-
让工业无忧 天泽智云发布工业智能应用孵化器GenPro
工业世界看似离我们遥远，却与我们的福祉紧密相连。数据和智能分析赋予我们更加广阔的视野，能够以预测的方式管理和避免还未发生的问题。
-
CardinalCommerce如何满足用户日益增长的数据分析需求？
通过使用Spark进行大数据分析，Visa全资附属公司CardinalCommerce在整个组织内加大了对数据的需求，并让更多的内部用户参与分析过程。