高中时，我在一家快餐店打工，一直深信不疑的工作原则是“力求速度、勿求完美。”随着时间的推移，我的想法有所改变。

如今，数据管理和分析团队不仅需要提升速度，而且必须力求完美，完成企业实时数据分析任务。这给了他们很大的压力，因为构建一个实时架构，并在该框架上运行流数据分析应用是一项非常复杂的工作。

首先，流分析系统并不是一个黑盒系统。配置这个系统是一个纯手动的过程，需要准用户拼凑各种数据处理技术和分析工具，以满足特定的应用需求。此外，可供选择的技术种类在过去的几年中显著增加，这主要得益于多个大数据平台以不同的方式提供了流处理能力。

各式流分析平台

Spark 流分析，Flink,，Storm，Samza，Pulsar，Druid，Kylin——所有的开源处理引擎都期望在数据流和实时分析领域占据一席之地。就连Kafka，这个用于从一个系统向另一个系统传输数据的系统，现在也试图作为一个流处理平台而存在。除了开源工具，从20世纪90年代开始，各个IT供应商都开始提供更为传统且复杂的事件处理系统。例如专用数据库，内存处理数据库，这些技术出现的驱动力之一，就是流数据分析。

在分析软件层面，机器学习算法的广泛使用，让预测模型的构建工作变得更为容易，这些预测模型可以处理大量的流数据，例如金融交易数据、设备性能监控数据和网络点击流等。可供人们选择的技术有很多：来自主流分析供应商的工具，机器学习厂商，云端服务，开源平台等。

和构建大数据架构类似，支撑实时分析架构的软件种类繁多，这对于用户来说有利有弊。找到合适的技术，并把这些技术整合成一个有效的分析框架将是一个十分冒险的过程，一着不慎，满盘皆输。

流数据处理项目依然受到企业的追捧

这些困难并没有让企业停止实施流数据分析架构的脚步，尤其是那些拥有大量数据和充足的IT资源的大型企业。来自TechTarget公司进行的调查显示：7000名受访的IT从业人员中，28.1%的人表示他们的企业正在寻找在接下来的一年中，在实时分析技术上进行投资。此外，13.4%的人表示他们计划购买流处理软件。

为什么要使用流数据分析呢？因为实时从数据流中提取有用信息的能力可以企业运营做出实时调整。运行在Web流数据上的预测分析应用程序，为网站个性化定制提供了有利的依据，能够让在线广告投放和营销活动变得更为精准和有效。欺诈检测，预测性维护和卫星成像等，也属于能从流数据分析中获益的应用场景范畴。

在很多情况下，实时意味着机不可失，失不再来。Forrester的分析师Mike Gualtieri和同事Rowan Curran在2016 Forrester Wave报告中提到，数据流分析工具能够抓住时机，让企业在流数据上得到立即的见解，以便做出快速反应。简单地把数据扔到Hadoop集群中，是无法得到类似的见解的， Dell EMC首席数据平台架构师Darryl Smith，在Strata + Hadoop World 2016的一次演讲中说道。

速度的确可以带来很好的体验。但在追求速度之前，要确保你的团队具有深思熟虑的计划。否则，你很有可能让企业高管们失望。