<返回列表

新闻分类

资讯动态
的数据流架构由软件开发公司ApacheFlink实施。 dataArtisans的应用工程总监JamieGrier最近在OSCON2016大会上发表了讲话,并谈到了使用ApacheFlink构建的数据流架构。它还讨论了数据流应用程序的构建块。与传统的静态数据集不同,数据流体系结构可用于处理随时间连续作为事件流生成的数据。与传统的集中式状态数据库和数据仓库相比,数据流应用程序可以处理事件流,并为历史事件汇总应用程序本地状态。流数据处理的一些优点包括:减少从信号到决策的处理延迟。以统一的方式处理实时和历史数据。Timetravel查询ApacheFlink是一个开源的分布式流和批处理数据处理平台。 Flink的诞生受到GoogleDataFlow模型的启发,该模型支持以Java和Scala语言开发的StreamProcessing API。与其他流数据处理框架相比,Flink中没有微批处理数据。而是使用一次一次消息的流处理技术。 AmiJamie介绍了状态流处理并显示了Flink应用程序的代码示例,以及使用开源时间序列数据库和Graphana可视化工具Influxdb进行监视的方法。同时,他还介绍了流处理过程中的窗口化概念,以及处理时间和事件时间的窗口化概念。处理时间窗口会影响流数据的分析,并可能在数据处理期间导致某些错误。在事件时间方法中,窗口来自数据,而不是时钟时间。对于事件时间,可以通过数据中嵌入的时间戳来处理数据,因此可以获得更多结果。 Jamie还介绍了在应用程序中使用Flink时的错误处理和容错机制。 Flink中的Savepoints功能可以更新程序和Flink群集而不会丢失任何状态。如果要流式传输实时数据,此时的保存点数据快照将非常重要。如果您想了解有关ApacheFlink的更多信息,请访问他们的网站。此外,FlinkForward2016Conference会议将于9月在柏林举行,提交提案的截止日期为2016年6月30日。
扫描二维码关注我们
确 认