• Posts tagged "spark streaming"
Header
Header

Blog Archives

Spark Streaming之基于HDFS数据源的实时wordCount

Spark Streaming基于HDFS的数据源进行实时计算,其主要原理是spark Streaming会监视指定的HDFS目录,并且处理出现在目录中的文件。因此注意的是:阅读更多

基于flume-ng+kafka+spark streaming实现日志收集分析

基于flume-ng+kafka+spark streaming可以快速实现日志收集分析功能,在架构上可以划分为三个模块:日志收集模块、日志分发模块、日志分析模块,在设计上考虑模块之间无缝衔接,以及实现日志收集分析时需要保障体系架构具有分布式、高扩展性、高可靠性、实时性的特点。阅读更多

Kafka与Spark Streaming整合总结

Spark代码库中的 KafkaWordCount 对于我们来说是个非常好的起点,但是这里仍然存在一些开放式问题。阅读更多