Header
Header

Blog Archives

Sprak Core核心编程之深刻理解Transformation和Action

对于Action操作,在spark core框架中一般会触发一个spark job的运行,并触发这个action操作之前的transformation操作的执行。其精妙设计其实只要我们对计算机应用程序的特性认真思考就感叹,原来一切情理之中意料之外。阅读更多

spark之scala实现wordcount

在spark中使用scala来实现wordcount(统计单词出现次数模型)更加简单,相对java代码上更加简洁,其函数式编程的思维逻辑也更加直观。阅读更多

真会玩——Spark 2.0之后将支持在Android和iOS设备上运行spark

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。阅读更多