Header
Header

Blog Archives

scala学习之字符串分割Splitting Strings

不管是在项目还是基本应用的实际需求中,我们不可避免会遇到字符串的分割处理需求,比如对爬虫抓取的html文件进行内容分割提取有用信息或者对CVS文件进行解析提取不同行列位置的数据,这就要求我们在学习scala的时候要熟悉其Splitting Strings相关基础内容,才能熟练地应用,解决问题。阅读更多

Sprak Core核心编程之深刻理解Transformation和Action

对于Action操作,在spark core框架中一般会触发一个spark job的运行,并触发这个action操作之前的transformation操作的执行。其精妙设计其实只要我们对计算机应用程序的特性认真思考就感叹,原来一切情理之中意料之外。阅读更多

spark之scala实现wordcount

在spark中使用scala来实现wordcount(统计单词出现次数模型)更加简单,相对java代码上更加简洁,其函数式编程的思维逻辑也更加直观。阅读更多