storm简介以及应用场景 | AiTi修炼|重剑无锋,拈花微笑
Header
Header

storm简介以及应用场景

Storm的简介

1.1、什么是Storm

Storm是一个分布式实时流式计算平台,具有以下特点:
* 分布式

支持水平扩展,通过追加机器就能提供并发数进而提高处理能力;同时具备自动容错机制,能自动处理进程、机器、网络等异常。
* 实时处理

Storm中数据不写磁盘,低延迟(毫秒级)。

* 流式数据

不断有数据流入、处理和流程;

* 开源代码

由twitter开源,社区很活;

1.2 与其他分布式大数据处理框架比较

与hadoop的MapReduce计算模型比较 |与其他queue+worker类框架比较
————————————–|—————————————
1、storm数据常驻运行;|1、维护更加简单:开发人员无需维护queue与worker关系
2、数据流式处理,数据可以来一点马上处理一点;|2、扩展简单:支持横向扩展,增加机器提高并发;
3、数据实时处理,数据在内存不写入磁盘;|3、自动容错:进程、机器、网络异常,消息可重发;
4、支持DAG模型,可以灵活组合多种数据流以及处理策略|4、编程模型简单,能支持多种编程语言
在架构实现与设计上storm与hadoop有一定的相似之处,两者物理上都是参与master-slave模式,但在框架系统的角色设计上也存在一定的差异。
![enter description here][2]
总的来说Storm 关注的是数据多次处理一次写入,而 hadoop 关注的是数据一次写入,多次查询使用。Storm系统运行起来后是持续不断的,而 hadoop往往只是在业务需要时调用数据。

1.1.3、Storm的开源地址

Storm在其开源网站上有介绍why use storm?

Apache Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing. Storm is simple, can be used with any programming language, and is a lot of fun to use!

Storm has many use cases: realtime analytics, online machine learning, continuous computation, distributed RPC, ETL, and more. Storm is fast: a benchmark clocked it at over a million tuples processed per second per node. It is scalable, fault-tolerant, guarantees your data will be processed, and is easy to set up and operate.

Storm integrates with the queueing and database technologies you already use. A Storm topology consumes streams of data and processes those streams in arbitrarily complex ways, repartitioning the streams between each stage of the computation however needed. Read more in the tutorial.

storm的应用场景

随着互联网的更进一步发展,信息浏览、搜索、关系交互传递型,以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。对于实时性的要求进一步提升,而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展,这样必然带来数据在各个维度的交叉关联,数据爆炸已不可避免。因此流式处理和NoSQL产品应运而生,分别解决实时框架和数据大规模存储计算的问题。 Storm有很多的应用场景,其流式处理可以用于以下不同场景:
* 1.事件流
* 2.持续计算
* 3.分布式RPC
* 4.实时分析
* 5.在线机器学习
* 6.ETL转换等

rscala.com版权所有,本文storm简介以及应用场景转载请注明出处:http://rscala.com/index.php/329.html

该文章归档分类于 storm实践, 大数据进阶

Leave a Reply

电子邮件地址不会被公开。 必填项已用*标注

*

code