大数据入门Storm基础讲解

　　在大数据学习当中，主流的技术框架通常都是需要有相应程度的掌握的，包括Hadoop、Spark、Storm、Flink等。其中，Storm这个框架，其实处在一个稍微尴尬的地位，市场占有率称不上特别高，但是也不容忽视。今天的大数据入门分享，我们来对Storm做个简单的入门讲解。
　　诚如我们前面所说，Storm在大数据技术生态的地位，是处在不上不下的一个位置上。在企业级开发的市场上，Hadoop和Spark占据了主流地位，新晋的Flink也来势汹汹，而Storm在市场的裹挟之下，常常陷入被忽视的境地。 Storm简介
　　Storm，可以说是第一个实现了分布式实时计算框架，相比于Spark的准实时，Storm是＂真正意义上的实时＂。但是Spark与Hadoop的集成优势，却是Storm比不过的，由此也为Storm的后来发展埋下了伏笔。
　　Storm有很多应用场景，包括实时数据分析、联机学习、持续计算、分布式RPC、ETL等。尤其是在处理连续的流数据上，Storm性能是值得肯定的。 Storm核心概念
　　要学习Storm，我们先从Storm的几个核心概念开始讲起——
　　Topology（拓扑）： 在Storm中，分布式计算的结构被称为一个拓扑，它由流数据（Stream），Spouts（流生产者），以及bolt（操作）组成。拓扑涵盖了数据源获取、数据生产、数据处理的所有代码逻辑。
　　Spout： Spout是storm拓扑的主要数据入口点，Spout像适配器一样连接到一个源的数据，将数据转换为元组，发然后发射出一连串的元组。
　　Bolt： Bolts可以被认为是运算操作或函数，Spout会将数据传送给bolt，各种bolt还可以串联成一个计算链条。
　　Tuple： Storm的核心数据结构，是一个简单的键值对数据，每条数据都会被封装在tuple中，在多个spout和bolt之间传递。
　　Stream： 就是一个流，抽象的概念，源源不断过来的tuple，就组成了一条数据流。 Storm集群架构
　　通常来说，Storm集群采用主从架构方式，主节点是Nimbus，从节点是Supervisor，有关调度相关的信息存储到ZooKeeper集群中。
　　Nimbus
　　Storm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节点，去运行Topology对应的组件（Spout/Bolt）的Task。
　　Supervisor
　　Storm集群的从节点，负责管理运行在Supervisor节点上的每一个Worker进程的启动和终止。
　　Worker
　　运行具体处理组件逻辑的进程。Worker运行的任务类型只有两种，一种是Spout任务，一种是Bolt任务。
　　Task
　　worker中每一个spout/bolt的线程称为一个task。在storm0.8之后，task不再与物理线程对应，不同spout/bolt的task可能会共享一个物理线程，该线程称为executor。
　　ZooKeeper
　　用来协调Nimbus和Supervisor，如果Supervisor因故障出现问题而无法运行Topology，Nimbus会第一时间感知到，并重新分配Topology到其它可用的Supervisor上运行。
　　关于大数据学习，Storm入门，以上就为大家做了一个简单的介绍了。Storm这个框架，在大数据学习当中，需要学，但是重要程度可以略微排在Hadoop、Spark之后，合理安排学习时间。