大数据入门Flink状态编程与容错机制

　　在大数据技术发展历程当中，Flink框架可以说是新一轮的热点技术框架，主打流批一体的计算模式，成为更适应当下需求的技术框架，因此再也技术领域得到更多的重视。今天的大数据入门分享，我们主要来讲讲Flink框架的状态编程与容错机制。
　　流式计算，通常分为有状态和无状态两种情况：
　　无状态：无状态的计算观察每个独立事件，并根据最后一个事件输出结果。
　　有状态：有状态的计算则会基于多个事件输出结果。
　　Flink流计算理念，官方说法叫做有状态的流计算，将批处理也看作是一种特殊的＂流＂，即有界的流，在这样的指导思想下，实现了批处理和流计算。
　　Flink状态编程
　　Flink有很多算子，数据源source，数据存储sink都是有状态的，流中数据都是buffer records，会保存一定的元素或者元数据。如：ProcessWindowFunction会缓存输入流的数据，ProcessFunction会保存设置的定时器信息等。
　　Flink中，状态始终与特定算子相关，总的来说有两种类型的状态：算子状态（operator state）和键控状态（keyed state）。
　　算子状态（operator state）
　　算子状态的作用范围限定在算子任务。也就是说同一并行任务所处理的所有数据都可以访问到相同的状态，状态对于统一任务而言是共享的。算子不能由相同或不同算子的另一个任务访问。
　　Flink算子状态的三种基本数据结构——
　　列表状态（List state）：将状态表示为一组数据的列表。
　　联合列表状态（Union list state）：将状态表示为一组数据的列表，它与常规列表的区别在于，在发生故障时，或者从保存点（savepoint）启动应用程序时如何恢复。
　　广播状态（Broadcast state）：如果一个算子有多项任务，而它的每项任务状态又都相同，那么这种情况最适合光爆状态
　　键控状态（keyed state）
　　键控状态是根据输入数据流中定义的键（key）来维护和访问的。
　　Flink为每个键值维护一个状态实例，并将具有相同键的所有数据，都分区到一个算子任务中，这个任务会维护和处理这个key对应的状态。
　　当任务处理处理一条数据时，它会自动将状态的访问范围限定为当前输的key。因此，具有相同key的所有数据都会访问相同的状态。
　　Keyed State类似于一个分布式的k-v的map数据结构，只能用于KeyedStream（keyby算子处理之后）。
　　Flink的Keyed State支持的数据类型：
　　ValueState[T]保存单个值，值得类型为T
　　get操作:ValueState.value()
　　set操作:ValueState.update(value:T)
　　ListState[T]保存一个列表，列表元素的类型T
　　ListState.add(value:T)
　　ListState.addAll(values:java.util.List[T])
　　ListState.get()返回Iterable[T]
　　ListState.update(values:java.util.List[T])
　　MapState[K,V]保存key-value对
　　MapState.get(key:K)
　　MapState.put(key:K,value:V)
　　MapState.contains(key:K)
　　MapState.remove(key:K)
　　ReducingState[T]
　　AggregatingState[I,O]
　　Flink容错机制
　　1、状态一致
　　当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是＂正确性级别＂的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确。
　　Flink的一个重大价值在于，它既保证了exactly-once，也具有低延迟和高吞吐的处理能力。
　　2、端到端（end-to-end）状态一致性
　　端到端的一致性保证，意味着结果的正确性贯穿了整个流处理应用的始终；每一个组件都保证了它自己的一致性，整个端到端一致性级别取决于所有组件中一致性最弱的组件。
　　3、检查点（Checkpoint）
　　Flink检查点算法的正式名称是异步分界线快照（Asynchronous barrier snapshotting）。该算法大致基于Chandy-Lamport分布式快照算法。
　　检查点是Flink最有价值的创新之一，因为它使得Flink可以保证exactly-once，并且不需要牺牲性能。
　　关于大数据入门，Flink状态编程与容错机制，以上就为大家做了简单的介绍了。Flink框架在当前的大数据技术生态当中，热度持续上升，作为大数据开发者，掌握Flink势在必行。