学习一波Netty封装的FastThreadLocal
1 FastThreadLocal的引入背景和原理简介
既然jdk已经有ThreadLocal,为何netty还要自己造个FastThreadLocal?FastThreadLocal快在哪里?
这需要从jdk ThreadLocal的本身说起。如下图:
在java线程中,每个线程都有一个ThreadLocalMap实例变量(如果不使用ThreadLocal,不会创建这个Map,一个线程第一次访问某个ThreadLocal变量时,才会创建)。
该Map是使用线性探测的方式解决hash冲突的问题,如果没有找到空闲的slot,就不断往后尝试,直到找到一个空闲的位置,插入entry,这种方式在经常遇到hash冲突时,影响效率。
FastThreadLocal(下文简称ftl)直接使用数组避免了hash冲突的发生,具体做法是:每一个FastThreadLocal实例创建时,分配一个下标index;分配index使用AtomicInteger实现,每个FastThreadLocal都能获取到一个不重复的下标。
当调用 ftl.get() 方法获取值时,直接从数组获取返回,如return array[index] ,如下图:
2 实现源码分析
根据上文图示可知,ftl的实现,涉及到InternalThreadLocalMap、FastThreadLocalThread和FastThreadLocal几个类,自底向上,我们先从InternalThreadLocalMap开始分析。
InternalThreadLocalMap类的继承关系图如下:
2.1 UnpaddedInternalThreadLocalMap的主要属性static final ThreadLocal slowThreadLocalMap = new ThreadLocal(); static final AtomicInteger nextIndex = new AtomicInteger(); Object[] indexedVariables;
数组indexedVariables就是用来存储ftl的value的,使用下标的方式直接访问。nextIndex在ftl实例创建时用来给每个ftl实例分配一个下标,slowThreadLocalMap在线程不是ftlt时使用到。 2.2 InternalThreadLocalMap分析
InternalThreadLocalMap的主要属性: // 用于标识数组的槽位还未使用 public static final Object UNSET = new Object(); /** * 用于标识ftl变量是否注册了cleaner * BitSet简要原理: * BitSet默认底层数据结构是一个long[]数组,开始时长度为1,即只有long[0],而一个long有64bit。 * 当BitSet.set(1)的时候,表示将long[0]的第二位设置为true,即0000 0000 ... 0010(64bit),则long[0]==2 * 当BitSet.get(1)的时候,第二位为1,则表示true;如果是0,则表示false * 当BitSet.set(64)的时候,表示设置第65位,此时long[0]已经不够用了,扩容处long[1]来,进行存储 * * 存储类似 {index:boolean} 键值对,用于防止一个FastThreadLocal多次启动清理线程 * 将index位置的bit设为true,表示该InternalThreadLocalMap中对该FastThreadLocal已经启动了清理线程 */ private BitSet cleanerFlags; private InternalThreadLocalMap() { super(newIndexedVariableTable()); } private static Object[] newIndexedVariableTable() { Object[] array = new Object[32]; Arrays.fill(array, UNSET); return array; }
比较简单, newIndexedVariableTable() 方法创建长度为32的数组,然后初始化为UNSET,然后传给父类。之后ftl的值就保存到这个数组里面。
注意,这里保存的直接是变量值,不是entry,这是和jdk ThreadLocal不同的。InternalThreadLocalMap就先分析到这,其他方法在后面分析ftl再具体说。 2.3 ftlt的实现分析
要发挥ftl的性能优势,必须和ftlt结合使用,否则就会退化到jdk的ThreadLocal。ftlt比较简单,关键代码如下: public class FastThreadLocalThread extends Thread { // This will be set to true if we have a chance to wrap the Runnable. private final boolean cleanupFastThreadLocals; private InternalThreadLocalMap threadLocalMap; public final InternalThreadLocalMap threadLocalMap() { return threadLocalMap; } public final void setThreadLocalMap(InternalThreadLocalMap threadLocalMap) { this.threadLocalMap = threadLocalMap; } }
ftlt的诀窍就在threadLocalMap属性,它继承java Thread,然后聚合了自己的InternalThreadLocalMap。后面访问ftl变量,对于ftlt线程,都直接从InternalThreadLocalMap获取变量值。 2.4 ftl实现分析
ftl实现分析基于netty-4.1.34版本,特别地声明了版本,是因为在清除的地方,该版本的源码已经注释掉了ObjectCleaner的调用,和之前的版本有所不同。 2.4.1 ftl的属性和实例化private final int index; public FastThreadLocal() { index = InternalThreadLocalMap.nextVariableIndex(); }
非常简单,就是给属性index赋值,赋值的静态方法在InternalThreadLocalMap: public static int nextVariableIndex() { int index = nextIndex.getAndIncrement(); if (index < 0) { nextIndex.decrementAndGet(); throw new IllegalStateException("too many thread-local indexed variables"); } return index; }
可见,每个ftl实例以步长为1的递增序列,获取index值,这保证了InternalThreadLocalMap中数组的长度不会突增。 2.4.2 get()方法实现分析public final V get() { InternalThreadLocalMap threadLocalMap = InternalThreadLocalMap.get(); // 1 Object v = threadLocalMap.indexedVariable(index); // 2 if (v != InternalThreadLocalMap.UNSET) { return (V) v; } V value = initialize(threadLocalMap); // 3 registerCleaner(threadLocalMap); // 4 return value; }
1.先来看看 InternalThreadLocalMap.get() 方法如何获取threadLocalMap: =======================InternalThreadLocalMap======================= public static InternalThreadLocalMap get() { Thread thread = Thread.currentThread(); if (thread instanceof FastThreadLocalThread) { return fastGet((FastThreadLocalThread) thread); } else { return slowGet(); } } private static InternalThreadLocalMap fastGet(FastThreadLocalThread thread) { InternalThreadLocalMap threadLocalMap = thread.threadLocalMap(); if (threadLocalMap == null) { thread.setThreadLocalMap(threadLocalMap = new InternalThreadLocalMap()); } return threadLocalMap; }
因为结合FastThreadLocalThread使用才能发挥FastThreadLocal的性能优势,所以主要看fastGet方法。该方法直接从ftlt线程获取threadLocalMap,还没有则创建一个InternalThreadLocalMap实例并设置进去,然后返回。
2. threadLocalMap.indexedVariable(index) 就简单了,直接从数组获取值,然后返回: public Object indexedVariable(int index) { Object[] lookup = indexedVariables; return index < lookup.length? lookup[index] : UNSET; }
3.如果获取到的值不是UNSET,那么是个有效的值,直接返回。如果是UNSET,则初始化。
initialize(threadLocalMap) 方法: private V initialize(InternalThreadLocalMap threadLocalMap) { V v = null; try { v = initialValue(); } catch (Exception e) { PlatformDependent.throwException(e); } threadLocalMap.setIndexedVariable(index, v); // 3-1 addToVariablesToRemove(threadLocalMap, this); // 3-2 return v; }
3.1.获取ftl的初始值,然后保存到ftl里的数组,如果数组长度不够则扩充数组长度,然后保存,不展开。
3.2. addToVariablesToRemove(threadLocalMap, this) 的实现,是将ftl实例保存在threadLocalMap内部数组第0个元素的Set集合中。
此处不贴代码,用图示如下:
4. registerCleaner(threadLocalMap) 的实现,netty-4.1.34版本中的源码: private void registerCleaner(final InternalThreadLocalMap threadLocalMap) { Thread current = Thread.currentThread(); if (FastThreadLocalThread.willCleanupFastThreadLocals(current) || threadLocalMap.isCleanerFlagSet(index)) { return; } threadLocalMap.setCleanerFlag(index); // TODO: We need to find a better way to handle this. /* // We will need to ensure we will trigger remove(InternalThreadLocalMap) so everything will be released // and FastThreadLocal.onRemoval(...) will be called. ObjectCleaner.register(current, new Runnable() { @Override public void run() { remove(threadLocalMap); // It"s fine to not call InternalThreadLocalMap.remove() here as this will only be triggered once // the Thread is collected by GC. In this case the ThreadLocal will be gone away already. } }); */ }
由于ObjectCleaner.register这段代码在该版本已经注释掉,而余下逻辑比较简单,因此不再做分析。 2.5 普通线程使用ftl的性能退化
随着 get() 方法分析完毕,set(value) 方法原理也呼之欲出,限于篇幅,不再单独分析。
前文说过,ftl要结合ftlt才能最大地发挥其性能,如果是其他的普通线程,就会退化到jdk的ThreadLocal的情况,因为普通线程没有包含InternalThreadLocalMap这样的数据结构,接下来我们看如何退化。学习资料:Java进阶视频资源
从InternalThreadLocalMap的 get() 方法看起: =======================InternalThreadLocalMap======================= public static InternalThreadLocalMap get() { Thread thread = Thread.currentThread(); if (thread instanceof FastThreadLocalThread) { return fastGet((FastThreadLocalThread) thread); } else { return slowGet(); } } private static InternalThreadLocalMap slowGet() { // 父类的类型为jdk ThreadLocald的静态属性,从该threadLocal获取InternalThreadLocalMap ThreadLocal slowThreadLocalMap = UnpaddedInternalThreadLocalMap.slowThreadLocalMap; InternalThreadLocalMap ret = slowThreadLocalMap.get(); if (ret == null) { ret = new InternalThreadLocalMap(); slowThreadLocalMap.set(ret); } return ret; }
从ftl看,退化操作的整个流程是:从一个jdk的ThreadLocal变量中获取InternalThreadLocalMap,然后再从InternalThreadLocalMap获取指定数组下标的值,对象关系示意图:
3 ftl的资源回收机制
在netty中对于ftl提供了三种回收机制:
自动: 使用ftlt执行一个被FastThreadLocalRunnable wrap的Runnable任务,在任务执行完毕后会自动进行ftl的清理。
手动: ftl和InternalThreadLocalMap都提供了remove方法,在合适的时候用户可以(有的时候也是必须,例如普通线程的线程池使用ftl)手动进行调用,进行显示删除。
自动: 为当前线程的每一个ftl注册一个Cleaner,当线程对象不强可达的时候,该Cleaner线程会将当前线程的当前ftl进行回收。(netty推荐如果可以用其他两种方式,就不要再用这种方式,因为需要另起线程,耗费资源,而且多线程就会造成一些资源竞争,在netty-4.1.34版本中,已经注释掉了调用ObjectCleaner的代码。) 4 ftl在netty中的使用
ftl在netty中最重要的使用,就是分配ByteBuf。基本做法是:每个线程都分配一块内存(PoolArena),当需要分配ByteBuf时,线程先从自己持有的PoolArena分配,如果自己无法分配,再采用全局分配。
但是由于内存资源有限,所以还是会有多个线程持有同一块PoolArena的情况。不过这种方式已经最大限度地减轻了多线程的资源竞争,提高程序效率。
具体的代码在 PoolByteBufAllocator的内部类PoolThreadLocalCache中: final class PoolThreadLocalCache extends FastThreadLocal { @Override protected synchronized PoolThreadCache initialValue() { final PoolArena heapArena = leastUsedArena(heapArenas); final PoolArena directArena = leastUsedArena(directArenas); Thread current = Thread.currentThread(); if (useCacheForAllThreads || current instanceof FastThreadLocalThread) { // PoolThreadCache即为各个线程持有的内存块的封装 return new PoolThreadCache( heapArena, directArena, tinyCacheSize, smallCacheSize, normalCacheSize, DEFAULT_MAX_CACHED_BUFFER_CAPACITY, DEFAULT_CACHE_TRIM_INTERVAL); } // No caching so just use 0 as sizes. return new PoolThreadCache(heapArena, directArena, 0, 0, 0, 0, 0); } }
参考资料 Netty源码分析3 - FastThreadLocal 框架的设计 Netty进阶:自顶向下解析FastThreadLocal 来源:blog.csdn.net/mycs2012/article/details/90898128
天龙八部怀旧服8次转职,6个门派,有钱人有多会玩?说起转门派,自从怀旧服推出转门派丹之后,各位躁动的老铁纷纷尝试起其他职业。但是要论起转职最多,那还得看这位连转8次门派,体验6个门派的选手。大佬的原始门派是啥,他没交代,咱也不可考
传世元神怀旧高爆版手游元神融合技能介绍哈喽!小伙伴们好!然后跟各位介绍传奇资讯!在传奇的全世界里,始终出現着3种岗位,三岗位不尽相同可是又互相互相着另一方,牵制的技能效果促使每一个岗位都出現了自个的打法和攻略大全。可是
失忆症中文pc版失忆症中文pc版是由时光之书制作的一款角色扮演类游戏,本作描述醒来后发现被关在不曾见过房间内的主角,如何在这样的环境下逃过不知名存在的追杀的故事剧情。游戏通过方向键控制角色的移动,
原神圣遗物狗粮这么强?这套四星装备也能起飞首先还是老规矩,请出我们这期的主角四星圣遗物流放者一丶套装分析2件套元素充能效率提高20。中规中矩,与绝缘套的2件套效果一样,都是提升20的元素充能效率的,也恰好可以配合4件套效果
复古传奇传奇新玩法?战士带群攻?新手进来就送带特殊技能装备传奇基本的模式都差不多打怪打装备打架大家的装备都差不多的只是土豪会比散人快一步得到好的装备但是某些老G由于不按套路出牌连玩法都特别奇葩小极品在很多版本里见过也不稀奇了但是还是一地次
热血传奇传奇3怀旧服经典玩法介绍十年热血,传奇再续。小伙伴们你们好,我是你们的老朋友传奇君啊。本期传奇君给大伙儿说说传奇3怀旧服这款游戏。传奇3传奇3怀旧服这款游戏,我也给大伙儿介绍过很多次了,可是这款游戏的内容
你支持兰陵王和花木兰cp,还是花木兰和铠cp?花木兰和露娜,花露水啊(o)凯兰啊,凯和兰陵王挺好的双兰大法好根据最新花木兰皮肤青春决赛季海报彩蛋花木兰身上有铠的标记那么无疑官方会把花木兰和铠组成CP了哈哈,这个问题,还真是不好
dota2中哪些近战英雄可以solo熊拍拍呢?绝大多数近战英雄遇到熊战士都是一头包,会打的拍拍真的是压着近战核打。你敢补刀近身就被拍,几连拍前期谁也扛不住。如果你猥琐,拍拍freefarm。配合一个会做眼的酱油,出到跳刀以后看
宛如重制版!生化危机4最强高清MOD画面对比视频ElAnalistaDeBits目前正在制作生化危机4的HD高清MOD,而现在,他们分享了一段游戏视频,视频比较了这个高清MOD和PC原版游戏的画质差别,让我们一起来看看吧!从视频
Propnight融合躲猫猫的恐怖游戏,能否打开一片天地?大家好哈。数年之前,一款名叫黎明杀机的游戏无疑算是开启了游戏的新纪元,其恐怖压抑的氛围只能逃不能反抗的特性,吸引了一大批寻求刺激的玩家。虽然很快它就因为过于血腥恐怖而在各大直播平台
风暴之眼全新奇迹魔幻类手游,百变龙魂,极致战斗风暴之眼游戏是一款奇迹类型的手游,游戏中会有相当多恶龙等待着玩家来进攻,玩家开始是一个初级的勇士,战斗力不怎么强大,你要升级你的技能,以及装备,这样战斗起来,才能够获得成功,前期的
魔兽赛季服狂暴战盗贼被削弱,只因痛击之刃被加唯一属性魔兽世界赛季服自从上线以来备受玩家们的关注,已知奥妮克希亚和MC都加强了,可以说成了魔兽世界历史最难的奥妮克希亚和MC副本,如今大部分普通团队还在饱受煎熬,各种灭团导致一个晚上只能
如果世上还有什么我不懂的学问,那就是,女孩子们今天给大家介绍一下法师张良,这个英雄的定位是法师远程,我感觉在实际操作上他的技能范围也不是特别长,但是这个英雄的单体控制效果和操作难度是比较简单的!只要丢失了一技能或者二技能就能解
我们该如何在幻塔里提升实力,玩得更爽?在我看来,刚公测不久的热门手游幻塔是一款舒适度拉满的ARPG,比起硬核到硌牙的ACT,它并不会对于玩家提出精确到某一帧的操作要求,而对比用属性提升来刺激玩家分泌多巴胺强化正反馈的R
钢魂(屠龙沙城)原汁原味的单职业传奇,成就最后实力英雄钢魂(屠龙沙城)是一款原汁原味的单职业传奇游戏,最大程度重现经典,主要玩法以升级爆装攻沙为核心,在这里玩家可以尽情体验最原始的传奇,刀刀涨经验,装备全靠打,一路刷刷刷,级数飞速上升
植物大战僵尸钉钯开局阵型及收尾详细分析正如在上个贴子里说的,仅仅由于钉钯秒杀第一个出现的僵尸,使得整个关卡的进程缩短了20多秒,不得不让人想起传说中的蝴蝶效应澳大利亚的一只蝴蝶扇了一下翅膀,结果使大平洋卷起了一场龙卷风
战舰世界全球同步开启!全新战舰上线,让你眼花缭乱对于网游爱好者们来讲,一款游戏想要被称为佳作,除了极具创意的玩法以及能让玩家眼前一亮的画面以外,后期的合理更新也是相当重要的,不然就容易出现一把好牌打稀烂的情况。在360接手战舰世
三国志战略版陆逊喷火盾1人打穿10名敌人,只有程昱能克制他自从群雄剧本出现S级盾兵宝物后,陆逊喷火盾逐渐被玩家接受,现在也出现了藤甲兵陷阵营和抚辑军民三个体系,不论哪个体系,都有一穿三一穿五的能力,运气好还能打穿更多的敌人。事实上,陆逊喷
王者时刻里程碑级升级王者荣耀这下再也不担心录屏卡顿了王者时刻是王者荣耀里的一项视频录制功能,它可以将我们对战时的精彩击杀镜头录制下来,让我们自己选择是否保存下来。有了这个功能很大程度上帮助玩家解决了录屏问题,毕竟用外部录制软件,不仅
原神雷神池入坑萌新第一次满星小谈一下感受心得作者NGAshoujofractal通关阵容小谈一下感受,就是拉天赋和武器真的挺重要,稳定提升比赌圣遗物强(就是经常看到20体力管不住手)另外配队挺重要的,要针对深渊阵容进行调整。
幻塔金色芯片3型获取方法幻塔金色芯片3型怎么获取?下面就为大家带来幻塔金色芯片3型获取方法,一起来看看吧!幻塔金色芯片3型获取方法1前期活动和任务可以获得,但是也就一两把的样子,不多。2周活跃宝箱,也就是
幻塔四种无伤战斗的小妙招,赶紧学会装大佬就在12月16日公测的幻塔,你们都玩了么?还没玩或者还是菜鸟的玩家一定要看完这篇文章。因为最近很多粉丝私信我,说游戏的世界频道全是打龙虾打花打狗等字眼,好不容易传送过去,才发现全是