Java并发编程——ForkJoinPool之WorkQueue

一、ForkJoinPool

ForkJoinPool 是 JDK7 引入的，由 Doug Lea 编写的高性能线程池。核心思想是将大的任务拆分成多个小任务（即fork），然后在将多个小任务处理汇总到一个结果上（即join），非常像MapReduce处理原理。同时，它提供基本的线程池功能，支持设置最大并发线程数，支持任务排队，支持线程池停止，支持线程池使用情况监控，也是AbstractExecutorService的子类，主要引入了“工作窃取”机制，在多CPU计算机上处理性能更佳。其广泛用在java8的stream中。

从图中可以看出ForkJoinPool要先执行完子任务才能执行上一层任务，所以ForkJoinPool适合在有限的线程数下完成有父子关系的任务场景，比如：快速排序，二分查找，矩阵乘法，线性时间选择等场景，以及数组和集合的运算。

 

Fork/Join Pool采用优良的设计、代码实现和硬件原子操作机制等多种思路保证其执行性能。其中包括（但不限于）：计算资源共享、高性能队列、避免伪共享、工作窃取机制等。

二、与ThreadPoolExecutor原生线程池的区别

ForkJoinPool和ThreadPoolExecutor都实现了Executor和ExecutorService接口，都可以通过构造函数设置线程数，threadFactory，可以查看ForkJoinPool.makeCommonPool()方法的源码查看通用线程池的构造细节。

 

在内部结构上我觉得两个线程池最大的区别是在工作队列的设计上，如下图

ThreadPoolExecutor：

ForkJoinPool：

图上细节画的不严谨，但大致能看出区别：

• ForkJoinPool每个线程都有自己的队列
• ThreadPoolExecutor共用一个队列

使用ForkJoinPool可以在有限的线程数下来完成非常多的具有父子关系的任务，比如使用4个线程来完成超过2000万个任务。

 

ForkJoinPool最适合计算密集型任务，而且最好是非阻塞任务，之前的一篇文章：Java踩坑记系列之线程池 也说了线程池的不同使用场景和注意事项。

 

所以ForkJoinPool是ThreadPoolExecutor线程池的一种补充，是对计算密集型场景的加强。

三、工作窃取的实现原理

ForkJoinPool类中的WorkQueue正是实现工作窃取的队列，javadoc中的注释如下：

大意是大多数操作都发生在工作窃取队列中(在嵌套类工作队列中)。这些是特殊形式的Deques，主要有push，pop，poll操作。

 

Deque是双端队列(double ended queue缩写)，头部和尾部任何一端都可以进行插入，删除，获取的操作，即支持FIFO(队列)也支持LIFO(栈)顺序。

 

Deque接口的实现最常见的是LinkedList，除此还有ArrayDeque、ConcurrentLinkedDeque等。

 

工作窃取模式主要分以下几个步骤：

• 1、每个线程都有自己的双端队列。
• 2、当调用fork方法时，将任务放进队列头部，线程以LIFO顺序，使用push/pop方式处理队列中的任务。
• 3、如果自己队列里的任务处理完后，会从其他线程维护的队列尾部使用poll的方式窃取任务，以达到充分利用CPU资源的目的。
• 4、从尾部窃取可以减少同原线程的竞争。
• 5、当队列中剩最后一个任务时，通过cas解决原线程和窃取线程的竞争。

流程大致如下所示：

工作窃取便是ForkJoinPool线程池的优势所在，在一般的线程池比如ThreadPoolExecutor中，如果一个线程正在执行的任务由于某种原因无法继续运行，那么该线程会处于等待状态，包括singleThreadPool、fixedThreadPool、cachedThreadPool这几种线程池。

 

而在ForkJoinPool中，那么线程会主动寻找其他尚未被执行的任务然后窃取过来执行，减少线程等待时间。

 

JDK8中的并行流(parallelStream)功能是基于ForkJoinPool实现的，另外还有java.util.concurrent.CompletableFuture异步回调future，内部使用的线程池也是ForkJoinPool。

四、ForkJoinPool分析

4.1 ForkJoinPool成员变量

// 用来配置ctl在控制线程数量使用 private static final long ADD_WORKER = 0x0001L << (TC_SHIFT + 15); // sign //控制线程池数量(ctl & ADD_WORKER) != 0L 时创建线程， // 也就是当ctl的第16位不为0时，可以继续创建线程 volatile long ctl; // main pool control //全局锁控制，全局运行状态 volatile int runState; // lockable status //config二进制形式的低16位表示parallelism， //config二进制形式的第高16位表示mode,1表示异步模式, 使用先进先出队列, 0表示同步模式, 使用先进后出栈 //低16位表示workerQueue在pool中的索引，高16位表示mode, 有FIFI LIFL final int config; // parallelism, mode //生成workerQueue索引的重要依据 int indexSeed; // to generate worker index //工作者队列数组，内部线程ForkJoinWorkerThread启动时会注册一个WorkerQueue对象到这个数组中 volatile WorkQueue[] workQueues; // main registry //工作者线程线程工厂，创建ForkJoinWorkerThread的策略 final ForkJoinWorkerThreadFactory factory; //在线程因未捕异常而退出时，java虚拟机将回调的异常处理策略 final UncaughtExceptionHandler ueh; // per-worker UEH //工作者线程名的前缀 final String workerNamePrefix; // to create worker name string //执行器所有线程窃取的任务总数，也作为监视runState的锁 volatile AtomicLong stealCounter; // also used as sync monitor //通用的执行器，它在静态块中初始化 static final ForkJoinPool common;

五、WorkQueue

5.1 类结构及其成员变量

5.1.1 类结构和注释

WorkQueue是ForkJoinPool的核心内部类，是一个Contented修饰的静态内部类。

/** * Queues supporting work-stealing as well as external task * submission. See above for descriptions and algorithms. * Performance on most platforms is very sensitive to placement of * instances of both WorkQueues and their arrays -- we absolutely * do not want multiple WorkQueue instances or multiple queue * arrays sharing cache lines. The @Contended annotation alerts * JVMs to try to keep instances apart. */ @sun.misc.Contended static final class WorkQueue { }

其注释大意为： workQUeue是一个支持任务窃取和外部提交任务的队列，其实现参考ForkJoinPool描述的算法。在大多数平台上的性能对工作队列及其数组的实例都非常敏感。我们不希望多个工作队列的实例和多个队列数组共享缓存。@Contented注释用来提醒jvm将workQueue在执行的时候与其他对象进行区别。

 

@Contented，实际上就是采用内存对齐的方式避免伪共享，保证WorkQueue在执行的时候，其前后不会有其他对象干扰。

注：JVM 添加 -XX:-RestrictContended 参数后 @sun.misc.Contended 注解才有效）

5.1.2 MAXIMUM_QUEUE_CAPACITY

MAXIMUM_QUEUE_CAPACITY注释如下：

/** * Maximum size for queue arrays. Must be a power of two less * than or equal to 1 << (31 - width of array entry) to ensure * lack of wraparound of index calculations, but defined to a * value a bit less than this to help users trap runaway * programs before saturating systems. */ static final int MAXIMUM_QUEUE_CAPACITY = 1 << 26; // 64M

MAXIMUM_QUEUE_CAPACITY是队列支持的最大容量，必须是2的幂小于或等于1<<（31-数组项的宽度），但定义为一个略小于此值的值，以帮助用户在饱和系统之前捕获失控的程序。

5.1.3 成员变量

成员变量区如下：

@sun.misc.Contended static final class WorkQueue { //队列的初始容量 static final int INITIAL_QUEUE_CAPACITY = 1 << 13; // 64M 队列的最大容量 static final int MAXIMUM_QUEUE_CAPACITY = 1 << 26; // 64M // Instance fields volatile int scanState; // versioned, <0: inactive; odd:scanning int stackPred; // pool stack (ctl) predecessor int nsteals; // number of steals int hint; // randomization and stealer index hint int config; // pool index and mode volatile int qlock; // 1: locked, < 0: terminate; else 0 volatile int base; // index of next slot for poll int top; // index of next slot for push ForkJoinTask<?>[] array; // the elements (initially unallocated) final ForkJoinPool pool; // the containing pool (may be null) final ForkJoinWorkerThread owner; // owning thread or null if shared volatile Thread parker; // == owner during call to park; else null volatile ForkJoinTask<?> currentJoin; // task being joined in awaitJoin volatile ForkJoinTask<?> currentSteal; // mainly used by helpStealer }

• scanState：它可以看作是乐观锁的版本号，另外它还有此其他功能，它为负数时，表示工作者线程非活动，它为奇数是表示，正在扫描（准备窃取）任务，它为偶数是表示正在执行任务。

• stackPred：表示在线程池栈当前工作线程的前驱线程的索引。在唤醒线程时常用到此属性。

• nsteals：表示owner线程窃取的任务数。

• hint：任务窃取时的随机定位种子。

• config：低16位表示，当前WorkerQueue对象在外部类的数组属性workQueues中的索引(下标) 。高16位表示当前WorkerQueue对象的模式。对于内部任务，若构造方法配置为异步模式就将WorkQueue当作先进先出的队列，反之将WorkQueue当作后进先出的栈。对于外部任务，将WorkQueue视为共享队列。

• qlock：初始值为0，”=1“时表示当前WorkerQueue对象被锁住，” < 0“时 表示当前WorkerQueue对象已终止，队列中的其他未完成任务将不再被执行。

• base：表示下次对任务数组array进行poll出队操作(窃取任务)的槽位索引(队尾)。

• top：表示下次任务数组array进行push入栈操作(添加任务)的槽位索引(栈顶)。

• array：非学重要的属性，这用是保存任务的数组(容器)。

• pool：与之关联的ForkJoinPool执行器,它可能为空。若为空，就使用静态变量common作为执行器。

• owner：当前队列对应的工作者线程，它一般不为空。若从外部提交任务时，当前WorkerQueue对象表示共享队列，owner为空。

• parker：阻塞的线程。在被阻塞的时候，它等于owner，其他时候它为空。

• currentJoin：表示当前正在join的任务，主要在awaitJoin方法使用。

• currentSteal：表示当前被窃取的任务，主要在helpStealer方法中使用。

5.2 构造函数

WorkQueue就一个构造函数：

WorkQueue(ForkJoinPool pool, ForkJoinWorkerThread owner) { this.pool = pool; this.owner = owner; // Place indices in the center of array (that is not yet allocated) base = top = INITIAL_QUEUE_CAPACITY >>> 1; }

在这个构造函数中，只会指定pool和owoner，如果该队列是共享队列，那么owoner此时是空的。此外，base和top两个指针分别都指向了数组的中值，这个值是初始化容量右移一位。

 

那么结合前面的代码，实际上初始化的时候，数组的长度为8192，那么base=top=4096。

 

这个数组在构造函数被调用之后初始化如下：

5.3 重要的方法

5.3.1 push

当ForkJoinWorkerThread需要向双端队列中放入一个新的待执行子任务时，会调用WorkQueue中的push方法。来看看这个方法的主要执行过程（请注意，源代码来自JDK1.8，它和JDK1.7中的实现有显著不同）：

/** * Pushes a task. Call only by owner in unshared queues. (The * shared-queue version is embedded in method externalPush.) * * @param task the task. Caller must ensure non-null. * @throws RejectedExecutionException if array cannot be resized */ final void push(ForkJoinTask<?> task) { ForkJoinTask<?>[] a; ForkJoinPool p; int b = base, s = top, n; // 请注意，在执行task.fork时，触发push情况下，array不会为null // 因为在这之前workqueue中的array已经完成了初始化（在工作线程初始化时就完成了） if ((a = array) != null) { // ignore if queue removed //m为最高为位置的index int m = a.length - 1; // fenced write for task visibility // U常量是java底层的sun.misc.Unsafe操作类 // 这个类提供硬件级别的原子操作 // putOrderedObject方法在指定的对象a中，指定的内存偏移量的位置，赋予一个新的元素 U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task); // putOrderedInt方法对当前指定的对象中的指定字段，进行赋值操作 // 这里的代码意义是将workQueue对象本身中的top标示的位置 + 1， U.putOrderedInt(this, QTOP, s + 1); //如果n小于等于1则 且poll不为空 则触发worker窃取或者产生新的worker if ((n = s - b) <= 1) { if ((p = pool) != null) // signalWork方法的意义在于，在当前活动的工作线程过少的情况下，创建新的工作线程 p.signalWork(p.workQueues, this); } //如果n大于等于了m 则说明需要扩容了, array的剩余空间不够了 else if (n >= m) growArray(); } }

这个push方法是提供给工作队列自己push任务来使用的，共享队列push任务是在外部externalPush和externalSubmit等方法来进行初始化和push。

 

这里需要注意的是，当队列中的任务数小于1的时候，才会调用signalWork，这个地方一开始并不理解，实际上，我们需要注意的是，这个方法是专门提供给工作队列来使用的，那么这个条件满足的时候，说明工作队列空闲。如果这个条件不满足，那么工作队列中有很多任务需要工作队列来处理，就不会触发对这个队列的窃取操作。

5.3.2 growArray

这是扩容的方法。实际上这个方法有两个作用，首先是初始化，其次是判断，是否需要扩容，如果需要扩容则容量加倍。

/** * Initializes or doubles the capacity of array. Call either * by owner or with lock held -- it is OK for base, but not * top, to move while resizings are in progress. */ final ForkJoinTask<?>[] growArray() { //旧的数组 oldA ForkJoinTask<?>[] oldA = array; //如果oldA不为空，则size就为oldA的长度*2，反之说明数组没有被初始化，那么长度就应该为初始化的长度8192 int size = oldA != null ? oldA.length << 1 : INITIAL_QUEUE_CAPACITY; //如果size比允许的最大容量还大，那么此时会抛出异常 if (size > MAXIMUM_QUEUE_CAPACITY) throw new RejectedExecutionException("Queue capacity exceeded"); int oldMask, t, b; //array a 为根据size new出来的一个新的数组 ForkJoinTask<?>[] a = array = new ForkJoinTask<?>[size]; //如果oldA不为空且其长度大于等于0为有效数组，且top-base大于0 说明不为空 if (oldA != null && (oldMask = oldA.length - 1) >= 0 && (t = top) - (b = base) > 0) { //按size定义掩码 int mask = size - 1; //从旧的数组中poll全部task，然后push到新的array中 do { // emulate poll from old array, push to new array ForkJoinTask<?> x; //采用unsafe操作 int oldj = ((b & oldMask) << ASHIFT) + ABASE; int j = ((b & mask) << ASHIFT) + ABASE; //实际上直接进行的内存对象copy，这样效率比循环调用push和poll要高很多 x = (ForkJoinTask<?>)U.getObjectVolatile(oldA, oldj); //判断 x不为空 则使用unsafe进行操作 if (x != null && U.compareAndSwapObject(oldA, oldj, x, null)) U.putObjectVolatile(a, j, x); } while (++b != t); } //返回新的数组 return a; }

需要注意的是，这个方法一旦调用进行扩容之后，无论是来自于外部push操作触发，还是有工作线程worker触发，都将被锁定，之后，不能移动top指针，但是base指针是可以移动的。这也就是说，一旦处于扩容的过程中，就不能新增task，但是可以从base进行消费，这就只支持FIFO。因此同步模式将在此时被阻塞。

5.3.3 pop

同样，pop操作也仅限于工作线程，对于共享对立中则不允许使用pop方法。这个方法将按LIFO后进先出的方式从队列中。

/** * Takes next task, if one exists, in LIFO order. Call only * by owner in unshared queues. */ final ForkJoinTask<?> pop() { ForkJoinTask<?>[] a; ForkJoinTask<?> t; int m; //如果array不为空切长度大于0 if ((a = array) != null && (m = a.length - 1) >= 0) { //循环，s为top的指针减1，即top减1之后要大于0 也就是说要存在task for (int s; (s = top - 1) - base >= 0;) { //计算unsafe的偏移量 得到s的位置 long j = ((m & s) << ASHIFT) + ABASE; //如果这个索引处的对象为空，则退出 if ((t = (ForkJoinTask<?>)U.getObject(a, j)) == null) break; //反之用usafe的方法将这个值取走，之后返回，并更新top的指针 if (U.compareAndSwapObject(a, j, t, null)) { U.putOrderedInt(this, QTOP, s); return t; } } } return null; }

pop方法，这是仅限于owoner调用的方法，将从top指针处取出task。这个方法对于整个队列是LIFO的方式。

5.3.4 poll

poll方法将从队列中按FIFO的方式取出task。

/** * Takes next task, if one exists, in FIFO order. */ final ForkJoinTask<?> poll() { ForkJoinTask<?>[] a; int b; ForkJoinTask<?> t; //判断 base-top小于0说明存在task 切array不为空 while ((b = base) - top < 0 && (a = array) != null) { //计算出unsafe操作的索引 实际上就是拿到b int j = (((a.length - 1) & b) << ASHIFT) + ABASE; //之后拿到这个task 用volatile的方式 t = (ForkJoinTask<?>)U.getObjectVolatile(a, j); //之后如果base和b相等 if (base == b) { //如果拿到的task不为空 if (t != null) { //那么将这个位置的元素移除 base+1 然后返回t if (U.compareAndSwapObject(a, j, t, null)) { base = b + 1; return t; } } //在上述操作之后，如果base比top小1说明已经为空了 直接退出循环 else if (b + 1 == top) // now empty break; } } //默认返回null return null; }

5.3.5 pollAt

这个方法将采用FIFO的方式，从 队列中获得task。

/** * Takes a task in FIFO order if b is base of queue and a task * can be claimed without contention. Specialized versions * appear in ForkJoinPool methods scan and helpStealer. */ final ForkJoinTask<?> pollAt(int b) { ForkJoinTask<?> t; ForkJoinTask<?>[] a; //数组不为空 if ((a = array) != null) { //计算索引b的位置 int j = (((a.length - 1) & b) << ASHIFT) + ABASE; //如果此处的task不为空，则将此处置为null然后将对象task返回 if ((t = (ForkJoinTask<?>)U.getObjectVolatile(a, j)) != null && base == b && U.compareAndSwapObject(a, j, t, null)) { base = b + 1; return t; } } return null; }

通常情况下，b指的是队列的base指针。那么从底部获取元素就能实现FIFO。特殊的版本出现在scan和helpStealer中用于对工作队列的窃取操作的实现。

5.3.6 nextLocalTask

/** * Takes next task, if one exists, in order specified by mode. */ final ForkJoinTask<?> nextLocalTask() { return (config & FIFO_QUEUE) == 0 ? pop() : poll(); }

这个方法中对之前的MODE会起作用，如果是FIFO则用pop方法，反之则用poll方法获得下一个task。

5.3.7 peek

/** * Returns next task, if one exists, in order specified by mode. */ final ForkJoinTask<?> peek() { ForkJoinTask<?>[] a = array; int m; //判断数组的合法性 if (a == null || (m = a.length - 1) < 0) return null; //根据mode决定从top还是base处获得task int i = (config & FIFO_QUEUE) == 0 ? top - 1 : base; int j = ((i & m) << ASHIFT) + ABASE; //返回获得的task return (ForkJoinTask<?>)U.getObjectVolatile(a, j); }

peek则根据之前的mode定义，从队列的前面或者后面取得task。

5.3.8 tryUnpush

/** * Pops the given task only if it is at the current top. * (A shared version is available only via FJP.tryExternalUnpush) */ final boolean tryUnpush(ForkJoinTask<?> t) { ForkJoinTask<?>[] a; int s; //判断数组的合法性 if ((a = array) != null && (s = top) != base && //将top位置的task与t比较，如果相等则将其改为null U.compareAndSwapObject (a, (((a.length - 1) & --s) << ASHIFT) + ABASE, t, null)) { //将top减1 U.putOrderedInt(this, QTOP, s); //返回操作成功 return true; } //默认返回失败 return false; }

这个方法是将之前push的任务撤回。这个操作仅仅只有task位于top的时候操能成功。

5.3.9 runTask

在之前的文章分析外部提交task的时候，就提到了这个方法。实际上是runWorker调用的。 也就是说，线程在启动之后，一旦worker获取到task，就会运行。

/** * Executes the given task and any remaining local tasks. */ final void runTask(ForkJoinTask<?> task) { //task不为空 if (task != null) { //扫描状态标记为busy 那么说明当前的worker正在处理本地任务 此时这个操作会将scanState改为0 scanState &= ~SCANNING; // mark as busy //执行这个task (currentSteal = task).doExec(); //释放已执行任务的内存 U.putOrderedObject(this, QCURRENTSTEAL, null); // release for GC //执行其他本地的task execLocalTasks(); ForkJoinWorkerThread thread = owner; //增加增加steals的次数 if (++nsteals < 0) // collect on overflow transferStealCount(pool); //将scanState改为1 这样就变得活跃可以被其他worker scan scanState |= SCANNING; //如果thread不为null说明为worker线程 则调用后续的exec方法 if (thread != null) thread.afterTopLevelExec(); } }

5.3.10 execLocalTasks

调用这个方法，运行队列中的全部task，如果采用了LIFO模式，则调用pollAndExecAll，这是另外一种实现方法。直到将队列都执行到empty

/** * Removes and executes all local tasks. If LIFO, invokes * pollAndExecAll. Otherwise implements a specialized pop loop * to exec until empty. */ final void execLocalTasks() { int b = base, m, s; //拿到数组 ForkJoinTask<?>[] a = array; //如果b-s小于0说明存在task，a不为空，切a的长度大于0 这均是检测方法的合法性 if (b - (s = top - 1) <= 0 && a != null && (m = a.length - 1) >= 0) { //如果没有采用FIFO的mode 那么一定是LIFO 则从top处开始 if ((config & FIFO_QUEUE) == 0) { //开始循环 for (ForkJoinTask<?> t;;) { //从top开始取出task if ((t = (ForkJoinTask<?>)U.getAndSetObject (a, ((m & s) << ASHIFT) + ABASE, null)) == null) break; //修改top U.putOrderedInt(this, QTOP, s); //执行task t.doExec(); //如果没有任务的了 则退出 if (base - (s = top - 1) > 0) break; } } else //FIFO的方式调用pollAndExecAll pollAndExecAll(); } }

5.3.11 pollAndExecAll

此方法将用poll，FIFO的方式获得task并执行。

final void pollAndExecAll() { for (ForkJoinTask<?> t; (t = poll()) != null;) t.doExec(); }

可见，当通过workQueue中调用runTask的方法的时候，会将这个队列的scanState状态修改为0，之后将这个队列中的全部task根据定义的mode全部消费完毕。

5.3.12 tryRemoveAndExec

从注释中可知，这个方法仅仅供awaitJoin方法调用，在await的过程中，将task从workQueue中移除并执行。

/** * If present, removes from queue and executes the given task, * or any other cancelled task. Used only by awaitJoin. * * @return true if queue empty and task not known to be done */ final boolean tryRemoveAndExec(ForkJoinTask<?> task) { ForkJoinTask<?>[] a; int m, s, b, n; //判断数组的合法性 task不能为空 if ((a = array) != null && (m = a.length - 1) >= 0 && task != null) { //循环 n为task的数量，必须大于0 while ((n = (s = top) - (b = base)) > 0) { //死循环 从top遍历到base for (ForkJoinTask<?> t;;) { // traverse from s to b long j = ((--s & m) << ASHIFT) + ABASE; if ((t = (ForkJoinTask<?>)U.getObject(a, j)) == null) return s + 1 == top; // shorter than expected //如果task处于top位置 else if (t == task) { boolean removed = false; if (s + 1 == top) { // pop //pop的方式获取task 然后替换为null if (U.compareAndSwapObject(a, j, task, null)) { U.putOrderedInt(this, QTOP, s); removed = true; } } //用emptytask代替 else if (base == b) // replace with proxy removed = U.compareAndSwapObject( a, j, task, new EmptyTask()); //如果remove成功 则执行这个task if (removed) task.doExec(); break; } //如果task的status为负数 切 top=s=1 else if (t.status < 0 && s + 1 == top) { //移除 if (U.compareAndSwapObject(a, j, t, null)) U.putOrderedInt(this, QTOP, s); break; // was cancelled } if (--n == 0) return false; } if (task.status < 0) return false; } } return true; }

5.3.13 popCC

如果pop CountedCompleter。这方法支持共享和worker的队列，但是仅仅通过helpComplete调用。 CountedCompleter是jdk1.8中新增的一个ForkJoinTask的一个实现类。

/** * Pops task if in the same CC computation as the given task, * in either shared or owned mode. Used only by helpComplete. */ final CountedCompleter<?> popCC(CountedCompleter<?> task, int mode) { int s; ForkJoinTask<?>[] a; Object o; //判断队列数组合法性 if (base - (s = top) < 0 && (a = array) != null) { //从top处开始 long j = (((a.length - 1) & (s - 1)) << ASHIFT) + ABASE; //如果获的的task不为null if ((o = U.getObjectVolatile(a, j)) != null && //且为CountedCompleter对象 (o instanceof CountedCompleter)) { //转换为CountedCompleter CountedCompleter<?> t = (CountedCompleter<?>)o; //死循环 for (CountedCompleter<?> r = t;;) { //如果task与获得的r相等为同一对象 if (r == task) { //如果mode小于0 if (mode < 0) { // must lock //cas的方式加锁 if (U.compareAndSwapInt(this, QLOCK, 0, 1)) { //将这个对象清除 并修改top后解锁 if (top == s && array == a && U.compareAndSwapObject(a, j, t, null)) { U.putOrderedInt(this, QTOP, s - 1); U.putOrderedInt(this, QLOCK, 0); //返回t return t; } //解锁 U.compareAndSwapInt(this, QLOCK, 1, 0); } } else if (U.compareAndSwapObject(a, j, t, null)) { U.putOrderedInt(this, QTOP, s - 1); return t; } break; } else if ((r = r.completer) == null) // try parent break; } } } return null; }

5.3.14 pollAndExecCC

pollAndExecCC 。窃取并运行与给定任务相同CountedCompleter计算任务（如果存在），并且可以在不发生争用的情况下执行该任务。否则，返回一个校验和/控制值，供helpComplete方法使用。

/** * Steals and runs a task in the same CC computation as the * given task if one exists and can be taken without * contention. Otherwise returns a checksum/control value for * use by method helpComplete. * * @return 1 if successful, 2 if retryable (lost to another * stealer), -1 if non-empty but no matching task found, else * the base index, forced negative. */ final int pollAndExecCC(CountedCompleter<?> task) { int b, h; ForkJoinTask<?>[] a; Object o; //判断array的合法性 if ((b = base) - top >= 0 || (a = array) == null) h = b | Integer.MIN_VALUE; // to sense movement on re-poll else { //从base开始获得task long j = (((a.length - 1) & b) << ASHIFT) + ABASE; if ((o = U.getObjectVolatile(a, j)) == null) h = 2; // retryable else if (!(o instanceof CountedCompleter)) h = -1; // unmatchable else { CountedCompleter<?> t = (CountedCompleter<?>)o; //死循环 for (CountedCompleter<?> r = t;;) { if (r == task) { if (base == b && U.compareAndSwapObject(a, j, t, null)) { base = b + 1; t.doExec(); h = 1; // success } else h = 2; // lost CAS break; } else if ((r = r.completer) == null) { h = -1; // unmatched break; } } } } return h; }

externalPush方法中的“q = ws[m & r & SQMASK]”代码非常重要。我们大致来分析一下作者的意图，首先m是ForkJoinPool中的WorkQueue数组长度减1，例如当前WorkQueue数组大小为16，那么m的值就为15；r是一个线程独立的随机数生成器，关于java.util.concurrent.ThreadLocalRandom类的功能和使用方式可参见其它资料；而SQMASK是一个常量，值为126 （0x7e）。以下是一种可能的计算过程和计算结果：

实际上任何数和126进行“与”运算，其结果只可能是0或者偶数，即0、2、4、6、8。也就是说以上代码中从名为“ws”的WorkQueue数组中，取出的元素只可能是第0个或者第偶数个队列。

 

结论就是偶数是外部任务，奇数是需要拆解合并的任务。

ForkJoinWorkerThread需要从双端队列中取出下一个待执行子任务，就会根据设定的asyncMode调用双端队列的不同方法，代码概要如下所示：

final ForkJoinTask<?> nextTaskFor(WorkQueue w) { for (ForkJoinTask<?> t;;) { WorkQueue q; int b; // 该方法试图从“w”这个队列获取下一个待处理子任务 if ((t = w.nextLocalTask()) != null) return t; // 如果没有获取到，则使用findNonEmptyStealQueue方法 // 随机得到一个元素非空，并且可以进行任务窃取的存在于ForkJoinPool中的其它队列 // 这个队列被记为“q” if ((q = findNonEmptyStealQueue()) == null) return null; // 试图从“q”这个队列base位处取出待执行任务 if ((b = q.base) - q.top < 0 && (t = q.pollAt(b)) != null) return t; } }

六、总结

本文对workQueue的源码进行了分析，我们需要注意的是，对于workQueue，定义了三个操作，分别是push，poll和pop。

• push

主要是操作top指针，将top进行移动。

• poll 如果top和base不等，则说明队列有值，可以消费，那么poll就从base指针处开始消费。这个方法实现了队列的FIFO。

消费之后对base进行移动。

• pop 同样，还可以从top开始消费，这就是pop。这个方法实际上实现了对队列的LIFO。

消费之后将top减1。

以上就是这三个方法对应的操作。但是我们还需要注意的是，在所有的unsafe操作中，通过cas进行设置或者获得task的时候，还有一个掩码。这个非常重要。 我们可以看在push方法中：

int m = a.length - 1; U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task);

在扩容的方法growArray中我们可以知道。每次扩容都是采用左移的方式来进行，这样就保证了数组的长度为2的幂。

在这里，m=a.length-1，那就说明，m实际上其二进制格式将会有效位都为1,这个数字就可以做为掩码。当m再与s取&计算的时候。可以想象，s大于m的部分将被去除，只会保留比m小的部分。那么实际上，这就等价于，当我们一直再push元素到数组中的时候，实际上就从数组的索引底部开始：

参考上面这个过程，也就是说，实际上这个数组，base和top实际指向的index并不重要。只有二者的相对位移才是重要的。这有点类似与RingBuffer的数据结构，但是还是有所不同。也就是说这个数组实际上是不会被浪费的。之前有很多不理解的地方，为什么top减去base可能出现负数。那么这样实际上就会导致负数的产生。

 

这样的话，如果我们采用异步模式，asyncMode为true的时候，workQueue则会采用FIFO_QUEUE的model，这样workQueue本身就使用的时poll方法。反之如果使用LIFO_QUEUE的同步模式，则workQueue使用pop方法。默认情况下采用同步模式。同步的时候workQueue的指针都围绕在数组的初始化的中间位置波动。而共享队列则会一直循环。

 

至此，我们分析了workQueue的源码，对其内部实现的双端队列本身的操作进行了分析。为什么作者会自己实现一个Deque，而不是使用juc中已存在的容器。这就是因为这个队列全程都是采用Unsafe来实现的，在开篇作者也说了，需要@Contented修饰，就是为了避免缓存的伪代共享。这样来实现一个高效的Deque，以供ForkJoinPool来操作。 这与学习ConcurrentHashMap等容器的源码一样，可以看出作者为了性能的优化，采用了很多独特的方式来实现。这些地方都是我们值得学习和借鉴之处。这也是ForkJoin性能高效的关键。在作者的论文中也可以看出，java的实现，由于抽象在jvm之上，性能比c/c++的实现要低很多。这也是作者尽可能将性能做到最优的原因之一。

 

参考： https://blog.csdn.net/Xiaowu_First/article/details/122407019

https://blog.csdn.net/tyrroo/article/details/81483608

https://www.cnblogs.com/juniorMa/articles/14234472.html

https://www.cnblogs.com/maoyx/p/13991828.html

https://blog.csdn.net/dhaibo1986/article/details/108801254