java.util.concurrent.CompletionException: java.lang.ArrayIndexOutOfBoundsException异常的原因分析及解决方-程序员宅基地

技术标签: java  多线程  异常分析  

        生产环境抛出的ArrayIndexOutOfBoundsException异常,涉及到容器在多线程情况下添加元素问题。

1.错误日志

java.util.concurrent.CompletionException: java.lang.ArrayIndexOutOfBoundsException
  at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:273)
  at java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:280)
  at java.util.concurrent.CompletableFuture$AsyncRun.run(CompletableFuture.java:1629)
  at java.util.concurrent.CompletableFuture$AsyncRun.exec(CompletableFuture.java:1618)
  at java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289)
  at java.util.concurrent.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1056)
  at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1692)
  at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)
​
​
Caused by: java.lang.ArrayIndexOutOfBoundsException
  at java.util.ArrayList.addAll(ArrayList.java:580)
  at com.service.Service.lambda$null$458(AgeService.java:412)
  at java.util.concurrent.CompletableFuture$AsyncRun.run(CompletableFuture.java:1626)
  ... 5 more

2.问题代码

int len = components.size();
List<CompletableFuture> futureList = new ArrayList<>(len);
List<Vo> vos = new ArrayList();
components.stream()
        .filter(Objects::nonNull)
        .forEach(component -> {
            futureList.add(CompletableFuture.runAsync(() -> {
                ComponentType componentType = ComponentType.fromValue(component.getType());
                if (componentType != null) {
                    switch (componentType) {
                        case SLIDE:
                            vos.addAll(this.getSlides(component));
                            break;
                        case NAV:
                            vos.addAll(this.getNavs(component));
                            break;
                        case MODULE:
                            vos.addAll(this.getModules(component, uid, corpId));
                            break;
                        default:
                            break;
                    }
                }
            }));
        });
​
if (!CollectionUtils.isEmpty(futureList)) {
    CompletableFuture.allOf(futureList.toArray(new CompletableFuture[0])).join();
}

3.原因分析

可以看到是在多线程中的ArrayList的addAll() 操作抛异常,出现了数组溢出,造成这个异常的原因是ArrayList在添加资源时是非原子性的。操作源码如下:

public boolean addAll(Collection<? extends E> c) {
    Object[] a = c.toArray();
    int numNew = a.length;
    ensureCapacityInternal(size + numNew);  // Increments modCount
    System.arraycopy(a, 0, elementData, size, numNew);
    size += numNew;
    return numNew != 0;
}
​
 public void add(int index, E element) {
        rangeCheckForAdd(index);
​
        ensureCapacityInternal(size + 1);  // Increments modCount!!
        System.arraycopy(elementData, index, elementData, index + 1,
                         size - index);
        elementData[index] = element;
        size++;
    }

现在我们假如有两个线程在对list插入值,这时线程A获取到的size大小为9,线程B获取的size大小也为9,但是线程A在执行完ensureCapacityInternal(size + 1)后时间片用完了,线程B得以执行,这时线程B发现size+1=10,刚好满足容量大小,不需要进行扩容,这时线程A得到时间片,这时它来执行 elementData[size++] = e时,然而现在size大小为10,这时进行插入就会出现数组越界情况。另外,我们发现size字段没有使用volatile修饰,size++本身就是非原子性的,多个线程之间访问冲突,这时两个线程可能对同一个位置赋值,就可能出现size小于期望值的结果。

4.解决方案

将ArrayList替换为Collections.synchronizedList(List<T> list)或者CopyOnWriteArrayList(List<T> list)。

​
Collections.synchronizedList(List<T> list):
    @Override
    public boolean addAll(Collection<? extends T> c) {
        synchronized(mutex) {
            return backingList.addAll(c);
        }
    }
​
​
CopyOnWriteArrayList(List<T> list):
  
        /** The array, accessed only via getArray/setArray. */
        private transient volatile Object[] array;
​
       public boolean addAll(Collection<? extends E> c) {
        Object[] cs = (c.getClass() == CopyOnWriteArrayList.class) ?
            ((CopyOnWriteArrayList<?>)c).getArray() : c.toArray();
        if (cs.length == 0)
            return false;
        //获取重入锁
        final ReentrantLock lock = this.lock;
        lock.lock();
        try {
            Object[] elements = getArray();
            int len = elements.length;
            if (len == 0 && cs.getClass() == Object[].class)
                setArray(cs);
            else {
                Object[] newElements = Arrays.copyOf(elements, len + cs.length);
                System.arraycopy(cs, 0, newElements, len, cs.length);
                setArray(newElements);
            }
            return true;
        } finally {
            lock.unlock();
        }
    }

(1)Collections.synchronizedList(List<T> list)

无论是读取还是写入,它都会进行加锁,当我们并发级别特别高,线程之间在任何操作上都会进行等待

(2)CopyOnWriteArrayList(List<T> list)

从源码中,我们可以看出add操作中使用了重入锁,但是此锁只针对写-写操作。为什么读写之间不用互斥,关键就在于添加值的操作并不是直接在原有数组中完成,而是使用原有数组复制一个新的数组,然后将值插入到新的数组中,最后使用新数组替换旧数组,这样插入就完成了。大家可以发现,使用这种方式,在add的过程中旧数组没有得到修改,因此写入操作不影响读取操,另外,数组定义private transient volatile Object[] array,其中采用volatile修饰,保证内存可见性,读取线程可以马上知道这个修改。

5.总结

在JDK中,获取线程安全的List,我们可以使用Collections.synchronizedList(List<T> list)方式,也可以使用CopyOnWriteArrayList类。在真实环境中,使用它们可以根据我们的业务需要,在插入操作远远超过读取时,建议使用第一种方式,这是因为CopyOnWriteArrayList在插入的过程中会创建新的数组,这样在数据量特别大的情况下,对内存的消耗是很大的。当然,如果是读取操作远远大于插入时,第二种方式肯定更占优势,毕竟读取操作完全不需要加锁。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zhulj625/article/details/110561083

智能推荐

mysql decimal 整数_MySQL数据类型DECIMAL用法详解-程序员宅基地

文章浏览阅读834次。MySQLDECIMAL数据类型用于在数据库中存储精确的数值。我们经常将DECIMAL数据类型用于保留准确精确度的列,例如会计系统中的货币数据。要定义数据类型为DECIMAL的列,请使用以下语法:column_name DECIMAL(P,D);在上面的语法中:P是表示有效数字数的精度。P范围为1〜65。D是表示小数点后的位数。D的范围是0~30。MySQL要求D小于或等于(<=)P。DEC..._mysql decimal 保存成整数

下载安装 gSoap_gsoap download-程序员宅基地

文章浏览阅读750次。文章目录一、官网1. Products (产品介绍)2. Dev Center (开发者中心)(1)Getting Started(入门教程)(2)Tutorials(教程)(3)Documentation(文档)(4)Download & Help(下载和帮助)总结一、官网官网地址是 https://www.genivia.com/,主页很简单。接下来看一下主要内容。1. Products (产品介绍)最先进的C/XC++自动编码工具是XML Web服务API和其他XML应用程序,是_gsoap download

设备驱动模型中设备的init_name成员_struct device init_name-程序员宅基地

文章浏览阅读796次。现象是:依次加载了总线bus,设备device,驱动driver,在加载驱动时候出现了segmentation fault。环境条件:采用的是国嵌的教材(可能是教材比较古老了吧,导致出现这样问题),内核版本使用的是2.6.32.2。最后查找原因是由于空指针导致了在strncmp产生了段错误。_struct device init_name

快速玩转 Llama2!机器学习 PAI 最佳实践(二)—全参数微调训练_llama 全参数训练-程序员宅基地

文章浏览阅读1.1k次。本实践将采用阿里云机器学习平台PAI-DSW模块针对 Llama-2-7B-Chat 进行全参数微调。PAI-DSW是交互式建模平台,该实践适合需要定制化微调模型,并追求模型调优效果的开发者。_llama 全参数训练

安捷伦Agilent/惠普HP 4349B高值电阻表_安捷伦4349b-程序员宅基地

文章浏览阅读33次。安捷伦Agilent 4349B高值电阻表的用途:适用于测量各种电器设备、元件测试、电感器、线圈、生产线的电阻,4349B增加测试吞吐率,同时对4通道绝电阻进行测量。Agilent 4349B增加测试吞吐率,同时对4通道绝电阻进行测量。测量时间:9.5 mS / 28 mS / 98 mS / 397 mS。90-132/198-264 伏交流电;快速接触检查:2毫秒/点。输入/输出电阻:1 kohm。测试电缆长度:最长 2 m。GPIB和处理器接口。显示分辨率:3/4/5位。HP-IB 和处理器接口。_安捷伦4349b

【Dubbo】Dubbo入门_hessian 2.0 serialization protocol-程序员宅基地

文章浏览阅读342次。一、Dubbo是什么 分布式服务框架 高性能和透明化的RPC远程服务调用方案 SOA服务治理方案 二、如何使用Dubbo本地服务 &lt;bean id=“xxxService” class=“com.xxx.XxxServiceImpl” /&gt; &lt;bean id=“xxxAction” class=“com.xxx.XxxAction”&..._hessian 2.0 serialization protocol

随便推点

RTKLIB中ppp代码解析_rtklib进行ppp解算-程序员宅基地

文章浏览阅读1.1k次,点赞21次,收藏25次。v= zk - hx 在代码中对应的是v[nv]=y-(r+cdtr-CLIGHT*dts[i*2]+dtrp+C*dion+dcb+bias);9) ppp_res(9,obs,n,rs,dts,var,svh,dr,exc,nav,xp,rtk,v,H,R,azel)) 模糊度固定的残差校验。kalman方程中的测量xk = xk/k-1 +kv 以及pk = pk/k-1 - kh*pk/k-1 状态更新。待估参数的预测,对应klaman公式中的xk/k-1、 Pk/k-1。_rtklib进行ppp解算

learn-SVG学习_如何训练svg标注数据集-程序员宅基地

文章浏览阅读60次。SVG 是可缩放矢量图形的缩写,它是一种用于描述二维矢量图形的XML标记语言。与传统的栅格图像不同,SVG图像可以无限缩放而不会失真,同时也支持交互和动画等特性。SVG最早于1999年由W3C发布,用于在Web上展示矢量图形,并于2001年正式成为标准。在过去的二十多年中,SVG经历了多次更新和改进,增加了更多的功能和特性,如动画、交互等,并逐渐得到广泛的应用。SVG2.0于2016年9月15日成为W3C候选推荐标准,最新草案于。_如何训练svg标注数据集

WINDOWS 端CUDA10.2+CUDNN8环境搭建for YOLOV5 and Pytorch1.7-程序员宅基地

文章浏览阅读1.5k次,点赞4次,收藏11次。Windows 端CUDA10.2+CUDNN8环境搭建for Pytorch1.71.CUDA下载安装1.1 查看自己的显卡1.2 显卡驱动下载及安装1.3 显卡驱动安装检测1.4 CUDN下载1.5 CUDN安装1.6 环境变量设置2 CUDNN安装2.1 CUDNN下载2.2 CUDNN安装2.3 CUDA安装检测最近,我做了一些使用YOLOV5算法的项目,遇到了很多的坑,也感叹YOLOV5的人性化操作,如此真香的算法,忍不住拿出来与大家进行分享,现在就把项目过程中的一些操作逐个记录一遍。很不好意_cudnn8

优化Hadoop Balancer运行速度_failed to move blk_1076014847_2274553 with size=89-程序员宅基地

文章浏览阅读6.7k次。 1. 修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers2. 修改dfs.datanode.balance.bandwidthPerSec = 52428800,指定DataNod..._failed to move blk_1076014847_2274553 with size=89971516 from 172.16.33.248:

关于jquery的弹窗组件简单封装_jq中将关于浏览器窗口的属性都封装到了-程序员宅基地

文章浏览阅读5.6k次,点赞3次,收藏5次。前言:由于自己工作时多数是基于移动端的页面工程,很多时候都需要用到弹窗组件,网上也有很多好用,五花八门的弹窗插件,但是由于网上各个版本有些功能过于强大,导致插件大小比较大,有些样式不好自己进行各种自定义设计,有些则是达不到自己想要的那种需求,比如实现弹窗按钮的各种回调函数,于是自己就根据公司目前项目的需求 ,自己简单封装了一个弹窗组件。可简单自定义各式各样的样式 思路分析:声明一个带有对象参数的_jq中将关于浏览器窗口的属性都封装到了

基于tiny4412的Linux内核移植 -- DM9621NP网卡驱动移植(四)-程序员宅基地

文章浏览阅读633次。作者信息作者: 彭东林邮箱:[email protected]:405728433平台简介开发板:tiny4412ADK + S700 + 4GB Flash要移植的内核版本:Linux-4.4.0 (支持device tree)u-boot版本:友善之臂自带的 U-Boot 2010.12 (为支持uImage启动,做了少许改动)busyb..._memcpy(net_dev->dev_addr, dev_info.mac_addr, eth_alen);

推荐文章

热门文章

相关标签