生产环境抛出的ArrayIndexOutOfBoundsException异常,涉及到容器在多线程情况下添加元素问题。
java.util.concurrent.CompletionException: java.lang.ArrayIndexOutOfBoundsException
at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:273)
at java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:280)
at java.util.concurrent.CompletableFuture$AsyncRun.run(CompletableFuture.java:1629)
at java.util.concurrent.CompletableFuture$AsyncRun.exec(CompletableFuture.java:1618)
at java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289)
at java.util.concurrent.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1056)
at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1692)
at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)
Caused by: java.lang.ArrayIndexOutOfBoundsException
at java.util.ArrayList.addAll(ArrayList.java:580)
at com.service.Service.lambda$null$458(AgeService.java:412)
at java.util.concurrent.CompletableFuture$AsyncRun.run(CompletableFuture.java:1626)
... 5 more
int len = components.size();
List<CompletableFuture> futureList = new ArrayList<>(len);
List<Vo> vos = new ArrayList();
components.stream()
.filter(Objects::nonNull)
.forEach(component -> {
futureList.add(CompletableFuture.runAsync(() -> {
ComponentType componentType = ComponentType.fromValue(component.getType());
if (componentType != null) {
switch (componentType) {
case SLIDE:
vos.addAll(this.getSlides(component));
break;
case NAV:
vos.addAll(this.getNavs(component));
break;
case MODULE:
vos.addAll(this.getModules(component, uid, corpId));
break;
default:
break;
}
}
}));
});
if (!CollectionUtils.isEmpty(futureList)) {
CompletableFuture.allOf(futureList.toArray(new CompletableFuture[0])).join();
}
可以看到是在多线程中的ArrayList的addAll() 操作抛异常,出现了数组溢出,造成这个异常的原因是ArrayList在添加资源时是非原子性的。操作源码如下:
public boolean addAll(Collection<? extends E> c) {
Object[] a = c.toArray();
int numNew = a.length;
ensureCapacityInternal(size + numNew); // Increments modCount
System.arraycopy(a, 0, elementData, size, numNew);
size += numNew;
return numNew != 0;
}
public void add(int index, E element) {
rangeCheckForAdd(index);
ensureCapacityInternal(size + 1); // Increments modCount!!
System.arraycopy(elementData, index, elementData, index + 1,
size - index);
elementData[index] = element;
size++;
}
现在我们假如有两个线程在对list插入值,这时线程A获取到的size大小为9,线程B获取的size大小也为9,但是线程A在执行完ensureCapacityInternal(size + 1)后时间片用完了,线程B得以执行,这时线程B发现size+1=10,刚好满足容量大小,不需要进行扩容,这时线程A得到时间片,这时它来执行 elementData[size++] = e时,然而现在size大小为10,这时进行插入就会出现数组越界情况。另外,我们发现size字段没有使用volatile修饰,size++本身就是非原子性的,多个线程之间访问冲突,这时两个线程可能对同一个位置赋值,就可能出现size小于期望值的结果。
将ArrayList替换为Collections.synchronizedList(List<T> list)或者CopyOnWriteArrayList(List<T> list)。
Collections.synchronizedList(List<T> list):
@Override
public boolean addAll(Collection<? extends T> c) {
synchronized(mutex) {
return backingList.addAll(c);
}
}
CopyOnWriteArrayList(List<T> list):
/** The array, accessed only via getArray/setArray. */
private transient volatile Object[] array;
public boolean addAll(Collection<? extends E> c) {
Object[] cs = (c.getClass() == CopyOnWriteArrayList.class) ?
((CopyOnWriteArrayList<?>)c).getArray() : c.toArray();
if (cs.length == 0)
return false;
//获取重入锁
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
int len = elements.length;
if (len == 0 && cs.getClass() == Object[].class)
setArray(cs);
else {
Object[] newElements = Arrays.copyOf(elements, len + cs.length);
System.arraycopy(cs, 0, newElements, len, cs.length);
setArray(newElements);
}
return true;
} finally {
lock.unlock();
}
}
(1)Collections.synchronizedList(List<T> list)
无论是读取还是写入,它都会进行加锁,当我们并发级别特别高,线程之间在任何操作上都会进行等待
(2)CopyOnWriteArrayList(List<T> list)
从源码中,我们可以看出add操作中使用了重入锁,但是此锁只针对写-写操作。为什么读写之间不用互斥,关键就在于添加值的操作并不是直接在原有数组中完成,而是使用原有数组复制一个新的数组,然后将值插入到新的数组中,最后使用新数组替换旧数组,这样插入就完成了。大家可以发现,使用这种方式,在add的过程中旧数组没有得到修改,因此写入操作不影响读取操,另外,数组定义private transient volatile Object[] array,其中采用volatile修饰,保证内存可见性,读取线程可以马上知道这个修改。
在JDK中,获取线程安全的List,我们可以使用Collections.synchronizedList(List<T> list)方式,也可以使用CopyOnWriteArrayList类。在真实环境中,使用它们可以根据我们的业务需要,在插入操作远远超过读取时,建议使用第一种方式,这是因为CopyOnWriteArrayList在插入的过程中会创建新的数组,这样在数据量特别大的情况下,对内存的消耗是很大的。当然,如果是读取操作远远大于插入时,第二种方式肯定更占优势,毕竟读取操作完全不需要加锁。
文章浏览阅读834次。MySQLDECIMAL数据类型用于在数据库中存储精确的数值。我们经常将DECIMAL数据类型用于保留准确精确度的列,例如会计系统中的货币数据。要定义数据类型为DECIMAL的列,请使用以下语法:column_name DECIMAL(P,D);在上面的语法中:P是表示有效数字数的精度。P范围为1〜65。D是表示小数点后的位数。D的范围是0~30。MySQL要求D小于或等于(<=)P。DEC..._mysql decimal 保存成整数
文章浏览阅读750次。文章目录一、官网1. Products (产品介绍)2. Dev Center (开发者中心)(1)Getting Started(入门教程)(2)Tutorials(教程)(3)Documentation(文档)(4)Download & Help(下载和帮助)总结一、官网官网地址是 https://www.genivia.com/,主页很简单。接下来看一下主要内容。1. Products (产品介绍)最先进的C/XC++自动编码工具是XML Web服务API和其他XML应用程序,是_gsoap download
文章浏览阅读796次。现象是:依次加载了总线bus,设备device,驱动driver,在加载驱动时候出现了segmentation fault。环境条件:采用的是国嵌的教材(可能是教材比较古老了吧,导致出现这样问题),内核版本使用的是2.6.32.2。最后查找原因是由于空指针导致了在strncmp产生了段错误。_struct device init_name
文章浏览阅读1.1k次。本实践将采用阿里云机器学习平台PAI-DSW模块针对 Llama-2-7B-Chat 进行全参数微调。PAI-DSW是交互式建模平台,该实践适合需要定制化微调模型,并追求模型调优效果的开发者。_llama 全参数训练
文章浏览阅读33次。安捷伦Agilent 4349B高值电阻表的用途:适用于测量各种电器设备、元件测试、电感器、线圈、生产线的电阻,4349B增加测试吞吐率,同时对4通道绝电阻进行测量。Agilent 4349B增加测试吞吐率,同时对4通道绝电阻进行测量。测量时间:9.5 mS / 28 mS / 98 mS / 397 mS。90-132/198-264 伏交流电;快速接触检查:2毫秒/点。输入/输出电阻:1 kohm。测试电缆长度:最长 2 m。GPIB和处理器接口。显示分辨率:3/4/5位。HP-IB 和处理器接口。_安捷伦4349b
文章浏览阅读342次。一、Dubbo是什么 分布式服务框架 高性能和透明化的RPC远程服务调用方案 SOA服务治理方案 二、如何使用Dubbo本地服务 <bean id=“xxxService” class=“com.xxx.XxxServiceImpl” /> <bean id=“xxxAction” class=“com.xxx.XxxAction”&..._hessian 2.0 serialization protocol
文章浏览阅读1.1k次,点赞21次,收藏25次。v= zk - hx 在代码中对应的是v[nv]=y-(r+cdtr-CLIGHT*dts[i*2]+dtrp+C*dion+dcb+bias);9) ppp_res(9,obs,n,rs,dts,var,svh,dr,exc,nav,xp,rtk,v,H,R,azel)) 模糊度固定的残差校验。kalman方程中的测量xk = xk/k-1 +kv 以及pk = pk/k-1 - kh*pk/k-1 状态更新。待估参数的预测,对应klaman公式中的xk/k-1、 Pk/k-1。_rtklib进行ppp解算
文章浏览阅读60次。SVG 是可缩放矢量图形的缩写,它是一种用于描述二维矢量图形的XML标记语言。与传统的栅格图像不同,SVG图像可以无限缩放而不会失真,同时也支持交互和动画等特性。SVG最早于1999年由W3C发布,用于在Web上展示矢量图形,并于2001年正式成为标准。在过去的二十多年中,SVG经历了多次更新和改进,增加了更多的功能和特性,如动画、交互等,并逐渐得到广泛的应用。SVG2.0于2016年9月15日成为W3C候选推荐标准,最新草案于。_如何训练svg标注数据集
文章浏览阅读1.5k次,点赞4次,收藏11次。Windows 端CUDA10.2+CUDNN8环境搭建for Pytorch1.71.CUDA下载安装1.1 查看自己的显卡1.2 显卡驱动下载及安装1.3 显卡驱动安装检测1.4 CUDN下载1.5 CUDN安装1.6 环境变量设置2 CUDNN安装2.1 CUDNN下载2.2 CUDNN安装2.3 CUDA安装检测最近,我做了一些使用YOLOV5算法的项目,遇到了很多的坑,也感叹YOLOV5的人性化操作,如此真香的算法,忍不住拿出来与大家进行分享,现在就把项目过程中的一些操作逐个记录一遍。很不好意_cudnn8
文章浏览阅读6.7k次。 1. 修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers2. 修改dfs.datanode.balance.bandwidthPerSec = 52428800,指定DataNod..._failed to move blk_1076014847_2274553 with size=89971516 from 172.16.33.248:
文章浏览阅读5.6k次,点赞3次,收藏5次。前言:由于自己工作时多数是基于移动端的页面工程,很多时候都需要用到弹窗组件,网上也有很多好用,五花八门的弹窗插件,但是由于网上各个版本有些功能过于强大,导致插件大小比较大,有些样式不好自己进行各种自定义设计,有些则是达不到自己想要的那种需求,比如实现弹窗按钮的各种回调函数,于是自己就根据公司目前项目的需求 ,自己简单封装了一个弹窗组件。可简单自定义各式各样的样式 思路分析:声明一个带有对象参数的_jq中将关于浏览器窗口的属性都封装到了
文章浏览阅读633次。作者信息作者: 彭东林邮箱:[email protected]:405728433平台简介开发板:tiny4412ADK + S700 + 4GB Flash要移植的内核版本:Linux-4.4.0 (支持device tree)u-boot版本:友善之臂自带的 U-Boot 2010.12 (为支持uImage启动,做了少许改动)busyb..._memcpy(net_dev->dev_addr, dev_info.mac_addr, eth_alen);