[Java] 一次因HashSet引起的并发问题详解

threadpoolexecutor executor = new threadpoolexecutor(coresize, maxsize,
  0l, timeunit.milliseconds,
  new linkedblockingqueue<runnable>());;
  put(poolname,executor);

由于队列的大小给的够大，所以结合目前的情况来看应当是线程池里的任务处理较慢，导致队列的任务越堆越多，至少这是目前可以得出的结论。

这里的线程名字也是个坑，让我找了好久。

//线程池
private executorservice executor;
private set<string> set = new hashset();
private void execute(){
 
 while(true){
 //从 mq 中获取数据
 string key = submq();
 executor.excute(new worker(key)) ;
 }
}
public class worker extends thread{
 private string key ;
 public worker(string key){
 this.key = key;
 }
 @override
 private void run(){
 if(!set.contains(key)){
 //数据库查询
 if(querydb(key)){
 set.add(key);
 return;
 }
 }
 //达到某种条件时清空 set
 if(flag){
 set = null ;
 }
 } 
}

• 源源不断的从 mq 中获取数据。
  
• 将数据丢到业务线程池中。
  
• 判断数据是否已经写入了 set。
  
• 没有则查询数据库。
  
• 之后写入到 set 中。
  

• set 中的数据在并发写入时被覆盖导致数据不准确。
  
• 会在扩容的时候形成环形链表。
  

由于每消费一条数据都要去查询一次数据库，mysql 本身压力就比较大，加上数据量也很高所以导致这个 io 响应较慢，导致整个任务处理的就比较慢了。

• hashset 不是线程安全的，换为 concurrenthashmap同时把 value 写死一样可以达到 set 的效果。
  
• 根据我们后面的监控，初始化 concurrenthashmap 的大小尽量大一些，避免频繁的扩容。
  
• mysql 中很多数据都已经不用了，进行冷热处理。尽量降低单表数据量。同时后期考虑分表。
  
• 查数据那里调整为查缓存，提高查询效率。
  
• 线程池的名称一定得取的有意义，不然是自己给自己增加难度。
  
• 根据监控将线程池的队列大小调整为一个具体值，并且要有拒绝策略。
  
• 升级到 jdk1.8。
  
• 再一个是报警邮件酌情考虑为电话通知。