HttpClient 在vivo内销浏览器的高并发实践优化

   

• 从某个时间点开始，云监控显示部分Http接口的熔断器被打开，而且从明细列表可以发现问题机器：
  
  
    
  

netstat -ant|awk '/^tcp/ {++S[$NF]} END {for(a in S) print (a,S[a])}'

netstat-tulnap|grep CLOSE_WAIT

try {    httpResponse = HttpsClientUtil.getHttpClient().execute(request);    HttpEntity httpEntity = httpResponse.getEntity();    is = httpEntity.getContent();   }catch (Exception e){    log.error("");   }finally {    IOUtils.closeQuietly(is);    IOUtils.closeQuietly(httpResponse);   }

   

• 【PoolingHttpClientConnectionManager】：连接池管理器类，主要作用是管理连接和连接池，封装连接的创建、状态流转以及连接池的相关操作，是操作连接和连接池的入口方法；
  
  
     
  
• 【CPool】：连接池的具体实现类，连接和连接池的具体实现均在CPool以及抽象类AbstractConnPool中实现，也是分析的重点；
  
  
     
  
• 【CPoolEntry】：具体的连接封装类，包含连接的一些基础属性和基础操作，比如连接id，创建时间，有效期等；
  
  
     
  
• 【HttpClientBuilder】：HttpClient的构造器，重点关注build方法；
  
  
     
  
• 【MainClientExec】：客户端请求的执行类，是执行的入口，重点关注execute方法；
  
  
     
  
• 【ConnectionHolder】：主要封装释放连接的方法，是在PoolingHttpClientConnectionManager的基础上进行了封装。
    
  

     

• 最大连接数（maxTotal）
       
  
• 最大单路由连接数(maxPerRoute)
     
  

   

• 最大连接数，顾名思义，就是连接池允许创建的最大连接数量；
  
     
  
•          最大单路由连接数可以理解为同一个域名允许的最大连接数，且所有maxPerRoute的总和不能超过maxTotal。
  以浏览器为例，浏览器对接了头条和一点，为了做到业务隔离，不相互影响，可以把maxTotal设置成500，而defaultMaxPerRoute设置成400，主要是因为头条的业务接口量远大于一点，defaultMaxPerRoute需要满足调用量较大的一方。
    
  

      

• connectionRequestTimout
        
  
• connetionTimeout
        
  
• socketTimeout
       
  

     

• free
       
  
• leased
       
  
• pending
       
  
• available
     
  

   

• 循环从available容器中获取连接，如果该连接未失效（根据上文提到的expiry字段判断），则把该连接从available容器中删除，并添加到leased容器，并返回该连接；
  
  
     
  
• 如果在第一步中没有获取到可用连接，则判断r.available + r.leased是否大于maxPerRoute，其实就是判断是否还有free连接；如果不存在，则需要把多余分配的连接释放掉（r. available + r.leased - maxPerRoute），来保证真实的连接数受maxPerRoute控制（至于为什么会出现r.leased+r.available>maxPerRoute的情况其实也很好理解，虽然在整个状态流转过程都加了锁，但是状态的流转并不是原子操作，存在一些异常的场景都会导致状态短时间不正确）；所以我们可以得出结论，maxPerRoute只是一个理论上的最大数值，其实真实产生的连接数在短时间内是可能大于这个值的；
  
  
     
  
• 在真实的连接数（r .leased+ r .available）小于maxPerRoute且maxTotal>leased的情况下：如果free>0，则重新创建一个连接；如果free=0，则把available容器里的最早创建的一个连接关闭掉，然后再重新创建一个连接；看起来有点绕，其实就是优先使用free容器里的连接，获取不到再释放available容器里的连接；
  
  
     
  
• 如果经过上述过程仍然没有获取到可用连接，那就只能等待一个connectionRequestTimout时间，或者有其他线程的信号通知来结束整个获取连接的过程。
    
  

   

• 如果是长连接（reusable），则把该连接从leased容器中删除，然后添加到available容器的头部，设置有效期为expiry；
     
  
• 如果是短连接（non-reusable），则直接关闭该连接，并且从released容器中删除，此时的连接被释放，处于free容器中；
     
  
• 最后，唤醒“连接的产生与管理“第四部中的等待线程。
    
  

      

• 连接池的主要功能有两个：连接的管理和连接的复用，在使用连接池的时候一定要注意只需关闭当前数据流，而不要每次都关闭连接，除非你的目标访问地址是完全随机的；
        
  
• maxTotal和maxPerRoute的设置一定要谨慎，合理的分配参数可以做到业务隔离，但如果无法准确做出评估，可以暂时设置成一样，或者用两个独立的httpclient实例；
        
  
• 一定记得要设置长连接的有效期，用
  PoolingHttpClientConnectionManager(60, TimeUnit.SECONDS)构造函数，尤其是调用量较大的情况，防止发生不可预知的问题；
        
  
• 可以通过设置evictIdleConnections(5, TimeUnit.SECONDS)定时清理空闲连接，尤其是http接口响应时间短，并发量大的情况下，及时清理空闲连接，避免从连接池获取连接的时候发现连接过期再去关闭连接，能在一定程度上提高接口性能。
       
  

      

• 没有提供监控连接状态的入口，也没有提供能外部介入动态影响连接生命周期的扩展点，一旦线上出现问题可能就是致命的；
        
  
• 此外，其获取连接的方式是采用同步锁的方式，在并发较高的情况下存在一定的性能瓶颈，而且其对长连接的管理方式存在问题，稍不注意就会导致建立大量异常长连接而无法及时释放，造成系统性灾难。
       
  

      

• 剖析 SPI 在 Spring 中的应用
        
  
• 层层剖析一次 HTTP POST 请求事故
        
  
• 基于微前端qiankun的多页签缓存方案实践