如何解决Hbase、elasticsearch整合中jar包冲突的问题

这篇文章主要介绍了如何解决Hbase、elasticsearch整合中jar包冲突的问题，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

成都创新互联公司长期为超过千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为息县企业提供专业的网站制作、做网站，息县网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

问题背景

再数据平台中，项目搭建需要使用es和HBASE搭建数据查询接口，整合的过程中出现jar包冲突的bug :com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator

org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:239)
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:150)
    ...
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
    at org.apache.hadoop.hbase.zookeeper.MetaTableLocator.blockUntil
    ...
    at org.apache.hadoop.hbase.client.RegionServerCallable.prepare(RegionServerCallable.java:75)
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:134)
    ... 45 more

解决办法

经排查，确认是因为 com.google.guava 这个包引起的冲突。es依赖于18及以上版本，而HBASE只支持16及以上版本。而guava这个包从17开始内部发生变化，方法发生改变，所以18并不会向下兼容16版本。在项目运行的过程中，如果同时引入16、18版本，es及hbase的调用过程会发生混乱。那么接下来就好办了，我们可以重新打包，将guava18打入es内部，再在pom文件中显示引用guava16版本的包。这样，es调用包内部打入的guava18，而hbase调用外部的guava16。

重新打包

新建maven工程，在pom文件中进行如下配置：

  4.0.0

  
  douguo.shaded.elasticsearch
  douguo_shaded_elasticsearch
  1.0-SNAPSHOT

  
    2.4.1
  
  
    
      org.elasticsearch
      elasticsearch
      ${elasticsearch.version}
    
    
      org.elasticsearch.plugin
      shield
      ${elasticsearch.version}
    
  
  
    
      
        org.apache.maven.plugins
        maven-shade-plugin
        2.4.1
        
          false
        
        
          
            package
            
              shade
            
            
              
                
                  com.google.guava
                  douguo.shaded.elasticsearch.guava
                
                
                  org.joda
                  douguo.shaded.elasticsearch.joda
                
                
                  com.google.common
                  douguo.shaded.elasticsearch.common
                
                
                  com.google.thirdparty
                  douguo.shaded.elasticsearch.thirdparty
                
              
              
                
              
            
          
        
      
    
  

  
    
      elasticsearch-releases
      http://maven.elasticsearch.org/releases
      
        true
        daily
      
      
        false
      
    
  

将org.joda等4个可能有冲突的jar包通过maven-shade-plugin插件迁移后重新打个jar包从而使得在引入这个jar包时能够使用该jar包自己的依赖而不是使用外部依赖。这里需要注意的是，需要将com.google.common等4个包全部重新迁移，否则会出现java.lang.IllegalAccessError: tried to access method com.google.common.base的错误

项目打包

mvn clean install

新的依赖包会在.m2 maven仓库中，如果公司搭建了仓库的话，需要上传jar包。如果直接运行jar包的话，记得重新编译项目，并替换lib目录

项目载入新包

只需要在pom文件中配置：

  douguo.shaded.elasticsearch
  douguo_shaded_elasticsearch
  1.0-SNAPSHOT
  
    
      org.elasticsearch
      elasticsearch
    
  






  com.google.guava
  guava
  16.0

这样，guava18包就在douguo.shaded.elasticsearch下，es会优先调用。而外部配置的guava16就会被HBASE调用。2个版本的jar包互相独立存在！

感谢你能够认真阅读完这篇文章，希望小编分享的“如何解决Hbase、elasticsearch整合中jar包冲突的问题”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!