重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
这篇文章主要介绍Flume如何安装部署,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
专注于为中小企业提供网站设计制作、成都做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业美兰免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了成百上千企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。
1、Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境
上传安装包到数据源所在节点上
然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz,最终解压到的位置是:/home/tuzq/software/apache-flume-1.6.0-bin
然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME
2、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)
3、指定采集方案配置文件,在相应的节点上启动flume agent
vi netcat-logger.conf(这个是我们自己定义的采集方案的配置文件)
#定义这个agent中各组件的名字 ##表示agent中的source组件 a1.sources = r1 ##表示的是下沉组件sink a1.sinks = k1 ##agent内部的数据传输通道channel,用于从source将数据传递到sink a1.channels = c1 #描述和配置source组件:r1 ##netcat用于监听一个端口的 a1.sources.r1.type = netcat ##配置的绑定地址,这个机器的hostname是hadoop1,所以下面也可以配置成hadoop1 a1.sources.r1.bind = localhost ##配置的绑定端口 a1.sources.r1.port = 44444 #描述和配置sink组件:k1 a1.sinks.k1.type = logger ##描述和配置channel组件,此处使用时内存缓存的方式
以上是“Flume如何安装部署”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!