flume中几种常见的source、channel、sink_1. flume的source、channel、sink有哪些-程序员宅基地
技术标签： flume
一、source
1、avro source
侦听Avro端口并从外部Avro客户端流接收事件。 当与另一个（上一跳）Flume代理上的内置Avro Sink配对时，它可以创建分层集合拓扑。
| channels | – | |
| type | – | The component type name, needs to be avro |
| bind | – | hostname or IP address to listen on |
| port | – | Port # to bind to |
使用场景：分层的数据收集。
使用flume将Nginx日志文件上传到hdfs上，要求hdfs上的目录使用日期归档
Flume:
agent的配置 source channel sink
flume的部署模式：
两层模式：
第一层：Flume agent 与每台nginx部署在一起
exec source + memory channel/file channel + avro sink
第二层：（收集汇集层）
avro source + memory channel + hdfs sink
flume agent启动过程：
先启动第二层flume agent avro 服务端
先打印日志到控制台，检查是否报错：
bin/flume-ng agent --name a2 --conf conf/ --conf-file conf/agents/flume_a2.conf -Dflume.root.logger=INFO,console
查看端口：
netstat -tlnup | grep prot再启动第一层 flume agent
其中第一层的conf-file如下：
a1.conf
# exec source + memory channel + avro sink
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/datas/nginx/user_logs/access.log
# Describe the sink avro sink
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = rainbow.com.cn
a1.sinks.k1.port = 4545
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# combine Source channel sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1a2.conf
# avro source + memory channel + hdfs sink
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.channels = c1
a2.sources.r1.bind = rainbow.com.cn
a2.sources.r1.port = 4545
# hdfs sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.channel = c1
a2.sinks.k1.hdfs.path = /nginx_logs/events/%y-%m-%d/
a2.sinks.k1.hdfs.filePrefix = events-
# hfds上文件目录创建的频率
#a2.sinks.k1.hdfs.round = true
#a2.sinks.k1.hdfs.roundValue = 10
#a2.sinks.k1.hdfs.roundUnit = minute
# hfds上目录使用了时间转换符 %y-%m-%d
a2.sinks.k1.hdfs.智能推荐
project2016调配资源冲突-程序员宅基地
文章浏览阅读5.4k次，点赞9次，收藏26次。（1） Project查看资源负荷情况的方法和结果在工时类资源会存在资源过度分配（在同一个时间段给工时类资源分配的资源超出了他的最大单位）的情况，而成本类、材料类资源则不会有、查看资源负荷的方法有：在视图栏------资源图表如下图在这里我们可以看到每个资源的分配状况，如下图滚动鼠标滑轮就会出现不同的资源分配状况此时选择“资源”—“下一个资源过度分配处”如下图总结：甘特图、..._project2016调配资源冲突
推荐算法知识图谱模型（二）：KGCN-程序员宅基地
文章浏览阅读235次。常用的KGE方法侧重于建模严格的语义相关性（例如，TransE和TransR假设头+关系=尾），这更适合于KG补全和链接预测等图内应用，而不是推荐。更自然、更直观的方法是直接设计一个图算法来利用KG结构。_图谱模型
ajax跨域与cookie跨域_一级域名 的cookie ajax 请求二级域名时获取cookie-程序员宅基地
文章浏览阅读389次。ajax跨域ajax跨域取数据(利用可以跨域加载js的原理 functioncallback(){ }这是需要返回这样一个js函数)ajax数据类型使用jsonp :如 ajax{ url:..._一级域名 的cookie ajax 请求二级域名时获取cookie
Flutter从0到1实现高性能、多功能的富文本编辑器（基础实战篇）_flutter 富文本-程序员宅基地
文章浏览阅读1.3k次，点赞2次，收藏2次。在上一章中，我们分析了一个富文本编辑器需要有哪些模块组成。在本文中，让我们从零开始，去实现自定义的富文本编辑器。注：本文篇幅较长，从失败的方案开始分析再到成功实现自定义富文本编辑器，真正的从0到1。— 完整代码太多， 文章只分析核心代码，需要源码请到代码仓库作为基础的富文本编辑器实现，我们需要专注于简单且重要的部分，所以目前只需定义标题、文本对齐、文本粗体、文本斜体、下划线、文本删除线、文本缩进符等富文本基础功能。//定义默认颜色...///用户自定义颜色解析。_flutter 富文本
新一代异步IO框架——io_uring 架构-程序员宅基地
文章浏览阅读30次。近年来，Linux社区开发了一种新的异步IO框架，称为io_uring。io_uring通过提供高度可扩展和高性能的异步IO接口，有效地解决了传统异步IO框架中的一些性能瓶颈和限制。io_uring已经成为许多高性能应用程序的首选异步IO框架，为开发者提供了更好的IO处理能力。io_uring 架构是建立在Linux内核之上的，它使用了一组新的系统调用和内核机制，以提供高性能和低延迟的异步IO操作。io_uring的设计目标是提供一种简单而强大的接口，使得开发者可以轻松地利用异步IO的优势。
耗时一个月！期末熬夜复习整理 | 计算机网络（谢希仁第七版）大合集【知识点+大量习题讲解】_计算机网络期末复习题-程序员宅基地
文章浏览阅读2.5w次，点赞204次，收藏1.8k次。期末计网满绩计划教材：计算机网络(第七版)谢希仁版目录1. 概述2. 物理层3. 数据链路层（次重点）4. 网络层（重点）5. 运输层（重点）6. 应用层7. 网络安全最后1. 概述第一章概述2. 物理层第二章物理层3. 数据链路层（次重点）第三章数据链路层4. 网络层（重点）第四章网络层5. 运输层（重点）第五章运输层6. 应用层第六章应用层7. 网络安全稍后发布最后小生凡一，期待你的关注。..._计算机网络期末复习题
随便推点
Hadoop 序列化机制_hadoop final-程序员宅基地
文章浏览阅读493次。序列化是指将结构化对象转化为字节流以便在网络上传输或者写到磁盘上进行永久存储的过程，反序列化是指将字节流转回结构化对象的逆过程序列化用于分布式处理的两大领域，进程间通信和永久存储。在Hadoop中，系统中多个节点上进程间的通信是通过“远程过程调用”（remote procedure call, RPC）实现的。RPC将消息序列化成二进制流后发送到远程节点，远程节点接着将二进制流饭序列化为原始..._hadoop final
tinymce富文本编辑器实现本地图片上传_tinymce images_upload_handler-程序员宅基地
文章浏览阅读5.7k次，点赞3次，收藏6次。在开发过程中使用tinymce富文本编辑器，发现他的图片上传默认是上传网络图片那么如何实现上传本地图片呢，上官网逛一圈，发现其实很简单在官网中找到下面这张图片，并且有相关的例子这里，我使用了自定义函数images_upload_handler (blobInfo, success, failure) { const url = 'uploadImg' ..._tinymce images_upload_handler
SpringCloud-拜托！面试请不要再问我Spring Cloud底层原理实战_spring cloud +sql springcloud底层组件-程序员宅基地
文章浏览阅读2.6k次，点赞5次，收藏14次。上一篇我们说到《拜托！面试请不要再问我Spring Cloud底层原理》，我们大概了解了Spring Cloud中各个组件的作用以及其背后实现的原理。但是俗话说得好，实践是检验真理的唯一标准。这一篇我们动手实践一下，即搭建一个包含订单服务、库存服务、仓库服务、积分服务的微服务架构项目。一、项目的工程结构工程名 服务名 端口号 shop-parent 父工程 ..._spring cloud +sql springcloud底层组件
安装及配置py-faster-rcnn（亲测且详细）-程序员宅基地
文章浏览阅读819次。Ubuntu16.04下编译py-faster-rcnn全过程，在本机上试验成功，亲测有效，清晰总结踩过的坑，常见问题及解决方案一并给出_py-fast
Hausaufgabe--Python 08-程序员宅基地
文章浏览阅读89次。0-- print A/B/C/D rather than detail score:score = float(input('please input your score: '))if score>=90: print('A')elif 80<=score<90: print('B')elif 60<=score<80: print('C'...
linux下mkdir头文件_Linux下的创建目录函数——mkdir()-程序员宅基地
文章浏览阅读2.2k次。原型：int mkdir (const char *filename, mode_t mode)返回0表示成功，返回-1表述出错。使用该函数需要包含头文件sys/stat.hmode 表示新目录的权限，可以取以下值：S_IRUSRS_IREADRead permission bit for the owner of the file. On many systems this bit is 040..._linux mkdir 头文件