编写flume测试文件 sources使用netcat channels使用memory sinks使用logger

在Flume中，如果你打算使用`NetCat`作为Source（源），`Memory Channel`作为数据通道，以及`Logger Sink`作为目的地，那么你的测试配置可能会看起来像这样：

agent {
  channel {
    type = memory
    capacity = 10000
    maxFileSize = 1MB
  }

  source {
    name = netcat-source
    type = netcat
    port = 9999 # 指定NetCat监听的端口
    host = localhost
  }

  sink {
    name = logger-sink
    type = logger
  }

  source -> channel -> sink
}

# 运行测试
bin/flume-ng agent start -Dflume.root.logger=DEBUG,console -c conf -f flume-test.conf

# 启动NetCat服务器接收Flume数据
nc -lk 9999 << EOF
# 你也可以在这里插入一些数据，格式需符合Flume的要求，比如JSON或CSV
{"message": "This is a test message from Flume"}
EOF

# 检查LoggerSink的日志，确认数据是否已正确记录
bin/flume-ng log-viewer --server localhost --port 11000 --filter "source=netcat-source" --format json

在这个例子中，NetCat Source会接收外部数据并通过Flume管道传递给Logger Sink。`Logger Sink`通常用于测试目的，因为它不会真正地持久化数据，而是直接打印到控制台或日志中。