목록IT/Fluentd (3)
Jaegeun's Life Story
필요한 plugin을 설치하기 위해, 다음 명령을 이용한다. sudo td-agent-gem install fluent-plugin-secure-forwardsudo td-agent-gem install fluent-plugin-multiprocess 하지만, 인터넷이 되지 않은 곳에서 위와 같은 plugin을 설치하기 위해, 필요한 plugin의 루비파일만 받아서 옮기면 된다. 1. 인터넷 PC에서 위 명령을 통해 필요한 plugin을 설치하면, 아래 경로에 설치된 것을 확인할 수 있다. /opt/td-agent/embedded/lib/ruby/gens/2.1.0/gems/ 2. lib/fluent/plugin에 들어가면 설치한 plugin의 루비파일들이 모여있다. 3. 복사 후, /etc/td-age..
Buffer Plugin실시간으로 input되는 데이터를 바로 output하지 않고, buffer에 모아두었다가 일정 사이즈가 되면 (chunk 단위), 전송하기 위함 아키텍쳐https://docs.fluentd.org/images/buffer-internal-and-parameters.png 처리 순서1. input되는 데이터를 chunk라는 단위로 저장한다.2. chuck가 가득 차거나 일정 시간이 지났을 경우, Queue에 입력함 (buffer_chunck_limit, flush_interval로 조절함)3. 새로운 chunk가 queue에 입력 되었을 때, 가장 오래된 chunk는 output으로 보내짐* 가장 오래된 chunk의 전송이 실패했을 때, 플런트디는 몇 초 후 재시도를 수행함 (ret..
* Ubuntu 16.04 LTS 기준 * 설치 1. td-agent 설치curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent2.sh | sh 2. 데몬 실행/etc/init.d/td-agent restart (재시작)/etc/init.d/td-agent status (상태 확인) 3. 시작시 자동 스크립트 실행sudo update-rc.d td-agent defaults 95 10sudo service td-agent status 4. 테스트curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test /var/log/td-agent/td-agent...