Jaegeun's Life Story

# s3 플러그인 설치sudo bin/plugin install cloud-aws (elasticsearch 버전에 맞게 설치해야 함)참조: https://www.elastic.co/guide/en/elasticsearch/plugins/2.4/cloud-aws.html # _snapshot 등록curl -XPUT 'localhost:9200/_snapshot/my_s3_repository' -d '{ "type": "s3", "setting": { "bucket": "my_bucket_name", "base_path": "/backups" "access_key": "xxxxx" "secret_key": "xxxxx" "max_retries": "5" "region": "us-west" }}'// 타입은..

* 우분투 16.04 기준 Elasticsearch 설치 (2.4.6)# 자바 설치sudo apt-get install default-java # 엘라스틱서치 설치wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-2.4.6.debsudo dpkg -I elasticsearch-2.4.6.deb /etc/init.d/elasticsearch가 있는지 확인함 # 시작시 자동 스크립트 실행sudo update-rc.d elasticsearch defaults 95 10 # 서비스 실행sudo service elasticsearch [start, restart, stop, status] http://localhost..

필요한 plugin을 설치하기 위해, 다음 명령을 이용한다. sudo td-agent-gem install fluent-plugin-secure-forwardsudo td-agent-gem install fluent-plugin-multiprocess 하지만, 인터넷이 되지 않은 곳에서 위와 같은 plugin을 설치하기 위해, 필요한 plugin의 루비파일만 받아서 옮기면 된다. 1. 인터넷 PC에서 위 명령을 통해 필요한 plugin을 설치하면, 아래 경로에 설치된 것을 확인할 수 있다. /opt/td-agent/embedded/lib/ruby/gens/2.1.0/gems/ 2. lib/fluent/plugin에 들어가면 설치한 plugin의 루비파일들이 모여있다. 3. 복사 후, /etc/td-age..

베이즈 이론은 P(B|A)가 주어졌을 때, P(A|B)를 도출하는 이론이다.이를 이해하기 위해 조건부 확률, 결합확률을 알아야 한다. 조건부 확률이란?특정 조건을 구성하는 요소로부터 나온 숫자에 기반한 확률이다.즉, P(A|B)는 B라는 조건이 발생했을 때, A가 참일 확률을 조건부 확률이라고 한다. * 아래는 wiki에 나온 정의이다.조건부 확률은 어떤 사건 B가 일어났을 때 사건 A가 일어날 확률을 의미한다. 사건 B가 발생했을 때 사건 A가 발생할 확률은 사건 B의 영향을 받아 변하는데 이를 조건부 확률이라 한다. 기호로는 {\displaystyle P(A|B)}으로 표현한다. 확률 공간 Ω에서의 두 사건 A, B에 대해서 {\displaystyle P(B)>0}일 때 사건 B가 일어났을 때 사건 ..

빅데이터 활용 단계별 업무절차 및 기술 활용 메뉴얼 (Version 1.0) 을 바탕으로 작성했음출처: https://kbig.kr/?q=%EC%A7%80%EC%8B%9D%EC%9E%90%EB%A3%8C%EC%8B%A4/15362 1. 빅데이터 수집A. 정의 i. 조직 내부 및 외부에 있는 다양한 데이터를 일괄(주기) 혹은 실시간으로 수집하는 과정B. 참고사항 i. 서비스의 품질을 결정하는 중요한 업무로 수집가능 여부, 개인 정보 보안, 품질 수준, 수집 주기, 비용 등 관련 사항들을 검토해야함C. 업무 절차 i. 수집대상 데이터 선정1. 분석에 필요한 수집 대상 데이터를 선정하되 수집 가능성 여부 등을 파악하고 세부 목록 및 항목 작성2. 세부 사항A. 수집 데이터 도출 (필요한 데이터 도출) i. 빅..

Buffer Plugin실시간으로 input되는 데이터를 바로 output하지 않고, buffer에 모아두었다가 일정 사이즈가 되면 (chunk 단위), 전송하기 위함 아키텍쳐https://docs.fluentd.org/images/buffer-internal-and-parameters.png 처리 순서1. input되는 데이터를 chunk라는 단위로 저장한다.2. chuck가 가득 차거나 일정 시간이 지났을 경우, Queue에 입력함 (buffer_chunck_limit, flush_interval로 조절함)3. 새로운 chunk가 queue에 입력 되었을 때, 가장 오래된 chunk는 output으로 보내짐* 가장 오래된 chunk의 전송이 실패했을 때, 플런트디는 몇 초 후 재시도를 수행함 (ret..

ElasticSearch?- 분산형 REST API 기반의 검색 및 분석 엔진이다. 또한, 저장소도 제공한다. (JSON Document 기반)- 루씬 기반으로 만들어져 루씬 기능을 대부분 지원한다.- 분산형 시스템으로 여러개의 노드로 구성되어 있음 : 노드는 데이터를 색인하고 검색을 수행하며, 데이터는 분산 저장된다.- 확장성이 뛰어나며 기존 클러스터에 새 노드를 쉽게 연결해 확장이 가능하다.- 데이터에 대한 복사본을 유지하기 때문에 노드가 다운이 되어도 데이터를 잃지 않는다. REST API란?출처: https://okky.kr/article/409195 데이터 입력, 질의, 삭제 등을 수행할 수 있음- 기본적으로 리소스, 메서드, 메시지로 이루어져 있음- HTTP 메서드를 이용함 (POST, GET..

* Ubuntu 16.04 LTS 기준 * 설치 1. td-agent 설치curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent2.sh | sh 2. 데몬 실행/etc/init.d/td-agent restart (재시작)/etc/init.d/td-agent status (상태 확인) 3. 시작시 자동 스크립트 실행sudo update-rc.d td-agent defaults 95 10sudo service td-agent status 4. 테스트curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test /var/log/td-agent/td-agent...