Ops/OpenSearch (14) 썸네일형 리스트형 OpenSearch Fluentd - 패키지 설치 OpenSearch Fluentd - 패키지 설치 td-agent는 환경 변수 PATH에 존재하지 않는 경로에 Ruby Gem을 설치하여 전체 시스템에 영향을 주지 않고 사용 가능합니다. 설치 # td-agent 4 $ curl -L https://toolbelt.treasuredata.com/sh/install-amazon2-td-agent4.sh | sh 실행 $ systemctl start td-agent.service $ systemctl status td-agent.service 테스트 $ curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test $ tail -n 1 /var/log/td-agent/td-agent.lo.. OpenSearch Fluent Bit - golang 플러그인 OpenSearch Fluent Bit - golang 플러그인 golang 설치 $ wget https://dl.google.com/go/go1.13.linux-amd64.tar.gz $ sha256sum go1.13.linux-amd64.tar.gz $ tar -C /usr/local -xzf go1.13.linux-amd64.tar.gz 경로 변수 조정 ~ / .bash_profile echo "" >> ~ / .bash_profile echo "경로 변수 조정" >> ~ / .bash_profile echo "export PATH=$PATH:/usr/local/go/bin" >> ~ / .bash_profile source ~/.bash_profile 컴파일 cd build/ cmake3 -DFL.. OpenSearch Fluent Bit - 소스 빌드 OpenSearch Fluent Bit - 소스 빌드 ※ Go plugin을 포함하여 코드 기반 확장을 하는 경우 Git에서 개발버전을 사용합니다. 다만, 개발버전이기 때문에 컴파일 또는 런타임 문제가 발생할 수 있습니다. 요구사항 yum install gcc-c++ yum install cmake3 소스코드 다운로드 git clone https://github.com/fluent/fluent-bit 프로젝트 구성 cd build cmake3 ../ make make install config 설정 cd /home/ec2-user/fluent-bit/build/ echo "[SERVICE]" >> flb-config-test.conf echo "Flush 1" >> flb-config-test.conf .. OpenSearch Fluent Bit - 패키지 설치 OpenSearch Fluent Bit - 패키지 설치 ※ fluentd와 같이 td-agent 기반으로 사용하는 경우는 패키지만 설치하여 사용 가능합니다. repo 추가 echo "[td-agent-bit]" >> /etc/yum.repos.d/td-agent-bit.repo echo "name = TD Agent Bit" >> /etc/yum.repos.d/td-agent-bit.repo echo "baseurl = https://packages.fluentbit.io/amazonlinux/2/$basearch/" >> /etc/yum.repos.d/td-agent-bit.repo echo "gpgcheck=1" >> /etc/yum.repos.d/td-agent-bit.repo echo "gpgke.. OpenSearch Fluent Bit - fluent bit vs fluentd OpenSearch Fluent Bit - fluent bit vs fluentd ■ Reference 내용 URL Fluent Bit 메뉴얼 https://docs.fluentbit.io/manual/ - - by mkdir-chandler OpenSearch - apm server / apm agent OpenSearch - apm server / apm agent Kibana 웹페이지 → Add data → APM 페이지에 들어가면 APM Server, APM agent 설치 방법 및 서버 상태 확인 가능 /etc/apm-server/apm-server.yml ################################ APM Server ################################ apm-server: host: "http://127.0.0.1:8200" #================================ Outputs ================================= # Configure the output to use when sending the data col.. OpenSearch Kibana - install OpenSearch Kibana - install elastic search 버전과 동일 버전으로 설치 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-x86_64.rpm rpm --install kibana-7.10.2-x86_64.rpm 실행 systemctl start kibana.service 확인 netstat -nl | grep -E -i "proto|5601" kibana.yml + 로그인 설정 /etc/kibana/kibana.yml server.host: "0.0.0.0" elasticsearch.hosts:.. OpenSearch Kibana - 기본 경로 OpenSearch Kibana - 기본 경로 기본 프로그램 ($KIBANA_HOME) /usr/share/kibana 실행 파일 bin/kibana 플러그인 plugins 설정 /etc/kibana/kibana.yml 데이터 (path.data) /var/lib/kibana Optimize /usr/share/kibana/optimize 로그 (path.logs) /var/log/kibana by mkdir-chandler OpenSearch Logstash - filebeat 설치 및 설정 OpenSearch Logstash - filebeat 설치 및 설정 filebeat 설치 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.8.1-x86_64.rpm sudo rpm -vi filebeat-7.8.1-x86_64.rpm filebeat 설정 (/etc/filebeat/filebeat.yml) # ============================== Filebeat inputs =============================== filebeat.inputs: - type: log - /var/log/nginx/access.log fields: index_name: "test2" # --------.. OpenSearch Logstash - host 설정 OpenSearch Logstash - host 설정 OpenJDK 1.8 설치 yum install java-1.8.0-openjdk yum install java-1.8.0-openjdk-devel Logstash 설치 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch$ cat > /etc/yum.repos.d/logstash.repo [logstash-7.x] name=Elastic repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasti.. 이전 1 2 다음
