💡 준비물 : ubuntu 20.04.3, Kafka 설명 Kafka란 ? 대용량, 대규모 메시지 데이터를 빠르게 처리하도록 개발된 분산 메시징 플랫폼. 특징 pub/sub 메시지 시스템 : 생산자가 원하는 각 메시지를 게시할 수 있는 메시지 배포 패턴 실시간 데이터 피드 관리용도 플랫폼 높은 처리량 낮은 지연시간 분산 트랜잭션 로그로 구성된, 확장가능한 pub/sub 메시지 큐 주키퍼와 같이 동작 구성 정보를 유지 관리하고, 이름을 지정하고, 분산 동기화를 제공하고, 그룹 서비스를 제공하기 위한 중앙 집중식 서비스 분산형 코디네이션 서비스 출처 https://zookeeper.apache.org/ 사용 용도 스트리밍 데이터 처리 기능 분산 이벤트 스트리밍 플랫폼 높은 처리량 실시간 솔루션 영구 메시징 ..

💡 준비물 : ubuntu, rabbitmq 3.8 이상, Prometheus, Grafana 모니터링 대상 설정 RabbitMQ Plugin 활성화 # rabbitmq_prometheus plugin 을 활성화시키며 exporter 포트는 15692 이다 sudo rabbitmq-plugins list sudo rabbitmq-plugins enable rabbitmq_prometheus 설정 prometheus.yml 설정 파일 수정 scrape_configs: # The job name is added as a label `job=` to any timeseries scraped from this config. - job_name: "prometheus" # metrics_path defaults ..

💡 준비물 : ubuntu 설치 # Grafana 설치 wget sudo dpkg -i grafana_8.5.2_amd64.deb # Prometheus 설치 wget tar xvfz prometheus-2.35.0.linux-amd64.tar.gz mv prometheus-2.35.0.linux-amd64.tar.gz prometheus 모니터링 대상 설정 RabbitMQ Plugin 활성화 # rabbitmq_prometheus plugin 을 활성화시키며 exporter 포트는 15692 이다 sudo rabbitmq-plugins list sudo rabbitmq-plugins enable rabbitmq_prometheus 설정 prometheus.yml 설정 파일 원하는 서비스를 모니터링 데이..

💡 준비물 : ubuntu, redis, Prometheus, Grafana 모니터링 대상 설정 Redis 설치 Redis 설치 Redis exporter 설치 wget # 압축 해제 및 파일 복사 tar -zxvf redis_exporter-v1.24.0.linux-amd64.tar.gz cd redis_exporter-v1.24.0.linux-amd64 cp redis_exporter /usr/bin/ # root 계정 Systemd 등록 및 실행 vim /etc/systemd/system/redis_exporter.service # redis_exporter.service [Unit] Description=Redis Exporter Wants=network-online.target After=net..

설명 Prometheus 란 ? Prometheus는 오픈소스 시스템 모니터링및 경고 툴킷이다. 특징 구조 Jobs/exporters : 매트릭을 수집하는 프로세스 Prometheus Server : exporter의 엔드포인트로 HTTP GET 요청하여 매트릭 정보를 수집 시각화 도구가 부족하여 Grafana 를 사용한다. Grafana 란? 매트릭/로그 시각화 대시보드 오픈소스 툴킷이다. 특징 로그 시각화 알림 기능 제공 커스터 마이징 가능 외부 데이터 소스를 정의하고 쿼리를 이용한 동적 데이터를 시각화 1. Prometheus + Grafana - 연결 2. Prometheus + Grafana - RabbitMQ 구축 3. Prometheus + Grafana - Redis 구축 Prometheu..

개요 무거운 nginx forward proxy server를 가벼운 squid proxy server로 대체한다. 연구해야할 내용 nginx 보다 squid만의 장점 찾기. 관련 기술 Squid Proxy Sever 오픈 소스(GPL) 소프트웨어 프록시 서버이자 웹 캐시. 반복된 요청을 캐싱함으로 웹서버의 속도를 향상시킴. 네트워크 자원을 공유하려는 사람들에게 웹, DNS와 다른 네트워크 검색의 캐싱을 제공함. 트래픽을 걸러줌으로써 안정성에 도움을 주는 등에 이르기까지 광범위 하게 이용됨. 구축 Squid 설치 yum install -y squid 설정 변경 vi /etc/squid/squid.conf 주석 처리 #http_access allow localhost manager #http_access ..