CPU 사용량을 기반으로 HorizontalPodAutoscaler 생성 디플로이먼트 : CPU 요청 설정 HorizontalPodAutoScaler 정의
분류 전체보기
CPU 사용률을 기반으로 파드의 자동 수평 스케일링 설정 사용자 정의 메트릭 기반으로 파드의 자동 수평 스케일링 설정 파드의 수직 스케일링이 아직 불가능한 이유 이해 클러스터 노드 자동 수평 스케일링 이해 수평적 파드 오토스케일링 오토스케일링 프로세스 확장 가능한 리소스 오브젝트에서 관리하는 모든 파드의 메트릭을 가져온다 메트릭을 지정한 목표 값과 같거나 가깝도록 하기 위해 필요한 파드 수를 계산한다 확장 가능한 리소스의 replicas 필드를 갱신한다. 파드 메트릭 얻기 cAdvisor Pod, Node 메트릭 수집 kubelet에 의해 실행 힙스터 수집한 메트릭 집계 HPA (Horizontal Pod Autoscaler) 힙스터에 REST 질의를 통해 메트릭을 가져옴 필요한 파드 수 계산 모든 레플..
A question about how to integrate Grafana Agent with any external metrics storage system 1. Push 기반 익스포터 메트릭을 주기적으로 목적지에 전송 트리거 수집된 메트릭의 최대 개수 스케쥴 StatsD 네트워크 데몬이 특정 포트를 열고 메트릭을 수신해서 목적지로 전달하는 것 ConsoleSpanExporter - 푸시기반 2. Pull 기반 외부 시스템이 메트릭을 가져갈 수 있도록 엔드포인트를 노출 프로메테우스 익스포터 단점 방화벽 제한이 까다로운 기업에서는 새로운 EC2 생성시 해당 IP에 대한 방화벽 신청 프로세스가 필요 3. Grafana Agent
1. Grafana agent 개요 static mode original mode Grafana-Agent가 시작한 스토리 a fork essentially of prometheus we kind of removed the bits that we didn’t need that was required just to move data next step of evoluation of the grafana-agent(static mode) / Flow mode의 등장 배경 experimental a Telemetry pipeline Chain processor SNS flexible component-based architecture 유연한 구조를 위해 component-based architecture 전통적..
[교보문고] 관찰 가능성 엔지니어링 | 알렉스 보텐 1. OpenTelemetry 1.1 관찰 가능성 주요 주제 중앙 집중식 로깅 Fluentd Logstash Apache Flume 메트릭과 대시보드 Prometheus Graphite StatsD Grafana 추적과 분산 OpenTracing Zipkin OpenCensus Jaeger 1.2 OpenTelemetry 역사 2019년 초 OpenTracing과 OpenCensus라는 두 프로젝트의 병합으로 탄생 프로젝트 초기 목표 두 개의 프로젝트를 하나로 합치는 것 클라우드 네이티비 소프트웨어에 대한 관찰 가능성 프레임워크 제공 목표 1.3 OpenTracing 2016년 시작 프로젝트 목표 사용자가 시스템을 더 잘 이해하기 위한 수단으로 분산 추..
1. SQLite3 - DB Lock 이슈 및 원인 분석 nmon - 네트워크 사용량 모니터링 iostat - io 모니터링 /var/lib/grafana - 파일 크기 변화 모니터링 yum install epel-release yum install nmon sudo yum install sysstat sudo iostst -u grafana cd /var/lib/grafana watch -n 1 'ls -al' private 환경이라 테스트 관련 자료는 없음. 테스트 환경 EC2 50대(t2.mirco) CWAgent설치 및 메트릭 수집 EC2 50대에 대한 Alert 10개 생성 1분에 1번씩 평가 테스트 결과 평가되는 주기로 10~15kb 네트워크 트래픽 발생 write iops 5~10MB/s 발..
1. monitoring ns 생성 kubectl create ns monitoring watch kubectl get pod,pvc,svc,ingress -n monitoring 2. 인증서 ARN 체크 # 사용 리전의 인증서 ARN 확인 : 정상 상태 확인(만료 상태면 에러 발생!) CERT_ARN=`aws acm list-certificates --query 'CertificateSummaryList[].CertificateArn[]' --output text` echo $CERT_ARN 인증서가 없을 경우 생성하기 ACM > Certificates > Requests 3. monitor-values.yaml 파일 생성 cat
Reference [Fluent Bit 3.0 Docs] Fluent Bit v3.0 Documentation [Fluent Bit 3.0 Docs] Fluentd & Fluent Bit [aws docs] Fluent Bit를 DaemonSet로 설정하여 CloudWatch Logs에 로그 전송 [Github] fluent / fluent-bit [Better Stack] How to Collect, Process, and Ship Log Data with Fluent Bit [tistory] Fluent Bit (With Loki) [tistory] [EFK] EFK란(fluent bit 사용법) [aws Blog] Fluent Bit Integration in CloudWatch Container ..
1. EKS Log 종류 EKS Control Plane Node Application 2. EKS Log 활성화 옵션 EKS > Observability Kubernetes API server component logs (**api**) – kube-apiserver- Audit (**audit**) – kube-apiserver-audit- Authenticator (**authenticator**) – authenticator- Controller manager (**controllerManager**) – kube-controller-manager- Scheduler (**scheduler**) – kube-scheduler- # 모든 로깅 활성화 aws eks update-cluster-conf..
0. 준비사항 도메인 구입 [aws] Amazon Route 53을 사용해 도메인 이름을 등록하는 방법 1. ACM 발급 아래 블로그 참고 [tistory] AWS의 Certificate Manager 로 SSL 인증서 발급 받기 2. ExternalDNS 설치 # ExternalDNS MyDomain=myeks.net echo "export MyDomain=myeks.net" >> /etc/profile MyDnzHostedZoneId=$(aws route53 list-hosted-zones-by-name --dns-name "${MyDomain}." --query "HostedZones[0].Id" --output text) echo $MyDomain, $MyDnzHostedZoneId curl -s..
1. 실습 환경 배포 - CloudFormation YAML us-east-1(버지니아)리전 > CloudFormation > 아래 파일로 실행 1.1 기본 설정 # default 네임스페이스 적용 kubectl ns default # 노드 정보 확인 : t3.xlarge kubectl get node --label-columns=node.kubernetes.io/instance-type,eks.amazonaws.com/capacityType,topology.kubernetes.io/zone # 노드 정보 확인 : t3.xlarge eksctl get iamidentitymapping --cluster myeks # 노드 IP 확인 및 PrivateIP 변수 지정 N1=$(kubectl get node ..
