본문 바로가기
반응형

전체 글110

[Kafka] 간단한 LAB을 곁들인 Kafka 기본 개념 알아보기 Kafka 왜 써요?메시지 큐는 비동기 메시지를 사용하여 서로 다른 시스템 간의 결합도를 낮추고, 효율적인 데이터 처리와 분산 시스템의 확장성을 제공하기 때문에 많은 서비스에 사용된다. 최근 데이터를 이용하는 서비스들이 많아졌는데 그러한 이유로 kafka와 같은 “메시지 큐” 방식의 데이터 처리 방식의 서비스에 대한 수요가 많아지게 되었다.비동기적 통신: 발신자와 수신자가 독립적으로 작업을 수행할 수 있도록 지원한다.중간 저장소 역할: 데이터를 큐(queue)에 임시로 저장하고, 소비자가 이를 처리한다.분산 시스템 필수 구성 요소: 작업 부하 분산, 내결함성, 확장성 제공.Kafka 주요 구성 요소아래는 카프카의 데이터 스트림을 구성하고 있는 주요 요소에 대한 설명이다.첫 번째는 '토픽(Topic)' 이.. 2025. 3. 16.
[AWS] ddpt를 곁들인 EBS 스냅샷 크기 최적화 오늘은 AWS EBS Console에서 새롭게 추가된 항목인 "전체 스냅샷 크기" 정보에 대해 EBS에서 실제 스냅샷 크기를 어떻게 측정하는지에 대하여 간단한 테스트를 통해 알아보려고 한다.  EBS 전체 스냅샷 크기 정보란?  먼저 EBS의 전체 스냅샷 크기 정보에 대해서는 다음의 AWS 공식 문서에서 확인할 수 있다. ------공식문서------ ```이제 Amazon Elastic Block Store(Amazon EBS)는 전체 스냅샷 크기의 EBS 스냅샷을 표시합니다. 이번 개선 사항으로 고객은 새로운 필드인 ull-snapshot-size-in-bytes를 사용하여 DescribeSnapshots API를 통해 프로그래밍 방식으로 전체 스냅샷 크기를 검색할 수 있게 되었습니다. 전체 스냅샷 .. 2025. 3. 2.
[AWS] Amazon EC2 Spot 완벽 가이드 금일 포스팅을 통해서 EC2 Spot 인스턴스의 작동 방식, 생성, 관리 및 모니터링 등에 대한 내용을 정리해 보려고 한다. 해당 포스팅을 통해서 Spot 인스턴스에 대한 자세한 사용 방법을 공유 한다.  1. EC2 인스턴스 가격 옵션 On-Demand: 언제든지 사용가능한 대신 사용한 만큼의 시간당 요금 지불Reserved: 할인된 시간당 요금과 용량 예약(선택 사항)을 제공Spot: EC2 여유 용량을 최대 90% 할인된 가격으로 사용2. Spot 인스턴스 작동 방식기본 작동 원리- Spot 인스턴스는 AWS의 미사용 EC2 용량을 활용하는 방식으로 작동합니다. AWS가 가진 EC2 인스턴스의 여유 가용 용량은 실시간으로 변동하며, 이에 따라 Spot 가격도 동적으로 조정됩니다. 스팟 인스턴스 중단.. 2025. 2. 16.
[AWS] EC2 Spot Fleet : 비용 효율적인 클라우드 컴퓨팅 활용하기 1. Spot Fleet이란? AWS Spot Fleet은 사용자가 지정한 기준에 따라 Spot 인스턴스와 온디맨드 인스턴스의 집합을 자동으로 요청하고 관리하는 서비스입니다. Spot Fleet을 사용하면 목표 용량을 설정하고, 다양한 인스턴스 유형과 가용 영역에 걸쳐 워크로드를 유연하게 실행할 수 있습니다. Spot Instance vs Spot FleetSpot Instance: 개별 인스턴스 단위로 요청 및 관리Spot Fleet: 여러 인스턴스 유형과 가용 영역에 걸쳐 자동으로 관리2. Spot Fleet의 주요 구성 요소(*옵션)2-1. 할당 전략최저 가격(*lowestPrice)가장 낮은 가격의 인스턴스 풀에서 인스턴스를 시작비용 최적화가 최우선 순위인 워크로드에 적합단일 풀에 집중되어 가용성.. 2025. 1. 31.
[Linux] In-place upgrade of RHEL 7 이번 포스팅에서는 RHEL 7 에서 RHEL 8 으로 In-Place(*인-플레이스) 업그레이드를 진행하는 방법에 대하여 다루어 보려고 한다.  인플레이스 업그레이드는 기존의 시스템 환경을 유지 하면서 OS의 버전을 업그레이드 하는 방법을 의미한다.  따라서 인플레이스 업그레이드 방법을 사용하면 새로운 OS 버전을 신규 설치 할 때에 비해 아래와 같은 이점이 있다.    인플레이스 업그레이드 프로세스 * RHEL 7에서 RHEL 8로의 인플레이스 업그레이드 프로세스는 다음과 같이 요약할 수 있다. 업그레이드 계획- 시스템 요구 사항 및 제한 사항을 검토합니다. 시스템이 인플레이스 업그레이드에 적합한 후보인지 또는 대신 RHEL 8을 새로 설치해야 하는지 확인합니다.업그레이드 준비- 업그레이드 프로세스를 .. 2025. 1. 4.
[Linux] CentOS7에서 RHEL OS로 전환 - convert2rhel 사용법 CentOS 7의 End of Support (EOS) 날짜는 2024년 6월 30일입니다.주요 일정:    2020년 12월 31일: CentOS 7의 전체 업데이트 지원 종료    2024년 6월 30일: CentOS 7의 유지보수 업데이트 완전 종료 (EOS)2024년 6월 30일 이후에는 CentOS 7에 대한 보안 패치, 버그 수정, 기술 지원이 더 이상 제공되지 않습니다. 이로 인해 많은 조직들이 RHEL이나 다른 대안으로의 마이그레이션을 계획하고 있습니다.현재 시점(2024년 11월)에서는 CentOS 7이 이미 EOS에 도달했으므로, 보안 및 안정성을 위해 다른 운영 체제로의 전환이 매우 중요한 상황입니다. 위와 같은 이유로 현재 Centos7을 사용하고 있다면 다른 OS로 전환하는 것을 .. 2024. 11. 24.
[Linux] Processor Power Management C-states & P-states 오늘 포스팅할 주제는 프로세서의 상태 제어에 대한 내용을 정리해 볼 예정이다. 제어할 수 있는 프로세서의 상태 제어는 "C-state"와 "P-state"로 구분할 수 있다. 각각의 상태 제어는 서로 다른 부분에서 CPU(*프로세서)의 상태를 제어하는데, 쉽게 구분하자면 C-state는 주로 코어가 여러 단계의 유휴 상태로 전환되게 하여 전력 소비를 줄이는 방식의 상태 제어 이며, P-state는 주로 CPU의 성능 (*주파수)를 직접 제어 하는 방식이다.  모든 프로세서가 두 상태 제어 모드를 지원하는 것은 아니며, 주로 x86 아키텍처로 빌드된 프로세서(*intel, AMD 사)에서는 두 상태 제어 모드를 대부분 지원하고 있다.다시 오늘의 포스팅 주제로 돌아와 위에서 설명한 C-state, P-sta.. 2024. 11. 10.
[Linux] Linux Storage Management 오늘은 Linux 에서 File system에 대한 간단한 설명과 이를 이용하여 실제 물리적 Disk에 대해 File system을 사용하여 마운트하는 방법을 정리하고 LVM과 NFS를 구성하여 정리해 보려고 한다. 1) Linux Basic I / O Stack  가상 파일 시스템(Virtual File System, VFS):VFS는 리눅스 커널의 일부로, 다양한 파일 시스템을 통일된 인터페이스로 접근할 수 있게 해줍니다.VFS는 파일, 디렉토리, 마운트, 인증 등 파일 시스템 관련 작업을 추상화하여 제공합니다.애플리케이션은 VFS 인터페이스를 통해 파일 시스템과 상호작용하므로, 실제 사용 중인 파일 시스템의 종류를 몰라도 됩니다.VFS는 파일 시스템 간 투명한 전환을 가능하게 하고, 디스크 입출력 .. 2024. 10. 27.
반응형

티스토리툴바