CAP이론과 일관성 모델 CAP이론은 분산 시스템에서 다음 세 가지 속성을 동시에 만족할 수 없음을 설명한다. 일관성: 모든 노드가 같은 데이터를 반환함. 가용성: 모든 요청이 응답 받을 수 있음. 네트워크 분할 허용: 네트워크 장애에도 시스템이 동작함. 분산 시스템 설계자는 이 중 두 가지를 선택해야 하고, 선택에 따라 적합한 일관성 모델을 결정해야한다. CP(Consistency & Partition Tolerance) 강한 일관성을 유지하지만 일부 요청이 거부될 수 있음 (Zookeeper) 데이터의 정확성과 신뢰성이 중요한 곳에서 적합하다. 특히 금융 시스템에서 쓰인다....
Consistency Model 분산 컴퓨팅에서 일관성 모델은 분산 시스템 내 데이터의 일관성을 유지하기 위한 규칙과 매커니즘을 정의해둔 것이다. 이는 분산 환경에서 데이터가 여러 노드에 걸쳐 저장되고 처리되는 상황에서 발생 가능한 데이터의 불일치를 해결하거나 최소화하기 위한 것이다. 분산 시스템의 설계는 CAP이론과 같은 제약 속에서 일관성, 가용성, 분할 내성을 균형 있게 고려해야한다. Strong Consistency 모든 클라이언트가 동일한 시점에 동일한 데이터를 보장받는다. 즉, 특정 노드에서 데이터를 업데이트하면 모든 노드가 즉시 해당 변경을 반영하는 모델이다. 데이터의 정확성과 신뢰성이 높다....
테이블 스캔 방식에 따른 DB Block IO 전략 데이터베이스가 쿼리에서 요구하는 데이터를 검색하기 위해 테이블에 접근하는 방식의 종류는 다양하다. 가장 주요하고 크게는 인덱스를 활용하는지에 따라 갈리고, 인덱스를 어떤 방식으로 스캔할지에 대해서도 종류가 나뉜다. 각 스캔 방식들은 내부 작동 방식에 따라 서로 다른 Block IO 전략을 가지게 되는데, 이러한 내부 작동의 차이를 이해하면 왜 DB가 해당 방식을 사용했는지에 대한 이해도를 높일 수 있다. Block IO 데이터베이스에서 IO를 하는 단위를 Block으로 하기 때문에, DB 엔진에 따라 1회의 IO에서 8KB내지 16KB의 데이터를 불러온다....
NixOS NixOS 는 리눅스 배포판 중 하나로, 평소 잘 아는 Debian, Red Hat(RHEL) 등과는 별도의 계열을 가지는 배포판이다. Nix 패키지 관리 시스템 을 기반으로 설계되어, 아래와 같은 특성을 가진다. 재현성: 소프트웨어 패키지를 격리된 환경에서 빌드하고, 의존성을 통제해 높은 재현성을 확보한다. 실제 작성 시에도 외부 패키지들의 버전을 세밀하게 기록하여 재현에 차질이 없도록 한다. 선언적: 소프트웨어 패키징에 특화된 선언적 프로그래밍 언어 Nix를 사용한다. 신뢰성: 한 패키지를 업데이트하는 일이 다른 패키지를 망가뜨리지 않도록 보장한다....
Serf 서비스 디스커버리 라이브러리이다. 유명한 서비스들인 Consul, ZooKeeper 등과 비교하였을 때에 더욱 코어한 로직이 담긴 라이브러리이다. 실제로 하시코프에서는 Consul을 서비스하기 위해 내부적으로 Serf를 사용하고 있다. 서프의 큰 특징 중 하나는 중앙 집중식 레지스트리 아키텍쳐를 띄지 않는다는 것이다. 서프를 이용해 서비스되고 있는 Consul의 경우는 중앙 집중식 아키텍쳐를 띄고 있는데, Serf는 그렇지 않음에 유의해서 보면 좋다. Serf는 서비스 디스버리에 포함되는가? Serf가 Consul 등 서비스 디스커버리의 핵심적인 기능들을 포함하는 것은 맞지만, 실제로 서비스 디스커버리 포함된다고 말하기는 어렵다....
Logging 로깅은 프로그래밍 전반에 걸쳐 매우 중요하게 여겨지는 요소이다. 실제 핵심적인 로직에 반영되는 것은 아니지만, 안정적이고 에러에 강한 프로그램을 만들기 위해서라면 로그는 분명 필요하다. Why we log 왜 로깅이 필요한지 돌이켜 생각해보면, 컴퓨터가 처음 만들어지는 시대로 돌아가야 한다. 우리는 전기 신호를 통해 특정 연산을 수행하는 작은 장치들을 통해, 인간이 수작업으로 진행해야 했던 일들을 점차 자동화해나가기 시작했다. 그러나 전기 신호는 가시성은 있으나 가독성이 없어, 단순한 전기 신호만으로는 해당 프로그램이 어떤 작업을 수행하고 있는지 파악하기 매우 어렵다....
ref: https://blog.siner.io/2021/12/26/garbage-collection/ Mark-and-Sweep 전통적인 가비지 컬렉션 기법 중 하나. 프로그램 실행 중 동적으로 할당된 메모리들에 대해 주기적으로 sweeping을 진행하며 메모리를 관리함. 과정 Mark: 프로그램이 도달할 수 있는 모든 객체에 대해 탐색을 시작하며(유향그래프 형태), 직접 또는 간접적으로 참조 가능한 객체에 “표시"를 남긴다. 이는 트리 탐색과 비슷한 형식으로 이루어지며, 모든 루트 객체에서 시작해 연결된 객체를 찾아나가는 과정을 거친다. mark 단계에서 root set 전체를 순회하며 flag를 ‘사용중’상태로 설정한다. 현재 참조가 되어 있는 객체들은 모두 ‘사용중’ flag를 가지게 된다....
Multiplexing 정리 별 생각 없다가, 어제 디코에서 아우슥 사람들 얘기 듣다 보니 나도 헷갈려서 다시금 정리한다. Encap, Decap에 대한 개념을 시작으로 이어진 얘기였지만 결국 Multiplexing에 대한 내용을 정리하는 것으로 한다! 그렇게 되면 내용을 컴퓨터 일반으로 빼서 고민하는 것이 좋았겠지만, 주로 논의되는 곳이 네트워크 단에서이고 이 글을 쓰게 된 발단이 네트워킁 이야기이므로 이곳에 정리한다. Multiplexing in logic design 한국어로 다중화, 처음 만난 것은 논리 설계 수업이었다. 멀티플렉서 멀티플렉서(multiplexer) 또는 mux는 여러 아날로그 또는 디지털 입력 신호 중 하나를 선택하여 선택된 입력을 하나의 라인에 전달하는 장치이다....
V8-isolate study 결국 독립적인 heap 메모리 할당, GC 등을 통하여 독립적인 실행 환경을 구성하도록 해준다. https://github.com/nodejs/node/blob/main/src/node_worker.cc 위 파일에서 확인 시 Node.js의 worker_thread 또한 내부적으로 v8-isolate를 사용하여 구현된 것을 알 수 있는데, 그렇기에 동작이 매우 유사하다. 경량 스레드 경량 스레드는 (Light weight thread) 는 일반적인 스레드와 달리 운영체제 커널에서 관리되지 않고 유저 레벨에서 관리되는 스레드이다. 효율적인 멀티스레딩 환경을 제공하고, 커널의 간섭 없이 애플리케이션 수준에서 이를 스케쥴링 및 컨텍스트 스위칭을 할 수 있도록 한다....
Go goroutine, JAVA virtual thread, Node.js worker_thread 공통점 경량 스레드 이들 모두 경량 스레드 또는 작업 단위로서 동작한다. 즉, 전통적인 운영체제의 스레드보다 훨씬 적은 비용으로 생성되고 스케쥴링될 수 있다. 실제 운영체제 스레드보다 메모리 사용량이 적고, 컨텍스트 스위칭 비용이 적다. 동시성 지원 모두 동시성 프로그래밍을 지원하며, 여러 작업을 비동기적으로 실행하여 프로그램의 응답성을 높인다. 복잡한 병렬 처리나 비동기 작업을 더 쉽게 관리할 수 있도록 한다. 비동기적 실행 병렬 작업을 스케쥴링하고 비동기적으로 실행할 수 있다....