브렌쏭의 Veritas_Garage

Kubernetes 아키텍처쿠버네티스를 처음 접하면 보통 이렇게 생각한다. “이게 대체 뭐야...?”컨테이너를 띄우는 건 알겠는데, 그게 왜 이렇게 복잡하게 생겼는지 감도 안 온다. 그러나 한번 구조를 뜯어보면, 꽤 치밀한 설계와 자동화의 미학이 보이기 시작한다. 요컨대, 사람이 손대지 않아도 ‘어떻게든 굴러가게’ 해주는 구조다.이름하여, 제어와 실행의 분업 사회쿠버네티스는 크게 두 부분으로 나뉜다. Control Plane, 그리고 Worker Node. 전자는 “야 거기 Pod 좀 띄워봐”라고 명령하는 사무실 과장님이고, 후자는 땀 흘리며 진짜로 띄우는 현장직이다.Control Plane의 핵심은 kube-apiserver. 이놈은 모든 요청이 거쳐 가는 관문이다. 사람이든 기계든 말 걸려면 여기부터..

쿠버네티스를 제대로 이해하기 위한 개념 정리 요즘 인프라 쪽 공부하면서 쿠버네티스(Kubernetes)에 대해 정리할 필요를 느꼈다.대충 뭔지도 알고 쓰라면 쓰겠는데, 설명하라면 곤란한 느낌의 뭐시기이므로... 일단 기록.🚀 쿠버네티스란?간단히 말해, 컨테이너 여러 개를 잘 배치하고, 잘 굴러가게 도와주는 시스템이다.자동으로 배포하고, 필요할 땐 늘리고, 문제 생기면 다시 띄워준다.우리가 원하는 상태를 선언해두면, 그 상태를 맞춰주려고 애쓰는 녀석이다.🏗️ 클러스터 Control Plane: 전체 클러스터의 브레인 kube-apiserver: 모든 요청의 중심 etcd: 현재 상태 저장소 scheduler: 어디에 Pod를 띄울지 결정 controll..

추론 통계 Inferential Statistics추론 통계란?수집된 자료를 분석하여 모집단에 대한 결론을 도출하는 통계적 방법표본에서 얻은 통계량을 이용하여 모집단의 특성을 추론하는 방법모집단 (Population): 연구 대상 전체표본 (Sample): 모집단의 일부분모수 (Parameter): 모집단의 특성을 나타내는 수치통계량 (Statistic): 표본의 특성을 나타내는 수치추론 통계의 한계표본을 통해 모집단의 특성을 추론하는 것은 불확실성을 동반한다.표본의 특성이 모집단의 특성과 일치하지 않을 수 있다.표본의 크기가 작을수록 추정치의 신뢰도가 낮아진다.시간적, 공간적 변화로 인해 모집단의 특성이 변할 수 있다.표본 추출 방법에 따라 추정치가 달라질 수 있다.추론 통계의 기본 개념통계적 가설검정..

통계란, 수집된 자료에 대해 수치적으로 처리하고 연구하는 과정기술 통계와 추론 통계가 있다기술통계 (서술 통계, Descriptive statistics)수집한 데이터를 요약, 묘사, 설명하는 통계 기법자료의 요약된 정보를 대푯값(Representative value)으로 표현한계자료의 대표 특성을 확인할 수 있다.통계 없이는 대용량의 자료를 설명할 방법이 없다.자료의 자세한 정보는 확인할 수 없다.자료의 세세한 정보는 통계의 관심사가 아니다.통계적 수치(통계량)중심에 대한 통계산포에 대한 통계관계에 대한 통계형태에 대한 통계중심: 자료의 대표적인 값평균, 중앙값, 최빈값산포: 자료의 흩어진 정도분산, 표준편차, 범위관계: 자료 간의 관련성상관계수, 회귀분석 (Correlation, Regression)..

쿠키와 세션HTTP(HyperText Transfer Protocol)HTML 문서와 같은 리소스들을 가져올 수 있도록 해주는 프로토콜(규칙, 약속)웹에서 이루는 모든 데이터 교환의 기초비연결지향(connectionless) : 서버는 응답 후 접속을 끊음무상태(stateless) : 접속이 끊어지면 클라이언트와 서버 간의 통신이 끝나며 상태를 저장하지 않음Cookie(쿠키)HTTP 쿠키 : 클라이언트의 로컬에 저장되는 "키-값"의 작은 데이터 파일세션을 유지하는 방식 중 가장 대표적인 방식클라이언트 측 저장: 쿠키는 사용자의 브라우저에 저장되는 작은 데이터 조각입니다.세션 ID 저장: 사용자를 식별하기 위한 고유한 값을 저장하며, 이를 통해 서버는 사용자를 식별하고 상태를 유지합니다.전송 방식: 이후 ..

RAG 구성을 위한 ElasticSearch 활용ElasticSearch: 실시간 분산 검색 및 분석 엔진분산형 구조를 통해 대량의 데이터를 실시간으로 검색하고 분석할 수 있습니다.RESTful API를 지원하여 다양한 언어로 쉽게 접근할 수 있습니다.검색 엔진으로 사용되는 것이 주 목적이지만, 데이터 분석에도 활용됩니다.Vector와 Similarity를 활용하여 유사도 검색이 가능합니다.ELK: ElasticSearch, Logstash, Kibana의 약자Logstash: 다양한 소스에서 데이터를 수집하고 변환하여 ElasticSearch로 전송하는 서비스Kibana: ElasticSearch에서 수집된 데이터를 시각화하고 관리하는 서비스Tokenizer와 AnalyzerTokenizer: 문장을 ..

Django, Python, WebDjangoD는 묵음이야Django는 파이썬으로 작성된 오픈 소스 웹 어플리케이션 프레임워크이다.Django는 웹 개발을 빠르게 하고, 웹 개발을 하는데 필요한 많은 것들을 제공한다.프론트엔드, 백엔드를 모두 지원한다.ORM(Object-Relational Mapping)을 지원한다.MVT 패턴(Model, View, Template) 패턴을 사용한다.Django는 MTV 패턴을 사용한다.Model: 데이터베이스를 정의한다.Template: 사용자가 보게 될 화면을 정의한다.View: Model과 Template 사이의 상호작용을 관리한다.Admin 사이트를 제공한다.Elegant URL Design을 제공한다.각 URL 형태를 파이썬 함수나 클래스에 직접 연결 가능하다..

SIMD 명령어로 벡터 검색 가속화원문 Accelerating vector search with SIMD instructionsTake a look at the low-level primitives used in Lucene's vector search, how they reliably compile at runtime to SIMD instructions –– such as AVX instructions on x64 and NEON instructions on AArch64 ––...www.elastic.co  작성자: Chris Hegarty2023년 6월 27일오랫동안, 자바 플랫폼에서 실행되는 코드는 HotSpot C2 컴파일러에서 여러 스칼라 연산을 SIMD(Single Instruction M..

엘라스틱서치의 벡터 검색: 설계 이면의 논리ElasticSearch가 벡터 검색을 지원하는 방법 Vector search in Elasticsearch: The rationale behind the designThere are different ways to implement a vector database, which have different trade-offs. In this blog, you'll learn more about how vector search has been integrated into Elastisearch and the trade-of...www.elastic.co  작성자: Adrien Grand2023년 7월 5일엘라스틱서치의 벡터 검색의 특성과 설계가 어떻게 이루어졌는지 ..

LogStash무료 개방형 서버의 데이터 처리 파이프라인인Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후자주 사용하는 저장소로 전달합니다.Logstash의 구성요소입력, 필터, 출력Logstash는 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송한다.grok을 이용해 비구조적 데이터에서 구조를 도출하여IP 주소에서 위치 정보 좌표를 해독하고,민감한 필드를 익명화하거나 제외시키며,전반적인 처리를 손쉽게 수행할 수 있다.INPUT모든 형태, 크기, 소스의 데이터 수집데이터는 여러 시스템에 다양한 형태로 보관된 경우가 많다.Logstash는 일반적인 다수의 소스에서 동시에 이벤트를 가져오는 다양한 입력을 지원한다.로그, 메트릭, 웹 애플리케이션, 데이터 저장소 등, 모두 지속적..