브렌쏭의 Veritas_Garage

추론 통계 Inferential Statistics추론 통계란?수집된 자료를 분석하여 모집단에 대한 결론을 도출하는 통계적 방법표본에서 얻은 통계량을 이용하여 모집단의 특성을 추론하는 방법모집단 (Population): 연구 대상 전체표본 (Sample): 모집단의 일부분모수 (Parameter): 모집단의 특성을 나타내는 수치통계량 (Statistic): 표본의 특성을 나타내는 수치추론 통계의 한계표본을 통해 모집단의 특성을 추론하는 것은 불확실성을 동반한다.표본의 특성이 모집단의 특성과 일치하지 않을 수 있다.표본의 크기가 작을수록 추정치의 신뢰도가 낮아진다.시간적, 공간적 변화로 인해 모집단의 특성이 변할 수 있다.표본 추출 방법에 따라 추정치가 달라질 수 있다.추론 통계의 기본 개념통계적 가설검정..

통계란, 수집된 자료에 대해 수치적으로 처리하고 연구하는 과정기술 통계와 추론 통계가 있다기술통계 (서술 통계, Descriptive statistics)수집한 데이터를 요약, 묘사, 설명하는 통계 기법자료의 요약된 정보를 대푯값(Representative value)으로 표현한계자료의 대표 특성을 확인할 수 있다.통계 없이는 대용량의 자료를 설명할 방법이 없다.자료의 자세한 정보는 확인할 수 없다.자료의 세세한 정보는 통계의 관심사가 아니다.통계적 수치(통계량)중심에 대한 통계산포에 대한 통계관계에 대한 통계형태에 대한 통계중심: 자료의 대표적인 값평균, 중앙값, 최빈값산포: 자료의 흩어진 정도분산, 표준편차, 범위관계: 자료 간의 관련성상관계수, 회귀분석 (Correlation, Regression)..

쿠키와 세션HTTP(HyperText Transfer Protocol)HTML 문서와 같은 리소스들을 가져올 수 있도록 해주는 프로토콜(규칙, 약속)웹에서 이루는 모든 데이터 교환의 기초비연결지향(connectionless) : 서버는 응답 후 접속을 끊음무상태(stateless) : 접속이 끊어지면 클라이언트와 서버 간의 통신이 끝나며 상태를 저장하지 않음Cookie(쿠키)HTTP 쿠키 : 클라이언트의 로컬에 저장되는 "키-값"의 작은 데이터 파일세션을 유지하는 방식 중 가장 대표적인 방식클라이언트 측 저장: 쿠키는 사용자의 브라우저에 저장되는 작은 데이터 조각입니다.세션 ID 저장: 사용자를 식별하기 위한 고유한 값을 저장하며, 이를 통해 서버는 사용자를 식별하고 상태를 유지합니다.전송 방식: 이후 ..

RAG 구성을 위한 ElasticSearch 활용ElasticSearch: 실시간 분산 검색 및 분석 엔진분산형 구조를 통해 대량의 데이터를 실시간으로 검색하고 분석할 수 있습니다.RESTful API를 지원하여 다양한 언어로 쉽게 접근할 수 있습니다.검색 엔진으로 사용되는 것이 주 목적이지만, 데이터 분석에도 활용됩니다.Vector와 Similarity를 활용하여 유사도 검색이 가능합니다.ELK: ElasticSearch, Logstash, Kibana의 약자Logstash: 다양한 소스에서 데이터를 수집하고 변환하여 ElasticSearch로 전송하는 서비스Kibana: ElasticSearch에서 수집된 데이터를 시각화하고 관리하는 서비스Tokenizer와 AnalyzerTokenizer: 문장을 ..

Django, Python, WebDjangoD는 묵음이야Django는 파이썬으로 작성된 오픈 소스 웹 어플리케이션 프레임워크이다.Django는 웹 개발을 빠르게 하고, 웹 개발을 하는데 필요한 많은 것들을 제공한다.프론트엔드, 백엔드를 모두 지원한다.ORM(Object-Relational Mapping)을 지원한다.MVT 패턴(Model, View, Template) 패턴을 사용한다.Django는 MTV 패턴을 사용한다.Model: 데이터베이스를 정의한다.Template: 사용자가 보게 될 화면을 정의한다.View: Model과 Template 사이의 상호작용을 관리한다.Admin 사이트를 제공한다.Elegant URL Design을 제공한다.각 URL 형태를 파이썬 함수나 클래스에 직접 연결 가능하다..

SIMD 명령어로 벡터 검색 가속화원문 Accelerating vector search with SIMD instructionsTake a look at the low-level primitives used in Lucene's vector search, how they reliably compile at runtime to SIMD instructions –– such as AVX instructions on x64 and NEON instructions on AArch64 ––...www.elastic.co  작성자: Chris Hegarty2023년 6월 27일오랫동안, 자바 플랫폼에서 실행되는 코드는 HotSpot C2 컴파일러에서 여러 스칼라 연산을 SIMD(Single Instruction M..

엘라스틱서치의 벡터 검색: 설계 이면의 논리ElasticSearch가 벡터 검색을 지원하는 방법 Vector search in Elasticsearch: The rationale behind the designThere are different ways to implement a vector database, which have different trade-offs. In this blog, you'll learn more about how vector search has been integrated into Elastisearch and the trade-of...www.elastic.co  작성자: Adrien Grand2023년 7월 5일엘라스틱서치의 벡터 검색의 특성과 설계가 어떻게 이루어졌는지 ..

LogStash무료 개방형 서버의 데이터 처리 파이프라인인Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후자주 사용하는 저장소로 전달합니다.Logstash의 구성요소입력, 필터, 출력Logstash는 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송한다.grok을 이용해 비구조적 데이터에서 구조를 도출하여IP 주소에서 위치 정보 좌표를 해독하고,민감한 필드를 익명화하거나 제외시키며,전반적인 처리를 손쉽게 수행할 수 있다.INPUT모든 형태, 크기, 소스의 데이터 수집데이터는 여러 시스템에 다양한 형태로 보관된 경우가 많다.Logstash는 일반적인 다수의 소스에서 동시에 이벤트를 가져오는 다양한 입력을 지원한다.로그, 메트릭, 웹 애플리케이션, 데이터 저장소 등, 모두 지속적..

Elastic Search의 특징전문 검색(Full Text Search)전문 검색이란, 특정 인덱스나 특정 필드(컬럼) 대신 여러개의 인덱스나 여러개의 필드를 함께 색인한다.전체에서 특정 단어가 포함된 문서를 검색하는 것이 가능하다.통계 분석비정형 로그 데이터를 수집하고 한곳에 모아 통계 분석을 할 수 있다.멀티테넌시 (Multi-teneancy)검색할 필드명으로 여러 개의 인덱스를 한번에 조회할 수 있다.여러개의 인덱스를 한번에 조회할 수 있어서, 여러개의 테넌트가 한 서버에 데이터를 저장하고 검색할 수 있다.역색인(Inverted index)역색인 구조를 통해서 특정 단어를 찾을 때 문서 전체에서 찾는 것이 아닌, 단어가 포함된 특정 문서의 위치를 알아내어 빠르게 결과를 찾아낼 수 있다.분산 환경C..

LangChain 🐦‍⛓️LangChain을 통해 Open AI, ElasticSearch 및 다양한 기술을 한 곳에서 활용LangChain: 다양한 기술을 연결하여 활용할 수 있는 플랫폼Open AI: GPT-3, Codex 등 다양한 인공지능 기술 제공ElasticSearch: 실시간 분산 검색 및 분석 엔진기타 기술: 다양한 기술을 통합하여 활용 가능LLM을 활용한 다양한 앱을 손쉽게 만들 수 있는 프레임워크LangSmith 🧙‍♂LangSmith is an all-in-one developer platform for every step of the LLM-powered application lifecycle,whether you’re building with LangChain or not.De..