브렌쏭의 Veritas_Garage

엘라스틱서치의 벡터 검색: 설계 이면의 논리ElasticSearch가 벡터 검색을 지원하는 방법 Vector search in Elasticsearch: The rationale behind the designThere are different ways to implement a vector database, which have different trade-offs. In this blog, you'll learn more about how vector search has been integrated into Elastisearch and the trade-of...www.elastic.co  작성자: Adrien Grand2023년 7월 5일엘라스틱서치의 벡터 검색의 특성과 설계가 어떻게 이루어졌는지 ..

LogStash무료 개방형 서버의 데이터 처리 파이프라인인Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후자주 사용하는 저장소로 전달합니다.Logstash의 구성요소입력, 필터, 출력Logstash는 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송한다.grok을 이용해 비구조적 데이터에서 구조를 도출하여IP 주소에서 위치 정보 좌표를 해독하고,민감한 필드를 익명화하거나 제외시키며,전반적인 처리를 손쉽게 수행할 수 있다.INPUT모든 형태, 크기, 소스의 데이터 수집데이터는 여러 시스템에 다양한 형태로 보관된 경우가 많다.Logstash는 일반적인 다수의 소스에서 동시에 이벤트를 가져오는 다양한 입력을 지원한다.로그, 메트릭, 웹 애플리케이션, 데이터 저장소 등, 모두 지속적..

Elastic Search의 특징전문 검색(Full Text Search)전문 검색이란, 특정 인덱스나 특정 필드(컬럼) 대신 여러개의 인덱스나 여러개의 필드를 함께 색인한다.전체에서 특정 단어가 포함된 문서를 검색하는 것이 가능하다.통계 분석비정형 로그 데이터를 수집하고 한곳에 모아 통계 분석을 할 수 있다.멀티테넌시 (Multi-teneancy)검색할 필드명으로 여러 개의 인덱스를 한번에 조회할 수 있다.여러개의 인덱스를 한번에 조회할 수 있어서, 여러개의 테넌트가 한 서버에 데이터를 저장하고 검색할 수 있다.역색인(Inverted index)역색인 구조를 통해서 특정 단어를 찾을 때 문서 전체에서 찾는 것이 아닌, 단어가 포함된 특정 문서의 위치를 알아내어 빠르게 결과를 찾아낼 수 있다.분산 환경C..

LangChain 🐦‍⛓️LangChain을 통해 Open AI, ElasticSearch 및 다양한 기술을 한 곳에서 활용LangChain: 다양한 기술을 연결하여 활용할 수 있는 플랫폼Open AI: GPT-3, Codex 등 다양한 인공지능 기술 제공ElasticSearch: 실시간 분산 검색 및 분석 엔진기타 기술: 다양한 기술을 통합하여 활용 가능LLM을 활용한 다양한 앱을 손쉽게 만들 수 있는 프레임워크LangSmith 🧙‍♂LangSmith is an all-in-one developer platform for every step of the LLM-powered application lifecycle,whether you’re building with LangChain or not.De..

Quantitative Prompt Engineering모호하고 복잡한 프롬프트를 만들어야 할 때, 어떻게 프롬프트를 만들어야 할까?어떤 단어를 사용하고 어떤 순서로 사용해야 할까?언어적 지식과 느낌을 조합하는 것이 중요한가? 혹은 경험적인 방법이 더 중요한가?신경망에 대한 비유우리가 신경망을 구축할 때, 직접 손으로 튜닝한 실수(float) 리스트에 대해 수동으로 for-loop을 작성하지는 않습니다.대신, PyTorch와 같은 프레임워크를 사용하여 선언적인 레이어(예: Convolution 또는 Dropout)를 구성하고,그런 다음 옵티마이저(예: SGD 또는 Adam)를 사용하여 네트워크의 파라미터를 학습합니다.마찬가지로 프롬프트 또한 정량적이고 기계적인 방식으로 조정할 수 있어야 합니다.재현 가능..

금융권 클라우드 플랫폼 동향퍼블릭 클라우드AWS, Azure, GCP 등의 퍼블릭 클라우드 서비스를 활용금융권에서는 보안 이슈로 인해 퍼블릭 클라우드 사용이 제한적카카오뱅크는 AWS를 사용하는 중프라이빗 클라우드금융권에서는 프라이빗 클라우드를 주로 사용자체 데이터센터를 보유하고 있는 금융권은 자체 프라이빗 클라우드를 구축하이브리드 클라우드금융권에서는 하이브리드 클라우드를 사용하는 경우도 있음금융권에서는 보안 이슈로 인해 퍼블릭 클라우드 사용이 제한적이기 때문에, 하이브리드 클라우드를 사용하는 경우도 있음하이브리드 클라우드는 퍼블릭 클라우드와 프라이빗 클라우드를 연결하여 사용하는 방식프라이빗 클라우드 구축단순히 자체 IDC를 구축하고 온프레미스로 서버를 운영하는 것이 아니라, 일종의 전용 클라우드 환경을 ..

ElasticSearch 🔍ElasticSearch is a distributed, RESTful search and analytics engine capable of solving a growing number of use cases.ElasticSearch: 실시간 분산 검색 및 분석 엔진Apache Lucene 기반 (분산 검색 엔진)RESTful API 지원데이터를 JSON 문서로 저장벡터 검색, 텍스트 검색, 구조화된 데이터 검색 등 다양한 검색 기능 제공Tokenizer, Analyzer, Token Filter 등 다양한 분석기능 제공데이터를 색인하고 검색하는 기능 제공 (ElasticSearch)데이터를 분석하고 시각화하는 기능 제공 (Kibana)You Know, for SearchTo..

전체 흐름 요약Istio Gateway가 클러스터 외부에서 들어오는 트래픽을 수신합니다.이 트래픽은 VirtualService에 의해 지정된 규칙에 따라 라우팅됩니다.DestinationRule은 라우팅된 트래픽에 대한 로드 밸런싱 및 연결 정책을 정의합니다.트래픽은 Kubernetes Service로 전달되며, 서비스는 트래픽을 적절한 포드(Pod)로 분산시킵니다.Deployment는 애플리케이션의 복제본을 관리하며, 정의된 포드들이 항상 실행되도록 보장합니다.HPA는 포드의 수를 애플리케이션 부하에 따라 동적으로 조정하여 성능을 최적화합니다.Pod는 실제 애플리케이션 인스턴스를 실행하고, 클라이언트 요청을 처리하여 응답을 생성합니다.이 과정을 통해 Istio와 Kubernetes의 여러 리소스가 함께..

Istio란? Istio는 쿠버네티스(Kubernetes)와 같은 마이크로서비스 아키텍처에서 네트워크 연결을 효율적으로 관리하기 위해 설계된 오픈 소스 서비스 메쉬(Service Mesh) 솔루션입니다. Istio를 도입하면 복잡한 분산 네트워크 환경에서 각 애플리케이션 간의 트래픽을 제어하고 보안을 강화하며, 로깅 및 모니터링을 쉽게 구현할 수 있습니다. 이를 통해 쿠버네티스의 복잡성을 줄이고, 애플리케이션 개발 및 운영을 간소화할 수 있습니다.Istio의 아키텍처Istio는 Data Plane과 Control Plane이라는 두 가지 주요 구성 요소로 나뉩니다.1. Data Plane실제로 애플리케이션 트래픽을 처리하는 부분으로, 각 서비스에 Sidecar 형태로 배포된 Envoy Proxy가 이 역..

Docker와 Kubernetes(K8s)는 모두 컨테이너 기술과 관련이 있지만, 서로 다른 역할과 목적을 가지고 있습니다.Docker란?Docker는 애플리케이션을 컨테이너화하는 기술을 제공하는 오픈 소스 플랫폼입니다. 컨테이너는 애플리케이션과 그 종속성을 패키지화하여 어디서나 일관되게 실행할 수 있는 표준화된 소프트웨어 단위입니다.주요 기능:컨테이너 생성 및 관리: Docker는 애플리케이션과 그 환경을 컨테이너로 패키징하고, 이 컨테이너를 다양한 환경(로컬, 서버, 클라우드)에서 실행할 수 있도록 합니다.이미지 생성: Docker 이미지를 생성하고, 이 이미지를 사용하여 동일한 환경에서 일관되게 컨테이너를 생성할 수 있습니다.컨테이너 레지스트리: Docker Hub와 같은 레지스트리를 통해 이미지를..