파이프라인 or ERD

자그마한 미니프로젝트를 진행하면서, 간단한 데이터 파이프라인을 그려보았다.

양식미 보다는 그냥 예쁨을 추구한 결과다

특이하다거나 기능이 많다던가 하는 구조는 아니므로, 간략하게 파워포인트로 만들어보았는데 나쁘진 않은거 같다. 물론 급하게 만든 거라 빠진 내용이 많다.

1. 파이프라인

데이터 파이프라인이란, 데이터가 생성되어 저장되기 까지의 일련을 흐름을 가리키는 길이라고 할 수 있다. 일단 아무것도 없는 상태에서, 데이터가 생성되고, 그 데이터를 수집한다. 수집된 데이터는 필요한 가공을 거쳐 저장하게 된다. 그리고나서 다시 저장된 데이터를 끌어와서 보여주는 시각화 과정까지 도달하게 되는 것이다.

1. 데이터 생성
2. 데이터 수집
3. 데이터 가공
4. 데이터 저장
5. 데이터 시각화

보통 저장되는 시점에서 가공처리를 동시에 하므로 두가지는 합쳐서 ETL이라고도 하는 모양이다. 여기는 데이터 분석, 수집을 전문으로 하는 애널리스트나 엔지니어의 영역이므로 스킵. 아직 내게는 이른 것이다... 보통 파이프라인을 그린다고 하면 그냥 내가 위에 만들어둔 개념도 처럼 아주 간략한 버젼의 흐름도를 말하는 거 같다.

2. ERD

이제 좀 더 복잡하고 구체적인 놈이다. 개념도라는 것이 이름 그대로 현실을 잘 갈무리해서 올바르게 개념도가 현실을 반영하도록 작성하는 것이므로, 그것만 잘하면 된다. 여기에는 일련의 공통 규칙이 있다. 표기법이 있다는 뜻이다.

뭔가 수메르어 같지만 넘어가자

ㅗㅜㅑ

정신이 아득해진다. 데이터베이스와 그 오고가는 흐름을 일종의 설계도처럼 양식에 맞춰 그리는 것인데, 기호들만 봐서는 전혀 모르겠다. 이걸 조합해서 공항에서 비행기를 탈때의 상황을 예시로 긁어왔다. 매우 간략한 버젼인거 같다.

매우.. 간략한... 버..젼...

그래서 이걸 뭐할때 쓰는건데 십덕아;; 라고 한다면,

업무를 시작하기 전에 한다. 이미 기존에 있는 데이터베이스를 정리하거나 데이터 흐름의 모식도같은 것을 알기 위함은 아니다. 그렇게 써도 되기야 하겠지만, 그런 상태의 데이터베이스라면 도망치는 것이 낫다.

1. 업무를 파악하고
2. 개념적으로 데이터들을 예상하고 관계를 구상하고
3. 구체적인 데이터 타입들을 넣어서 보다 자세한 논리적 데이터 모델링을 한다
4. 문제없이 잘 굴러갈거 같으면 이제 진짜로 물리세계에서 코딩을 하게 되는 것이다.

3. Entity

위에서 네모나 동그라미, 마름모등으로 표현된 것이 엔티티이다. 의미있는 정보의 단위를 뜻하며, 사람, 물건, 객체, 개념, 혹은 이벤트가 될 수도 있다. 하여간 데이터타입으로 수치를 재는것이 가능하다면 다 엔티티가 될 수 있다. 야 너두  ...  

4. Cardinality

이제 그 엔티티들을 잇는 선들이 카디널리티 들이다. 하나의 엔티티에서 발생가능한 데이터 발생 횟수를 정의하며, 그 외의 엔티티들과 연관되어서 영향을 줄수있는 발생횟수를 표시한다. 

• One to One Cardinality
• One to Many Cardinality
• Many to Many Cardinality
• Required or Selective

뭔소린지 모르겠다고? 나도 모르겠다 임마

https://inpa.tistory.com/entry/DB-%F0%9F%93%9A-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%AA%A8%EB%8D%B8%EB%A7%81-1N-%EA%B4%80%EA%B3%84-%F0%9F%93%88-ERD-%EB%8B%A4%EC%9D%B4%EC%96%B4%EA%B7%B8%EB%9E%A8

[DB] 📚 데이터 모델링 개념 및 📈 ERD 다이어그램 그리는법 (1:N 관계)

뭔가 휘황찬란한 티스토리 블로그에서 잘 설명이 되어있다. 

https://tutorialwing.com/er-diagram-in-dbms-components-symbol-and-notations/

ER Diagram in DBMS - Components, Symbol and Notations - Tutorialwing

참고자료.