파이프라인 빌더

데이터가 원자재에서 완제품이 되듯, 데이터도 수집 → 가공 → 분석 → 리포트까지 자동으로 흘러가는 컨베이어 벨트입니다.

난이도	주요 사용자
중급 (기본 데이터 흐름 이해 필요)	생산관리 담당자, 품질관리자, IT 관리자

왜 필요한가?

매일 아침 생산 실적을 집계하고, 품질 리포트를 만들고, 메일로 보내는 일을 수작업으로 하고 계신가요?

담당자가 매일 1.5시간 이상 소모
복사-붙여넣기 과정에서 데이터 오류 발생
담당자 휴가 시 리포트 중단

파이프라인으로 자동화하면 처리 시간 0분, 365일 무중단으로 바뀝니다.

잘 쓰면 이런 결과가!

Before	After	효과
수작업 데이터 집계 매일 2시간	파이프라인 자동 실행 0분	처리 공수 100% 절감
데이터 누락 월 5건	실패 알림 → 즉시 재처리	데이터 완전성 99.5%
장애 시 영향 범위 파악 4시간	의존 관계 즉시 파악 10분	장애 대응 96% 단축

시작하기

파이프라인을 처음 사용하시나요? 아래 3단계만 따라하면 됩니다.

1단계: 파이프라인 목록 페이지 접속

왼쪽 메뉴에서 파이프라인 빌더를 클릭하면 파이프라인 목록 화면이 나타납니다.

처음이라면

파이프라인이 하나도 없으면 온보딩 위저드가 자동으로 시작됩니다. 안내를 따라가면 3분 안에 첫 파이프라인을 만들 수 있습니다.

2단계: 새 파이프라인 만들기

우측 상단의 "+ 새 파이프라인" 버튼을 클릭합니다. 파이프라인 이름과 설명을 입력하면 캔버스 편집 화면으로 이동합니다.

3단계: 노드 배치 및 연결

캔버스에서 왼쪽 노드 목록을 드래그하여 배치하고, 노드 사이를 선으로 연결하면 데이터 흐름이 완성됩니다.

마치 공장에서 컨베이어 벨트 위에 공정을 배치하듯, 데이터가 흘러갈 경로를 눈으로 보며 설계합니다.

주요 기능

파이프라인 목록

/pipelines 페이지에 접속하면 내가 만든 파이프라인이 카드 형태로 나열됩니다.

이름: 파이프라인의 용도를 한눈에 알 수 있는 이름
상태: draft(초안) / active(가동 중) / paused(일시정지) / archived(보관)
버전: 수정할 때마다 버전이 올라가서 이전 상태로 되돌릴 수 있습니다
노드 수: 이 파이프라인이 몇 단계로 구성되어 있는지 표시

생성 / 복제 / 삭제

새로 만들기: 빈 캔버스에서 노드를 하나씩 배치
복사: 기존 파이프라인을 통째로 복제해서 빠르게 재활용 (가장 많이 쓰는 기능!)
삭제: 더 이상 필요 없는 파이프라인 정리

복사 활용법

"일일 생산실적 집계" 파이프라인을 복사해서 → 데이터 소스만 2공장으로 바꾸면 → "일일 생산실적 집계 (2공장)" 완성. 처음부터 만들 필요 없습니다.

실행 이력

과거 실행 결과를 시간순으로 확인할 수 있습니다.

성공/실패 여부: 한눈에 초록/빨강으로 구분
노드별 상세: 각 노드의 소요 시간, 처리 건수, 오류 메시지
재실행: 실패한 실행을 원클릭으로 재시도

온보딩 위저드

파이프라인이 하나도 없을 때 자동으로 시작 가이드가 표시됩니다. 처음 사용하는 분도 3분 안에 첫 번째 파이프라인을 만들 수 있습니다.

실무 팁

1. 이름에 업무 맥락을 담아라

// 나쁜 예
pipeline_001
test_pipeline

// 좋은 예
일일_생산실적_집계_2공장
주간_품질_SPC_리포트_사출라인

이름만 보고 "이게 뭐 하는 파이프라인이지?" 알 수 있어야 합니다. 6개월 뒤에 자기가 만든 파이프라인도 못 알아봅니다.

2. 실행 이력의 "실패" 패턴을 주간 리뷰하라

실패가 반복되는 파이프라인은 단순히 "또 에러났네" 가 아닙니다. 데이터가 누락되고 있다는 신호입니다.

같은 시간대에 반복 실패 → 데이터 소스 점검
특정 노드에서만 실패 → 해당 노드 로직 점검
간헐적 실패 → 네트워크/타임아웃 설정 점검

3. 파이프라인 간 의존 관계를 파악하라

파이프라인 A의 결과를 파이프라인 B가 입력으로 사용한다면, A가 실패하면 B도 잘못된 결과를 냅니다.

의존 관계가 있는 파이프라인은 실행 순서를 명확히 설정
A 실패 시 B를 자동으로 멈추는 의존성 설정 활용

실전 예시: 자동차 부품 공장 생산 실적 일보

Before (수작업)

매일 아침 7시, 생산관리 담당자가 하는 일:

MES에서 전날 생산 데이터 다운로드 (15분)
엑셀에 붙여넣기 후 피벗 테이블 가공 (30분)
불량률/가동률 계산 (20분)
리포트 양식에 맞춰 정리 (15분)
관련 부서에 메일 발송 (10분)

소요 시간: 1시간 30분 문제: 복사-붙여넣기 오류 월 2~3건, 담당자 휴가 시 리포트 중단

After (파이프라인 자동화)

매일 06:30 파이프라인 자동 실행
MES DB에서 데이터 자동 조회
집계/계산 노드에서 자동 가공
리포트 노드에서 자동 생성
알림 노드에서 슬랙/메일 자동 발송

소요 시간: 0분 (사람이 할 일 없음) 결과: 오류 0건, 휴가/주말/공휴일에도 무중단 발송

용어 사전

용어	뜻	쉬운 비유
Pipeline (파이프라인)	데이터가 흘러가는 전체 경로	공장의 컨베이어 벨트
Node (노드)	파이프라인 안의 각 처리 단계	컨베이어 벨트 위의 각 공정
Execution (실행)	파이프라인이 한 번 돌아간 기록	생산 1회분 기록
Draft (초안)	아직 테스트 중인 상태	시제품 단계
Active (가동 중)	정상 운영 중인 상태	양산 라인 가동 중
Paused (일시정지)	일시적으로 멈춘 상태	라인 점검 중
Archived (보관)	더 이상 사용하지 않는 상태	폐라인 보관

해보기: 실습 가이드

목표: "일일 생산실적 집계" 파이프라인을 직접 만들어 봅니다. 소요 시간 약 10분.

Step 1. 새 파이프라인 생성

왼쪽 메뉴에서 파이프라인 빌더를 클릭합니다.
우측 상단 "+ 새 파이프라인" 버튼을 클릭합니다.
이름에 일일_생산실적_집계_1공장을 입력합니다.
설명에 매일 06:30 MES 데이터를 집계하여 라인별 생산량/불량률 리포트 자동 발송을 입력합니다.
만들기 버튼을 클릭합니다.

Step 2. 데이터 소스 노드 배치

왼쪽 노드 목록에서 DB 조회 노드를 캔버스로 드래그합니다.
노드를 더블 클릭하여 설정 창을 엽니다.
데이터 소스: 생산실적 테이블을 선택합니다.
조회 조건: 생산일자 = 전일로 설정합니다.
저장을 클릭합니다.

Step 3. 집계 노드 연결

왼쪽 노드 목록에서 집계 노드를 캔버스로 드래그합니다.
DB 조회 노드의 출력 포트(오른쪽 원)에서 집계 노드의 입력 포트(왼쪽 원)로 선을 드래그하여 연결합니다.
집계 노드를 더블 클릭하여 설정합니다.
- 그룹 기준: 라인명
- 집계 항목: 생산량(합계), 불량수(합계), 가동시간(합계)
저장을 클릭합니다.

Step 4. 알림 노드 추가

알림 노드를 캔버스로 드래그합니다.
집계 노드와 알림 노드를 연결합니다.
알림 노드 설정:
- 채널: 이메일 또는 슬랙
- 수신자: 생산관리팀
- 제목: [1공장] 일일 생산실적 일보 - {날짜}
저장을 클릭합니다.

Step 5. 테스트 실행 및 확인

캔버스 상단의 테스트 실행 버튼을 클릭합니다.
각 노드가 순서대로 실행되면서 초록색으로 변하는 것을 확인합니다.
마지막 알림 노드까지 초록색이면 성공입니다.
실행 이력 탭에서 처리 건수, 소요 시간을 확인합니다.

테스트 실행 시 주의

테스트 실행은 실제 알림이 발송됩니다. 수신자를 본인으로 설정하고 테스트하는 것을 권장합니다.

축하합니다! 첫 번째 파이프라인이 완성되었습니다. 이제 스케줄 설정에서 "매일 06:30"을 지정하면 매일 자동으로 실행됩니다.

자주 묻는 질문

Q. 파이프라인 실행이 실패하면 데이터가 유실되나요?

아닙니다. 파이프라인은 실패해도 원본 데이터에 영향을 주지 않습니다. 실행 이력에서 실패 원인을 확인한 후 재실행 버튼을 클릭하면 처음부터 다시 실행됩니다.

Q. 파이프라인을 몇 개까지 만들 수 있나요?

제한 없이 만들 수 있습니다. 다만, 동시에 실행되는 파이프라인이 많으면 처리 속도에 영향이 있을 수 있으므로, 실행 시간이 겹치지 않도록 스케줄을 분산하는 것을 권장합니다. 예를 들어 06:00, 06:15, 06:30으로 나누어 설정하세요.

Q. 담당자가 퇴사하거나 부서 이동하면 파이프라인은 어떻게 되나요?

파이프라인은 개인이 아닌 조직에 귀속됩니다. 담당자가 바뀌어도 파이프라인은 계속 실행됩니다. 다만, 알림 노드의 수신자를 새 담당자로 변경하는 것을 잊지 마세요.

Q. 엑셀 리포트 양식을 그대로 파이프라인으로 옮길 수 있나요?

네, 가능합니다. 기존에 엑셀에서 하던 피벗, 집계, 수식 계산을 파이프라인의 집계 노드와 피벗 노드로 대체할 수 있습니다. 다만, 엑셀의 복잡한 서식(셀 병합, 조건부 서식 등)은 리포트 노드에서 별도로 설정해야 합니다.

Q. 파이프라인이 돌아가는 도중에 수정해도 되나요?

실행 중인 파이프라인은 수정할 수 없습니다. 현재 실행이 완료된 후에 수정하세요. 수정하면 새로운 버전이 생성되므로, 문제가 생기면 이전 버전으로 되돌릴 수 있습니다.

Q. 야간/주말에 실패하면 누가 알 수 있나요?

알림 노드에서 실패 알림을 설정하면, 파이프라인이 실패할 때 즉시 슬랙/메일/SMS로 통보됩니다. 3교대 공장의 경우, 교대별 담당자에게 각각 알림이 가도록 설정하는 것을 권장합니다.

Q. 공장이 여러 곳인데 같은 파이프라인을 쓸 수 있나요?

네. 복사 기능으로 기존 파이프라인을 통째로 복제한 뒤, 데이터 소스만 해당 공장의 DB로 변경하면 됩니다. "일일 생산실적 집계 (1공장)" → 복사 → 데이터 소스만 변경 → "일일 생산실적 집계 (2공장)" 완성입니다.

다음 단계

파이프라인 빌더를 익히셨다면, 다음 내용을 확인해 보세요.

다음 단계	설명	링크
파이프라인 템플릿	MES, SPC 등 업종별로 이미 만들어진 파이프라인을 활용하세요. 처음부터 만들 필요 없습니다.	파이프라인 템플릿
크론 스케줄러	파이프라인을 매일/매주 자동 실행되도록 예약하세요.	크론 스케줄러
알림 채널 설정	슬랙, 이메일, SMS 등 리포트가 발송될 채널을 설정하세요.	알림 설정
실전 예시 더 보기	다른 업종의 파이프라인 활용 사례를 확인하세요.	파이프라인 템플릿 > 실전 예시

왜 필요한가?​

잘 쓰면 이런 결과가!​

시작하기​

1단계: 파이프라인 목록 페이지 접속​

2단계: 새 파이프라인 만들기​

3단계: 노드 배치 및 연결​

주요 기능​

파이프라인 목록​

생성 / 복제 / 삭제​

실행 이력​

온보딩 위저드​

실무 팁​

1. 이름에 업무 맥락을 담아라​

2. 실행 이력의 "실패" 패턴을 주간 리뷰하라​

3. 파이프라인 간 의존 관계를 파악하라​

실전 예시: 자동차 부품 공장 생산 실적 일보​

Before (수작업)​

After (파이프라인 자동화)​

용어 사전​

해보기: 실습 가이드​

Step 1. 새 파이프라인 생성​

Step 2. 데이터 소스 노드 배치​

Step 3. 집계 노드 연결​

Step 4. 알림 노드 추가​

Step 5. 테스트 실행 및 확인​

자주 묻는 질문​

다음 단계​