데이터 처리 노드
한눈에 보기
데이터 처리 노드는 원본 데이터를 분석할 수 있는 모양으로 다듬는 노드입니다. 필요한 행과 항목만 남기고, 여러 데이터를 합치고, 빈 값을 채우고, 합계와 평균을 계산합니다. 팔레트의 「데이터 다듬기」 묶음에 15종이 있으며, 기본 다듬기(9종)와 고급 변환(6종)으로 나뉘어 표시됩니다.
무엇을 하는 노드인가
데이터베이스나 설비에서 가져온 데이터는 대개 그대로 분석에 넣을 수 없습니다. 필요 없는 항목이 섞여 있고, 같은 행이 중복되고, 숫자가 문자로 저장돼 있기도 합니다. 데이터 처리 노드는 이런 문제를 하나씩 맡아 고칩니다. 엑셀에서 필터·피벗·수식으로 하던 작업을 노드로 옮긴다고 보면 됩니다.
대부분의 노드는 표 데이터를 받아 표 데이터를 내보냅니다. 그래서 여러 노드를 순서대로 연결해 「필터 → 형식 변환 → 집계 → 정렬」처럼 단계를 쌓을 수 있습니다.
노드 목록
기본 다듬기
| 팔레트 이름 | 하는 일 | 주요 설정 |
|---|---|---|
| 데이터 합치기 | 두 개 또는 세 개의 데이터를 공통 항목 기준으로 합칩니다 | 합치는 방식(INNER·LEFT·RIGHT·FULL·3개 합치기), 왼쪽·오른쪽·세 번째 기준 항목 |
| 항목 선택 | 필요한 항목만 남기거나 선택한 항목을 뺍니다 | 선택 방법(남기기·제외하기), 항목 목록 |
| 조건 필터 | 조건에 맞는 행만 남깁니다 | 필터 조건(같다·다르다·크다·작다·이상·이하·포함·비어 있음·비어 있지 않음) |
| 합계/평균 | 그룹별로 합계·평균·개수·최대·최소를 계산합니다 | 묶을 기준 항목, 집계 규칙(항목·계산 방법·결과 이름) |
| 정렬 | 원하는 기 준으로 행을 정렬합니다 | 정렬 순서(기준 항목·오름차순/내림차순, 여러 개 가능) |
| 중복 제거 | 같은 데이터가 여러 번 있으면 하나만 남깁니다 | 중복 판단 기준, 남길 데이터(첫 번째·마지막) |
| 형식 바꾸기 | 숫자·문자·날짜·참/거짓 형식으로 변환합니다 | 변환 목록(대상 항목·변환 유형) |
| 빈 값 처리 | 빈 값을 채우거나 그 행을 지웁니다 | 처리 방법(행 삭제·지정값·이전 값·평균값·중간값으로 채우기), 채울 값, 대상 항목 |
고급 변환
| 팔레트 이름 | 하는 일 | 주요 설정 |
|---|---|---|
| 비정상 제거 | 평균에서 크게 벗어난 값을 찾아 분리합니다 | 탐지 방법(Z-Score·IQR·AI 자동 탐지), 민감도(기본 3), 검사할 항목 |
| 범위 맞추기 | 숫자 범위를 0~1로 맞추거나 표준화합니다 | 변환 방법(0~1·평균0/편차1·이상치에 강한 변환), 대상 항목 |
| 시간 간격 조정 | 시계열의 시간 간격을 바꿉니다 | 시간 항목, 목표 간격(1분·5분·15분·1시간·1일), 묶는 방법(평균·합계·최근 값·최대·최소) |
| 구간별 분석 | 시계열을 일정 구간으로 나눠 통계값을 계산합니다 | 구간 크기(기본 60), 이동 간격, 계산할 값(평균·표준편차·최대·최소·기울기·RMS) |
| 행→열 변환 | 세로로 나열된 데이터를 가로로 펼칩니다(피벗) | 기준 항목, 열로 펼칠 항목, 값 항목, 같은 값이 여러 개일 때(합계·평균·개수·최대) |
| 열→행 변환 | 가로로 펼친 데이터를 세로로 모읍니다(언피벗) | 그대로 둘 항목, 행으로 바꿀 항목, 이름 열 제목, 값 열 제목 |
| 계산식 | 기존 항목으로 계산식을 만들어 새 항목을 추가합니다 | 계산 공식(새 항목 이름·계산식, 여러 개 가능) |
비정상 제거 노드는 출력이 둘입니다. 정상 데이터는 「정상 데이터」 포트로, 걸러진 값은 「비정상 데이터」 포트로 나가므로 걸러진 값만 따로 알림이나 기록에 보낼 수 있습니다.
앞뒤로 무엇을 연결하나
- 앞: 데이터 수집 노드, 또는 다른 처리 노드. 데이터 합치기는 왼쪽·오른쪽 입력이 필수이고 세 번째 입력은 선택입니다.
- 뒤: 다른 처리 노드, ML 추론·AI 기능 노드, ERP/MES 기록·알림 같은 액션 노드.
| 노드 | 입력 | 출력 |
|---|---|---|
| 시간 간격 조정 | 시계열 | 시계열 |
| 구간별 분석 | 시계열 | 표 데이터 |
| 나머지 13종 | 표 데이터 | 표 데이터 |
시간 간격 조정과 구간별 분석은 시계열 입력만 받습니다. 표 데이터를 내보내는 DB 노드를 바로 연결하면 검증 오류가 나므로, 시계열 데이터·공장 설비 노드에서 시작합니다.
사용 예: 라인별 일일 생산 집계
- MySQL 노드로 생산 실적을, PostgreSQL 노드로 라인 정보를 가져옵니다.
- 데이터 합치기에 두 노드를 왼쪽·오른쪽으로 연결하고 기준 항목에 라인 코드를 지정합니다(LEFT).
- 조건 필터로 생산일자가 전일인 행만 남깁니다.
- 빈 값 처리로 불량 수가 비어 있는 행을 0으로 채웁니다.
- 합계/평균에서 묶을 기준을 라인명으로, 집계 규칙을 생산량 합계·불량 수 합계로 둡니다.
- 계산식으로
불량수 / 생산량 * 100항목을 불량률로 추가하고, 정렬로 불량률 내림차순 정렬합니다. - 마지막에 알림 보내기 또는 MES 기록 노드를 연결합니다.
실무 팁
- 필터를 앞에, 합치기를 뒤에. 행과 항목을 먼저 줄이고 합치면 뒤 노드가 다루는 양이 줄고, 결과 확인도 쉬워집니다.
- 형식부터 맞춘다. 문자로 저장된 숫자는 합계·계산식에서 기대와 다른 결과를 냅니다. 집계 앞에 형식 바꾸기 노드를 둡니다.
- 노 드마다 데이터 미리보기로 확인한다. 실행 후 노드를 선택하면 하단 콘솔의 데이터 미리보기 탭에 그 노드의 결과가 나옵니다. 행 수가 갑자기 줄었다면 필터 조건이나 합치는 방식을 먼저 봅니다.
- INNER와 LEFT의 차이를 확인한다. INNER는 양쪽 모두에 있는 행만 남기므로 기준 정보가 빠진 실적은 사라집니다. 누락이 없어야 하는 집계는 LEFT를 사용합니다.
- 같은 처리를 여러 파이프라인에서 반복한다면 파이프라인을 템플릿으로 저장(툴바의 「템플릿으로 저장」)해 재사용합니다.