본문으로 건너뛰기

데이터 수집 노드

한눈에 보기

데이터 수집 노드는 파이프라인의 출발점입니다. 데이터베이스, 외부 API, 메시지 채널, 공장 설비, 파일에서 데이터를 가져와 다음 노드로 넘깁니다. 입력 포트가 없고 출력 포트만 있으므로 항상 흐름의 맨 앞에 놓습니다. 파이프라인 빌더 왼쪽 팔레트의 「데이터 가져오기」 묶음에 10종이 있습니다.

무엇을 하는 노드인가​

파이프라인은 「가져오기 → 다듬기 → 분석 → 실행」 순서로 데이터를 흘려보냅니다. 데이터 수집 노드는 그 첫 단계로, 원본 시스템에 접속해 데이터를 읽고 다음 노드가 바로 사용할 수 있는 형식(표 데이터, 시계열, JSON)으로 내보냅니다.

노드를 캔버스에 놓고 선택하면 오른쪽 설정 패널에 연결 정보와 가져올 범위를 입력하는 칸이 나타납니다. 데이터베이스·Kafka·MQTT·OPC-UA 노드의 연결 칸은 서버 주소, 포트, 사용자 이름 등을 입력하는 연결 설정 양식이며, 연결 테스트 버튼으로 저장 전에 접속이 되는지 확인할 수 있습니다.

노드 목록​

팔레트 이름하는 일주요 설정출력
PostgreSQLPostgreSQL 데이터베이스에서 데이터를 가져옵니다데이터베이스 연결, 테이블 선택, 가져올 항목(비우면 전체), 한번에 가져올 양(기본 1000)표 데이터
MySQLMySQL 데이터베이스에서 데이터를 가져옵니다PostgreSQL 노드와 같음표 데이터
MSSQLMicrosoft SQL Server에서 데이터를 가져옵니다PostgreSQL 노드와 같음표 데이터
외부 API외부 시스템의 API를 호출해 응답을 가져옵니다주소(URL), 요청 방식(GET·POST·PUT·DELETE), 추가 설정(헤더), 보낼 데이터, 인증 방법(없음·API 키·토큰·아이디/비밀번호)JSON
Kafka 메시지Kafka 채널에서 실시간 메시지를 받습니다서버 연결, 채널 이름(토픽), 수신 그룹 이름, 처음부터 읽기JSON
IoT 센서MQTT 브로커에서 IoT 센서 데이터를 받습니다서버 연결, 채널 이름(토픽), 전달 보장 수준(0·1·2)JSON
공장 설비OPC-UA 프로토콜로 설비 데이터를 직접 읽습니다설비 서버 연결, 설비 센서 목록(노드 ID), 확인 주기(초), 보안 방식(없음·서명·서명+암호화)시계열
CSV 파일CSV 파일을 읽어 표 데이터로 바꿉니다파일(끌어다 놓기 업로드 또는 직접 입력), 구분 문자, 문자 인코딩(UTF-8·EUC-KR·CP949), 첫 줄이 항목 이름표 데이터
클라우드 저장소MinIO 또는 S3 저장소의 파일을 읽습니다저장소 이름(버킷), 파일 위치, 파일 종류(CSV·JSON·Parquet·이미지)모든 형식
시계열 데이터TimescaleDB에서 시간별 기록을 가져옵니다데이터베이스 연결, 시계열 테이블 이름, 시간 항목, 가져올 기간(최근 1시간~30일), 가져올 항목시계열
팔레트 검색

팔레트 위쪽 노드 검색 칸은 한글 동의어와 초성도 찾습니다. 「센서」를 입력하면 IoT 센서·시계열 데이터 노드가, 「ㅅㅅ」를 입력하면 초성이 맞는 노드가 나옵니다.

앞뒤로 무엇을 연결하나​

데이터 수집 노드에는 입력 포트가 없으므로 앞에 연결하는 노드는 없습니다. 뒤에는 출력 형식에 맞는 노드를 연결합니다.

출력 형식바로 연결할 수 있는 입력대표적인 다음 노드
표 데이터 (DB·CSV)표 데이터, JSON조건 필터, 데이터 합치기, 합계/평균
시계열 (OPC-UA·TimescaleDB)시계열, 표 데이터시간 간격 조정, 구간별 분석, 품질 이상 감지, 관리 차트
JSON (API·Kafka·MQTT)JSON연결 정보 자동 갱신, 알림 보내기

표 데이터를 시계열 전용 입력(시간 간격 조정, 품질 이상 감지, 관리 차트, 시계열 예측)에 바로 연결하면 파이프라인 검증에서 오류가 납니다. 시계열 분석이 목적이면 처음부터 공장 설비 또는 시계열 데이터 노드로 가져오는 편이 간단합니다.

사용 예: 설비 온도 이상 감시​

  1. 공장 설비 노드를 놓고 설비 서버 연결과 온도 센서 노드 ID 2개를 입력합니다. 확인 주기는 1초로 둡니다.
  2. 시간 간격 조정 노드를 연결해 1분 평균으로 묶습니다.
  3. 품질 이상 감지(품질 관리 묶음) 노드를 연결해 감지 규칙을 고릅니다.
  4. 이상 항목 출력을 알림 보내기 노드에 연결하고 받는 사람을 지정합니다.
  5. 툴바의 실행(Ctrl+Enter)으로 한 번 실행한 뒤, 하단 콘솔의 데이터 미리보기 탭에서 노드별 결과를 확인합니다.

실무 팁​

  • 가져올 항목을 처음부터 좁힌다. DB 노드의 「가져올 항목」을 비우면 테이블 전체 항목을 가져옵니다. 뒤에서 사용할 항목만 고르면 다음 노드의 설정 목록도 짧아집니다.
  • 연결 테스트를 먼저 누른다. 연결 정보가 틀리면 실행 단계에서야 오류가 납니다. 설정 패널의 연결 테스트로 미리 확인합니다.
  • 실행 로그의 SIMULATION 표시를 확인한다. 실행 환경에 해당 연결 드라이버가 준비되지 않은 경우 일부 수집 노드(MySQL·MSSQL·Kafka·MQTT·OPC-UA·클라우드 저장소)는 시뮬레이션 모드로 예시 데이터를 만들고, 실행 로그에 [SIMULATION] 문구를 남깁니다. 운영 전에 이 문구가 없는지 확인합니다.
  • 한글 CSV는 인코딩부터 맞춘다. 엑셀에서 저장한 CSV는 EUC-KR 또는 CP949인 경우가 많습니다. 글자가 깨지면 문자 인코딩 설정을 바꿉니다.
  • 실시간 채널은 수신 그룹 이름을 파이프라인마다 다르게 둔다. 같은 Kafka 채널을 여러 파이프라인이 읽을 때 그룹 이름이 같으면 메시지를 나눠 받게 됩니다.

관련 문서​