Database/ETL-Nifi2 Nifi UI Nifi UI는 아래 섹션별로 구성되어 있다 Components Toolbar Navigate Palette Operate Palette Canvas Components 항목 1. Processor 아이콘을 캔버스에 드래그해 프로세서를 추가한다 nifi의 핵심기능인 데이터를 추출, 변환, 정제, 적재하는 작업을 수행할 수 있다 2. Input Port 데이터를 프로세스 그룹으로 전송하기 위한 매터니즘을 제공한다. Nifi가 안전하게 실행되도록 구성된 경우 적절한 사용자에 대한 엑세를 제한한다 3. Output Port 프로세스 그룹에서 프로세스 그룹 외부의 대상으로 데이터를 전송하기 위한 메커니즘을 제공한다 포트는 대기열 역활을 하며, Nifi가 데이터를 가져올 때 해당 데이터는 들어오는 연결의 대기열에.. 2022. 7. 15. etl) 리눅스 환경에서 nifi 설치 및 실행 하나의 플랫폼에서 다른 플랫폼으로 빅데이터를 전달하는 작업은 쉬운 일이 아니다 통신, 데이터타입, 스키마, 스케줄 실패시 설정등 여러 가지 상황을 고려하며 소스를 짜야한다 하지만 이런 작업을 nifi는 사용자에게 시각적으로 한 번에 처리될 수 있게 여러 가지 기능을 제공해준다 apache nifi는 apache 재단의 오픈소스이다 시스템 간 데이터 이관(추출 -> 변환 -> 정제 -> 적재)을 위한 서비스를 만들기 위한 DataFlow를 시각적으로 보여준다 실시간 데이터 전송 가능하다 (Cron스케줄러, 즉시 전달 둘 다 가능하다) 현재 프로젝트에서 수행하고 있는 nifi를 설치하고 실행하는 작업을 하나씩 정리해 볼 생각이다 그럼, nifi를 리눅스 환경에서 설치하고 실행해보자 1. nifi 설치 wge.. 2022. 7. 10. 이전 1 다음
