하나의 플랫폼에서 다른 플랫폼으로 빅데이터를 전달하는 작업은 쉬운 일이 아니다
통신, 데이터타입, 스키마, 스케줄 실패시 설정등 여러 가지 상황을 고려하며 소스를 짜야한다
하지만 이런 작업을 nifi는 사용자에게 시각적으로 한 번에 처리될 수 있게 여러 가지 기능을 제공해준다
apache nifi는 apache 재단의 오픈소스이다
시스템 간 데이터 이관(추출 -> 변환 -> 정제 -> 적재)을 위한 서비스를 만들기 위한 DataFlow를 시각적으로 보여준다
실시간 데이터 전송 가능하다 (Cron스케줄러, 즉시 전달 둘 다 가능하다)
현재 프로젝트에서 수행하고 있는
nifi를 설치하고 실행하는 작업을 하나씩 정리해 볼 생각이다
그럼, nifi를 리눅스 환경에서 설치하고 실행해보자
1. nifi 설치
wget https://archive.apache.org/dist/nifi/1.15.3/nifi-1.15.3-bin.tar.gz
2. 압축해제
tar -xvzf nifi-1.16.3-bin.tar.gz
3. 자바 PATH 확인
alternatives --config java
4. nifi-env.sh 설정
- nifi-env.sh 열기
vi /home/user/nifi/bin/nifi-env.sh
- 환경변수 등록
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre
5. nifi.properties 설정
- nifi.properties 열기
vi /home/user/nifi/conf/nifi.properties
- https 설정
nifi.web.https.host=***.**.***.***
nifi.web.https.port=19000
6. 필요한 Lib 복제
> /home/user/nifi/lib
# 해당 위치에 사용할 lib 파일들을 복사해둔다.
#ex) Jdbc Driver : ojdbc7.jar, postgresql-42.1.4.jar, sqljdbc42.jar
7. 프로세스 기동
#확인
/home/user/nifi/bin/nifi.sh status
# 기동
/home/user/nifi/bin/nifi.sh start
8. 로그 확인
vi /home/user/nifi/logs/nifi-app.log
# Generated Username / Password 찾아서 초기 로그인
9. URL 접속
10. 설정한 ID, PW 접속하면
nifi 설치가 되어 접속완료된 것을 확인할 수 있다
댓글