file to db1 Spring batch) 대용량 처리를 위한 배치 전략 Spring batch를 사용해서 대용량 데이터에 대한 file to db insert 작업을 수행했다 기존 프로젝트 레퍼런스가 존재하지 않았고 검색 시 spring boot와 jpa 자료는 쉽게 찾아볼 수 있었지만 spirng 자료는 검색 시 활용하기 어려운 자료가 대부분이라 스프링 문서를 읽어가며 로직을 작성했다 사용 계기 처음엔 엑셀을 읽어 데이터를 list map형태의 파라미터로 만들어 서버로 보내 mybatis의 foreach를 사용해 bulk insert로 처리를 했다 시퀀스 처리와 postgresql에서의 dual 테이블이 제공되지 않아 조금 헤매었지만 몃번 시도 끝에 어렵지 않게 작성할 수 있았디 컬럼이 100개 내외에 row수가 5,000건 이상 되었을 때 isnert 작업이 6분 정도가.. 2022. 5. 2. 이전 1 다음
