[Spring] Spring Batch를 활용한 배치 프로세싱

💡 Spring Batch이란?

Spring Batch는 대량의 데이터를 처리하기 위한 경량화된 프레임워크로, 반복적인 작업을 수행하는 일괄 처리(Batch Processing) 작업을 효율적으로 처리할 수 있는 기능을 제공해준다.

 

기본적으로 로깅/추적, 트랜잭션 관리, 작업 처리 통계, 작업 재시작, 작업 건너뛰기, 리소스 관리 등 대용량 데이터를 처리하는데 필수적인 기능을 제공해준다.

 

또한 최적화 및 파티셔닝 기술을 통해 대용량 및 고성능 배치 작업을 가능하게 하는 고급 기술 서비스를 제공해주기도 한다.

 

• 배치 프로세싱이란?
  • 여러 개의 데이터베이스 쿼리나 트랜잭션을 그룹화하여 한 번에 처리하는 기술
  • 즉, 사용자에게 빠른 응답이 필요하지 않은 서비스에 적용할 수 있다.
•  

 

 

 

✈️ Spring Batch의 장점

1. Chunk 기반 작업 처리

• Spring Batch를 사용하면 Chunk 기반의 처리 모델을 사용하여 데이터를 작은 단위의 Chunk로 나누고 각 Chunk를 순차적 혹은 병렬적으로 처리할 수 있다.
• Chunk 단위로 데이터를 커밋할 수 있기 때문에 해당 작업이 실패할 시 해당 Chunk만 롤백하고 재처리할 수 있는 용이성을 제공해준다.
• 메모리 사용량을 관리하고 처리 속도를 최적화하는데 상당한 도움을 준다.

2. 효율적인 대용량 데이터 처리 가능

멀티 쓰레드, 병렬 처리, 원격 분산 처리를 포함한 고급 배치 처리 기능을 지원하여 대규모 데이터를 효율적으로 신속하게 처리할 수 있으며, 시스템 리소스 또한 효율적으로 활용할 수 있게 도와준다.

3. 세부적인 작업 처리 가능

실패한 배치 작업을 자동으로 재시작하거나, 특정 조건에 따라 데이터를 건너뛸 수 있는 기능을 제공해줍니다.

4. 쿼리 그룹화 처리

데이터베이스와의 효율적인 상호 작용을 위해 JDBC 배치 연산을 사용하여 여러 개의 쿼리를 하나의 배치로 그룹화하여 처리해준다.

이를 통해 네트워크 비용을 줄이고, 데이터베이스의 커넥션 사용을 최적화하여 전체 처리 성능을 향상시킬 수 있다.

 

 

 

 

💡 주요 구성 요소

Spring Batch는 Job과 Step이라는 두 가지 주요 구성 요소로 나뉜다.

• Job: 여러 Step으로 구성된 배치 작업의 단위
• Step: Job 내의 개별 작업 단위로, 데이터를 읽고 처리하며 쓰는 역할 수행
  • Tasklet: Step 내에서 단일 작업을 처리할 수 있도록 도와주는 컴포넌트
  • Chunk 기반 처리: 대량 데이터를 일정 크기의 묶음으로 처리하는 방식
  • 병렬 처리 : 여러 Step을 병렬 실행하거나, 한 Step에서 여러 스레드를 활용하는 등 동시 데이터 처리를 단축

 

1. Chunk 기반 처리

스프링 배치에서는 데이터를 작은 단위(Chunk)로 나누어 처리한다. 데이터를 한 번에 모두 처리하지 않고, 일정량의 데이터를 처리한 후 그 결과를 저장함으로써 시스템의 안정성과 성능을 높일 수 있다.

• Chunk는 데이터의 묶음으로, 데이터를 소스에서 한 건씩 읽어들인 후, 처리한 데이터를 일정량이 될 때까지 저장하지 않고 유지하다가 Chunk가 완성되면 일괄적으로 저장한다.

Chunk 처리 흐름

Chunk 기반 처리의 기본적인 흐름은 다음과 같다:

• 읽기(Read): 소스(파일, 데이터베이스 등)에서 한 번에 한 건씩 데이터를 읽어온다.
• 처리(Process): 읽어온 데이터를 가공하거나 변환하는 작업을 수행한다.
• 쓰기(Write): 일정 크기의 Chunk가 완성되면, 처리된 데이터를 일괄 저장한다.

Chunk 크기 설정

Chunk 크기는 개발자가 조정할 수 있다. Chunk 크기가 작을수록 자주 데이터를 저장하므로 안정성은 높아지지만 성능이 떨어질 수 있다. 반면, Chunk 크기가 클수록 성능이 높아지지만 오류 발생 시 재처리해야 할 데이터가 많아진다.

 

 

2. 병렬 처리

Spring Batch는 대량 데이터를 처리할 때 병렬 처리 기능을 제공한다. 병렬 처리를 통해 여러 스레드 또는 프로세스가 동시에 데이터를 처리하여, 처리 시간을 단축할 수 있다.

병렬 처리 방식

• 멀티스레드 처리: 하나의 Step에서 하나의 데이터셋을 여러 스레드를 사용하여 동시에 데이터를 처리한다.
• 병렬 단계 처리: 여러 Step을 동시에 병렬로 실행하여 서로 다른 데이터를 처리할 수 있다. 이는 Step이 독립적인 경우에 적합함
• Partitioning: 하나의 Step에서 하나의 데이터셋을 파티션으로 나누어 각 파티션을 병렬로 처리하는 방식. 이를 통해 단일 데이터 소스를 여러 스레드 또는 프로세스에서 동시에 처리할 수 있다.

 

- 멀티스레드 처리는 하나의 데이터 셋을 여러 스레드가 처리하는 방식
- 파티셔닝은 하나의 데이터 셋을 독립적으로 분리시켜서 처리하는 방식이다.

 

 

트랜잭션 관리 및 오류 복구

Spring Batch는 각 Chunk를 트랜잭션 단위로 처리한다.

데이터를 처리하는 도중에 오류가 발생하면 해당 Chunk의 모든 작업이 롤백되고, 이전에 커밋된 데이터는 영향을 받지 않는다. 이를 통해 데이터의 일관성을 보장할 수 있다.

재시작 및 오류 복구

배치 작업이 중간에 중단되더라도, Spring Batch는 작업 상태를 기록하여 재시작 가능한 구조를 제공한다.

배치 작업을 재시작하면, 중단된 지점부터 이어서 작업을 수행한다.

 

 

 

깨알 정보

1. JDBC와 JPA에 대한 배치 테스트 시 JDBC가 JPA에 비해 성능이 더 좋다.

 

insert할 데이터가 10만건이 넘어간다면 JDBC 고려해보는 게 좋은 것 같다.

bulk insert나 bulk delete 때리는데 굳이 jpa로 객체로 다루는게 비효율적일때가 많기에

 

참고

https://velog.io/@ktf1686/Spring-Spring-Batch%EB%9E%80

https://velog.io/@ktf1686/Spring-Spring-Batch-Amazon-SQS-%EC%A0%81%EC%9A%A9%ED%95%B4%EB%B3%B4%EA%B8%B0

https://velog.io/@ksngh/SPRING-BATCH-%EC%99%80-kafka-1