Spring Boot/Batch5

• 

  [Batch] ItemWriter 데이터 쓰기 ItemWriter 소개 ItemWriter는 Spring Batch에서 사용하는 출력 기능입니다. Spring Batch가 처음 나왔을 때, ItemWriter는 ItemReader와 마찬가지로 item을 하나씩 다루었습니다. 그러나 Spring Batch2와 청크 (Chunk) 기반 처리의 도입으로 인해 ItemWriter에도 큰 변화가 있었습니다. 이 업데이트 이후 부터 ItemWriter는 item 하나를 작성하지 않고 Chunk 단위로 묶인 item List를 다룹니다. 이 때문에 ItemWriter 인터페이스는 ItemReader 인터페이스와 약간 다릅니다. Reader의 read()는 Item 하나를 반환하는 반면, Writer의 write()는 인자로 Item List를 받습니다. 이를 그.. Spring Boot/Batch 2022. 8. 8.

• 

  [Batch] ItemReader (JDBC,JPA) Spring 프레임워크의 강점 중 하나는 개발자가 비즈니스 로직에만 집중할 수 있도록 JDBC와 같은 문제점을 추상화한 것입니다. 이를 보고 서비스 추상화라고 합니다. 그래서 Spring Batch 개발자들은 Spring 프레임워크의 JDBC 기능을 확장했습니다. 일반적으로 배치 작업은 많은 양의 데이터를 처리해야 합니다. 보통 실시간 처리가 어려운 대용량 데이터나 대규모 데이터일 경우에 배치 애플리케이션을 작업합니다. 수백만 개의 데이터를 조회하는 쿼리가 있는 경우에 해당 데이터를 모두 한 번에 메모리에 불러오길 원하는 개발자는 없을 것입니다. 그러나 Spring의 JdbcTemplate은 분할 처리를 지원하지 않기 때문에 (쿼리 결과를 그대로 반환하니) 개발자가 직접 limit, offset을 사용하.. Spring Boot/Batch 2022. 8. 8.

• 

  [Batch] Execution 데이터 공유 스프링 배치에서는 데이터를 공유할 수 있습니다. BATCH_JOB_EXECUTION Job이 실행되는 동안 시작/종료 시간, job 상태 등을 관리 BATCH_JOB_EXECUTION_CONTEXT Job이 실행되며 공유해야할 데이터를 직렬 화해 저장 BATCH_STEP_EXECUTION Step이 실행되는 동안 필요한 데이터 또는 실행된 결과 저장 BATCH_STEP_EXECUTION_CONTEXT Step이 실행되며 공유해야할 데이터를 직렬 화해 저장 저번 글에서 적은 내용입니다. 위와같이 Job과 Step 에는 EXECUTION과 EXECUTION_CONTEXT 가 있습니다. 두 개가 데이터를 저장하는 역할을 합니다. 여기서 BATCH_JOB_EXECUTION_CONTEXT와 BATCH_STEP_E.. Spring Boot/Batch 2022. 7. 28.

• 

  [Batch] 메타데이터, 메타 테이블 이전글에서 간단하게 Spring Batch가 수행되게 구현해보았습니다. JobRepositoy db또는 메모리에 스프링배치가 실행할 수 있도록 배치 메타데이터로 관리하는 클래스입니다. 메타데이터는 나중에 더 자세히 알아보겠습니다. 여기에 이어지는 글입니다. 메타 데이터란, 데이터를 설명하는 데이터라고 보시면 됩니다. 위키피디아보다 나무위키가 더 설명이 잘되어있어 나무위키 링크를 첨부합니다 Spring Batch의 메타 데이터는 다음과 같은 내용들을 담고 있습니다. 이전에 실행한 Job이 어떤 것들이 있는지 최근 실패한 Batch Parameter가 어떤것들이 있고, 성공한 Job은 어떤것들이 있는지 다시 실행한다면 어디서 부터 시작하면 될지 어떤 Job에 어떤 Step들이 있었고, Step들 중 성공한 .. Spring Boot/Batch 2022. 7. 28.

• 

  [Batch] 스프링 배치 시작하기 배치란? 배치작업은, 데이터를 실시간으로 처리하는게 아니라, 일괄적으로 모아서 처리하는 작업을 의미한다. 가령, 하루동안 쌓인 데이터를 배치작업을 통해 특정 시간에 한꺼번에 처리하는 경우가 이에 해당한다. 은행의 정산작업과 같은 업무에서 이런 일괄처리를 수행하게 되며 사용자에게 빠른 응답이 필요하지 않은 서비스에 적용할 수 있다. 특정 시간이후에는 자원을 거의 소비하지 않는 것이 특징이다. 큰 단위의 작업을 일괄 처리 대부분 처리량이 많고 비 실시간성 처리에 사용 - 대용량 데이터 계산, 정산, 통계, 데이터베이스, 변환 등 컴퓨터 자원을 최대로 활용 - 컴퓨터 자원 사용이 낮은 시간대에 배치를 처리하거나 - 배치만 처리하기 위해 사용자가 사용하지 않는 또 다른 컴퓨터 자원을 사용 사용자 상호 작용으로 .. Spring Boot/Batch 2022. 7. 28.