반응형 itemreader2 [Spring Batch] ItemReader, Jsoup을 이용하여 네이버 증권 데이터 크롤링 (1) Spring Batch를 이용하여, 네이버 증권 데이터를 크롤링하는 예제 프로그램을 만들 예정이다. 목표 네이버 증권 - 국내증시 - 시가총액에 있는 항목들의 데이터를 크롤링하여 올 것이다. 1. Jsoup Depnency 추가 웹을 크롤링하여 올꺼기 때문에 Jsoup을 사용할것이다. 그래서 dependency에 Jsoup을 추가해 준다. dependencies { implementation("org.springframework.boot:spring-boot-starter-batch") testImplementation("org.springframework.boot:spring-boot-starter-test") testImplementation("org.springframework.batch:sprin.. 2022. 12. 28. [Spring Batch] itemReader, processor, Write 사용방법 ItemReader란 아이템 리더 사용@Slf4jpublic class StepCrawlingStockName extends AbstractPagingItemReader { @Setter private String naverFinanceUrl; @Override protected void doReadPage() { this.setPageSize(50); log.info("reader start. current page: {}", this.getPage() + 1); String url = naverFinanceUrl + "&page=" + (this.getPage() + 1); log.info("naver finance url: {.. 2022. 11. 7. 이전 1 다음 반응형
