반응형 프레임워크/Spring Boot8 [Spring Batch] ItemReader, Jsoup을 이용하여 네이버 증권 데이터 크롤링 (1) Spring Batch를 이용하여, 네이버 증권 데이터를 크롤링하는 예제 프로그램을 만들 예정이다. 목표 네이버 증권 - 국내증시 - 시가총액에 있는 항목들의 데이터를 크롤링하여 올 것이다. 1. Jsoup Depnency 추가 웹을 크롤링하여 올꺼기 때문에 Jsoup을 사용할것이다. 그래서 dependency에 Jsoup을 추가해 준다. dependencies { implementation("org.springframework.boot:spring-boot-starter-batch") testImplementation("org.springframework.boot:spring-boot-starter-test") testImplementation("org.springframework.batch:sprin.. 2022. 12. 28. [spring batch] Batch란? Spring Batch Spring Batch provides reusable functions that are essential in processing large volumes of records, including logging/tracing, transaction management, job processing statistics, job restart, skip, and resource management. It also provides more advanced tec spring.io spring batch란? batch는 일괄처리를 뜻한다. Spring Batch는 Spring의 특성을 그대로 가져왔다. DI, AOP, 서비스 추상화 등 Spring FrameWork의 3대 요소 모두 사용할.. 2022. 12. 28. [Spring Batch] itemReader, processor, Write 사용방법 ItemReader란 아이템 리더 사용@Slf4jpublic class StepCrawlingStockName extends AbstractPagingItemReader { @Setter private String naverFinanceUrl; @Override protected void doReadPage() { this.setPageSize(50); log.info("reader start. current page: {}", this.getPage() + 1); String url = naverFinanceUrl + "&page=" + (this.getPage() + 1); log.info("naver finance url: {.. 2022. 11. 7. [Spring boot] Test H2 DB설정 에러 Springboot 공부중 에러를 정리한 내용 에러상황 Spring boot Test를 위해서 Test용 application.properties를 만들어서 테스트 진행 application.properties에 입력된 내용 spring.jpa.show-sql=true spring.jpa.properties.hibernate.dialect=org.hibernate.dialect.MySQL5InnoDBDialect spring.h2.console.enabled=true spring.session.store-type=jdbc H2데이터베이스는 H2 문법을 사용하기 때문에 MySQL문법으로 바꿔주는 것을 알려주어야한다. 그 부분이 dialect 설정하는 부분이다. 이부분까지만 설정하면 될 줄 알았다. 하지만 .. 2022. 10. 8. 이전 1 2 다음 반응형
