정부사이트스크래핑2 hometax 데이터 형식 xml -> json 변경 사항 최근 몇 주 전에 hometax 의 데이터 형식이 돌연 xml 에서 json 으로 변화하였다.하루아침에 데이터 형식의 변화라니... 빠르게 전체가 변한거 보면 자체 framework 에서 xml/json 을 선택할 수 있게 되어있었나 보다. 데이터 용량 줄일려고 json 으로 바꿨나... 기본적으로 request 의 경우 XML + hometax 자체 무결성 검증 (무결성이 맞나... 체크섬이 더 맞는 표현일듯... 근데 의미없이 왜 이상한 코드를 넣었는지... 이해가 안되긴 함...) 형식이었는데, 무결성 검증 알고리즘 등은 그대로이고, url 들도 그대로인걸 보아 하니 딱 데이터 형식만 바뀐 듯 하다. 하튼.. 덕분에- https://x.com/pakyoungrok/status/185332953517.. 2024. 11. 19. Java 정부 사이트 공인인증서 로그인, 스크래핑 포트폴리오 (korea-scraper) Golang 구현은 : https://jsty.tistory.com/351 (korea-pki) 에 있습니다. korea-scraper 는 Java 로 개발 된 정부 사이트 스크래핑을 위한 기본 구현 라이브러리입니다.비동기 호출 기반의 스크래핑 및 headless 공인인증서 로그인이 구현되어 있습니다.개발 의뢰 요청 시 해당 라이브러리를 바탕으로 세부 구현을 만들어 드립니다. 특징비동기 HTTP 호출 사용apache http clients 5 의 CloseableHttpAsyncClient 와 CompletableFuture 을 사용하여 non-blocking 구현 사용으로 인해 I/O 및 Thread 에 대해 효율적으로 동작 가능하다. SequenceMachine 구조 사용 StateMachine 과 .. 2024. 2. 18. 이전 1 다음 반응형
