[IDLE-454] 크롤링 테스트를 위한 배치 수행 시각 및 로그 추가 #202
Conversation
Walkthrough
Changes
Possibly related PRs
Suggested labels
Thank you for using CodeRabbit. We offer it for free to the OSS community and would appreciate your support in helping us grow. If you find it useful, would you consider giving us a shout-out on your favorite social media? 🪧 TipsChatThere are 3 ways to chat with CodeRabbit:
Note: Be mindful of the bot's finite context window. It's strongly recommended to break down tasks such as reading entire modules into smaller chunks. For a focused discussion, use review comments to chat about specific files and their changes, instead of using the PR comments. CodeRabbit Commands (Invoked using PR comments)
Other keywords and placeholders
Documentation and Community
|
![coderabbitai[bot]](https://avatars.githubusercontent.com/in/347564?s=60&v=4){kind=small}
There was a problem hiding this comment.
Actionable comments posted: 2
🧹 Outside diff range and nitpick comments (2)
idle-batch/src/main/kotlin/com/swm/idle/batch/util/WorknetCrawler.kt (2)
54-58: 드라이버 초기화 에러 처리 개선드라이버 초기화 과정에 에러 처리를 추가한 것은 좋은 개선입니다. 이는 초기화 중 발생할 수 있는 문제를 더 잘 파악하고 디버깅하는 데 도움이 될 것입니다.
다만, 에러 로깅 후의 동작을 명확히 하는 것이 좋겠습니다. 예를 들어, 드라이버 초기화에 실패했을 때 프로그램을 종료하거나 대체 로직을 실행하는 등의 처리를 추가하는 것을 고려해보세요.
82-86: 크롤링 페이지 수 로깅 및 조기 종료 처리 추가크롤링 페이지 수를 로깅하고 공고가 없을 때 조기 종료하는 로직을 추가한 것은 좋은 개선입니다. 이를 통해 크롤링 작업의 진행 상황을 더 잘 이해할 수 있습니다.
조기 종료 시 로그 레벨을 'info'에서 'warn'으로 변경하는 것을 고려해보세요. 이는 예상치 못한 상황이므로 더 높은 가시성을 가질 수 있습니다.
📜 Review details
Configuration used: .coderabbit.yaml
Review profile: CHILL
📒 Files selected for processing (3)
- idle-batch/src/main/kotlin/com/swm/idle/batch/common/scheduler/CrawlingJobScheduler.kt (1 hunks)
- idle-batch/src/main/kotlin/com/swm/idle/batch/util/WorknetCrawler.kt (2 hunks)
- idle-domain/src/main/kotlin/com/swm/idle/domain/notification/repository/querydsl/NotificationQueryRepository.kt (1 hunks)
🧰 Additional context used
🔇 Additional comments (3)
idle-batch/src/main/kotlin/com/swm/idle/batch/util/WorknetCrawler.kt (3)
60-60: 크롤링 작업 시작 로깅 추가크롤링 작업 시작을 로깅하는 것은 좋은 방법입니다. 이를 통해 프로그램의 실행 흐름을 더 쉽게 추적할 수 있습니다.
70-70: 크롤링 URL 로깅 추가크롤링 대상 URL을 로깅하는 것은 매우 유용합니다. 이를 통해 어떤 페이지를 크롤링하고 있는지 쉽게 확인할 수 있으며, 문제 발생 시 디버깅에 도움이 될 것입니다.
78-79: 크롤링 대상 공고 수 로깅 추가크롤링 대상 공고 수를 로깅하는 것은 매우 유용한 정보입니다. 이를 통해 작업의 규모를 파악할 수 있고, 진행 상황을 모니터링하는 데 도움이 됩니다.
| @@ -13,7 +13,7 @@ class CrawlingJobScheduler( | |||
| private val crawlingJobConfig: CrawlingJobConfig, | |||
| ) { | |||
|
|
|||
| @Scheduled(cron = "0 00 01 * * *") | |||
| @Scheduled(cron = "0 30 16 * * *") | |||
There was a problem hiding this comment.
💡 Codebase verification
크롤링 작업 실행 시간 변경에 대한 문서화가 필요합니다
현재 크롤링 작업의 실행 시간 변경에 대한 문서나 최근 커밋 메시지에서 관련 언급을 찾을 수 없었습니다. 변경의 구체적인 이유와 배경을 명확히 설명해 주시기 바랍니다.
🔗 Analysis chain
크롤링 작업 실행 시간 변경에 대한 검토 필요
크롤링 작업의 실행 시간이 오전 1시에서 오후 4시 30분으로 변경되었습니다. 이는 시스템 운영에 상당한 영향을 미칠 수 있는 변경사항입니다.
- 이 변경의 구체적인 이유와 예상되는 이점을 설명해 주시겠습니까?
- 이 변경사항을 코드 주석이나 문서에 기록하는 것이 좋겠습니다.
- 새로운 실행 시간이 시스템 리소스 사용에 미치는 영향을 검증했는지 확인해 주세요.
다음 스크립트를 실행하여 이 변경사항이 다른 곳에서도 언급되었는지 확인해 보겠습니다:
🏁 Scripts executed
The following scripts were executed for the analysis:
Script:
#!/bin/bash
# Description: 크롤링 작업 시간 변경에 대한 언급 확인
# Test 1: README나 문서 파일에서 변경 사항 언급 확인
echo "Checking documentation for mentions of the scheduling change:"
rg -i "crawl.*schedul|배치.*시간|크롤링.*시간" $(fd -e md -e txt)
# Test 2: 커밋 메시지에서 변경 사항 언급 확인
echo "Checking recent commit messages for mentions of the scheduling change:"
git log --grep="crawl.*schedul|배치.*시간|크롤링.*시간" --since="1 week ago"
Length of output: 422
...n/kotlin/com/swm/idle/domain/notification/repository/querydsl/NotificationQueryRepository.kt
Show resolved
Hide resolved
|
1. 📄 Summary
Summary by CodeRabbit
새로운 기능
버그 수정