17일? 못 기다려! 크롤러 성능 개선 삽질기 (Selenium → Requests)
·
Jungle
시작하기에 앞서: 데이터 관련 고지본문에 기술된 데이터 수집(크롤링)은 대규모 데이터를 다루는 개발 환경을 시뮬레이션하고 학습하기 위한 개인 프로젝트 목적으로만 진행되었습니다.수집된 모든 정보(텍스트, 이미지 등)의 저작권과 지적재산권은 원본 출처인 '무신사(Musinsa)' 에 있습니다.해당 데이터는 어떠한 상업적 목적으로도 사용되지 않았으며, 학습 프로젝트가 종료된 직후 데이터베이스를 포함한 모든 수집 데이터는 완벽하고 안전하게 파기되었음을 명확히 밝힙니다.1. 프로젝트 배경: 10만 건의 데이터가 필요해!현재 저희 프로젝트는 약 1만 9천 건의 제품 정보를 보유하고 있습니다.하지만 실제 이커머스와 유사한 대규모 트래픽 환경을 시뮬레이션하고, 그 과정에서 발생할 수 있는 데이터베이스 및 인프라 문제를..