- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 0
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 0
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8





목록
번호 제목 이름 날짜 조회 추천
공지 질문 게시판 이용 규정 [4] Toby 15/06/19 4375 0
4183 기타차가버섯 선물받았는데요.. [2] + 김설현41 18/02/20 41 0
4182 의료/건강푸시업을 하면 팔꿈치에서 [3] + [익명]52 18/02/20 52 0
4181 기타체취(?)가 심한 직원문제... [7] + [익명]186 18/02/20 186 0
4180 진로로스쿨 입학.. 학교 선택 어떻게 하는게 좋을까요? [12] + 죽음의다섯손가락269 18/02/20 269 0
4179 가정/육아침대에서 자면 등이 너무 춥습니다 [5] 별빛204 18/02/20 204 0
4178 기타컴퓨터 구입 질문입니다 [7] 김치찌개145 18/02/19 145 0
4177 문화/예술해외 정치를 다루는 블로거 추천 부탁드립니다. [2] bobby132 18/02/19 132 0
4176 문화/예술일본에는 유명한 시바견 캐릭터 상품이 없나요? 별빛150 18/02/19 150 0
4175 IT/컴퓨터SSD 상태가 좀 안좋은건가요?? [3] DogSound-_-*230 18/02/19 230 0
4174 여행와인 관련 질문 [10] DarkcircleX220 18/02/18 220 0
4173 의료/건강삼성 블루스카이 설치 방법? [2] 별빛135 18/02/18 135 0
4172 교육어머니께서 영어를 배우고 싶어하세요. [2] 이초파225 18/02/18 225 0
4171 기타북마크된사이트 알려주세요. [7] 신내림300 18/02/18 300 0
4170 기타쉬크 면도기 질문입니다 [5] 김치찌개197 18/02/17 197 0
4169 기타컴퓨터 이런 문구가 뜨네요 [3] 김치찌개210 18/02/17 210 0
4168 문화/예술이거 가치있는 그림일까요 [1] 별빛280 18/02/16 280 0
4167 교육영어회화를 공부하고 싶어요. [11] 이초파416 18/02/16 416 0
4166 문화/예술포토프린터 사용해보신 분? [2] 별빛174 18/02/15 174 0
4165 기타[스포] 블랙팬서 이해안되는 장면 [7] 우주견공412 18/02/15 412 0
4164 IT/컴퓨터삼성전자 제품 수리 질문입니다. [4] 수박이두통에게보린197 18/02/15 197 0
4163 의료/건강근육의 꼬임?이 자주 일어납니다. [7] 백구사장366 18/02/15 366 0
4162 경제전방위적인 노조설립은 현실적으로 힘든가요? [6] Algomás341 18/02/14 341 0
4161 경제사무용품 쇼핑몰 [6] [익명]296 18/02/14 296 0
4160 기타엔진성능 개선제 라는데 [8] DogSound-_-*285 18/02/14 285 0
목록 이전 다음
댓글

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글