- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 11
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 7
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8



0


목록
번호 제목 이름 날짜 조회 추천
공지 질문 게시판 이용 규정 11 토비 15/06/19 22624 4
15770 IT/컴퓨터모바일에서 보기 편한 스프레드시트? 2 + 메존일각 24/04/16 213 0
15769 가정/육아마누라 핸드폰 사용한지가 4년이 넘었읍니다. 18 + 허윤진남편 24/04/16 368 0
15768 문화/예술서울 교보문고 괜찮은 지점 13 마우스노동러 24/04/15 506 0
15767 기타화장실 제품 (변기,소변기,세면대) 고오급 브랜드?? 10 Groot 24/04/15 340 0
15765 가정/육아어머니 생일 선물... 무엇이 좋을까요? 6 + 휴리스틱 24/04/15 244 0
15764 법률빌려준 돈 이자 계산 3 [익명] 24/04/15 409 0
15763 과학지구상의 모든 생명체는 산소를 필요로 하는지요...? 6 홍당무 24/04/14 650 0
15762 문화/예술색소폰을 사려면 어떻게 해야할까요?? 2 유아 24/04/14 450 0
15761 IT/컴퓨터제가 운영하는 웹사이트에 error_log 파일이 쌓이고 있는데 도움부탁드립니다. 4 스톤위키 24/04/13 381 0
15760 의료/건강독세핀염산염 부작용 질문드립니다. 3 [익명] 24/04/12 306 0
15759 여행혹시 마산합포구 쪽에 차돌박이 잘하는데 있을까요? 허윤진남편 24/04/12 224 0
15758 기타이 식물 이름이 무엇일까요? 2 아재 24/04/12 341 0
15757 IT/컴퓨터TV로 파일 영상을 잘 보려면? 1 2024 24/04/11 210 0
15756 의료/건강녹내장에 관해 잘 아시는분 계실까요? 1 어둠달골짜기 24/04/11 306 0
15755 IT/컴퓨터알뜰폰 쓰는 사람이 해외여행갈때 어떻게 하면 좋을지요? 6 Broccoli 24/04/11 453 0
15754 가정/육아야외 빨래건조 어떻게 해야 하나요? 13 [익명] 24/04/10 531 0
15753 기타소비 패턴 질문입니다 17 [익명] 24/04/09 569 0
15752 IT/컴퓨터안드로이드 TV에서 DVD 파일 재생 4 OshiN 24/04/08 329 0
15751 기타개를 유모차에 넣고 다니는 이유가 궁금합니다 7 아이캔플라이 24/04/08 872 0
15750 기타자기 전까지의 시간을 어떻게 보내는게 건강할까요? 28 똘빼 24/04/07 752 0
15749 기타도로에서 뒷차가 쾅 박았습니다. 18 바방구 24/04/07 711 0
15748 법률전세 전입시 근저당 및 보증보험 인수 관련 문의 sarammy 24/04/06 245 0
15747 의료/건강족저근막염 깔창 추천해주세요 9 Picard 24/04/06 384 0
15746 교육척척박사 여러분들 책추천 부탁드립니다. 29 Mandarin 24/04/06 583 0
목록

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글

댓글