- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 11
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 7
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8



0


목록
번호 제목 이름 날짜 조회 추천
공지 질문 게시판 이용 규정 11 토비 15/06/19 22548 4
15728 기타치아를 물티슈로 닦아도 괜찮나요? 5 + Hard Rock Cafe, 24/03/29 190 0
15727 기타만화를 찾습니다. 7 whenyouinRome... 24/03/28 303 0
15726 IT/컴퓨터클리앙 난민들은 보시오 27 + 헬리제의우울 24/03/28 1304 2
15725 경제엔화 신권 1 2024 24/03/27 320 0
15724 기타강남 인근 좋은 식당 추천 부탁드립니다. 2 아이캔플라이 24/03/27 310 0
15723 의료/건강제가 잘못알고 있었나요? 약먹으면 일주일 안먹으면 7일 아니였읍니까??? 10 허윤진남편 24/03/26 761 0
15722 기타모자 보관함 질문입니다 김치찌개 24/03/26 165 0
15721 문화/예술종로3가 이북에서 8인 이하로 맥주 즐길 수 있는 곳 어딜까요? 2 化神 24/03/26 374 0
15720 IT/컴퓨터카카오톡에서 엑셀 붙여넣을때? 13 매뉴물있뉴 24/03/25 612 0
15719 경제코인과 주식 차트 지표 추천 받습니다 6 마우스노동러 24/03/25 472 0
15717 가정/육아제가 지금 좀 위태로운 상태인 것 같습니다. 11 [익명] 24/03/24 1355 0
15715 문화/예술수호지나 초한지 드라마 추천 받습니다. 1 mathematicgirl 24/03/23 171 0
15714 기타성시경 막걸리(경탁주) 드셔보신분 계시읍니까? 5 Groot 24/03/22 458 0
15713 연애사내 연애 빌드업 질문입니다. 7 [익명] 24/03/22 817 0
15712 의료/건강개한테 물렸습니다. 9 얌전한 고양이 24/03/21 640 0
15711 IT/컴퓨터에어팟 선물 2 카라멜마끼아또 24/03/21 321 0
15710 경제국제경제를 슬슬 볼 만한 유튜브 등이 있을까요? 4 골든햄스 24/03/20 624 0
15709 체육/스포츠주 5일 3KM 달려도 될까요? 10 활활태워라 24/03/20 631 0
15707 진로공무원 이직 관련 문의드립니다. 6 [익명] 24/03/20 740 0
15706 IT/컴퓨터사설에서 아이폰 배터리 교체시에 암호를… 3 마우스노동러 24/03/19 367 0
15705 법률부모님이 이혼하셨는데 재산분할 관련 질문입니다. 2 [익명] 24/03/19 656 0
15704 과학차 블박 usb 연결부위가 너무 민감해서 자꾸 후방카메라 연결이 끊깁니다 1 2024 24/03/19 234 0
15703 의료/건강수면다원검사를 받아보려고 합니다. 6 자몽에이슬 24/03/19 275 0
15702 경제m포인트 질문임당… 12 Echo-Friendly 24/03/19 377 0
목록

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글

댓글