- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 2
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 0
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8





목록
번호 제목 이름 날짜 조회 추천
공지 질문 게시판 이용 규정 9 Toby 15/06/19 5487 0
5700 기타시계 꼭 정기검진 받아야하나요? 8 + 엄마곰도 귀엽다 18/10/21 118 0
5699 진로원서접수 증명사진 복장 4 kkmng 18/10/21 211 0
5698 의료/건강저주파자극기 뭐 쓰시나요! 9 원림 18/10/20 177 1
5697 체육/스포츠자전거 아시는분 계시나요?타고나서 이런증상이 생기는데..... 9 + [익명] 18/10/20 191 0
5696 기타왜 남이 맘에 안드는 후보 뽑으면 욕하나요? 13 + [익명] 18/10/20 514 0
5695 여행인천공항 질문드립니다. 6 [익명] 18/10/20 176 0
5694 체육/스포츠유산소운동할 때 듣기 적당한 음악 추천받습니다! 7 [익명] 18/10/20 181 0
5693 기타롱패딩/겨울옷 추천좀 해주세요!! 2 [익명] 18/10/20 173 0
5692 의료/건강잘때 이 악물고 자는 습관 고치는법 없을까요? 7 [익명] 18/10/20 287 0
5691 게임자유롭게 막 날아다니는 게임이 하고 싶습니다. 29 + Danial Plainview 18/10/19 496 1
5690 가정/육아이런 아버지 어떻게 해야할까요? 8 [익명] 18/10/19 594 0
5689 가정/육아주류구매만 막는 신용카드가 있을까요? 4 [익명] 18/10/19 947 0
5688 기타킨텍스 가면 점심은 어디서 해결하나요?? 3 [익명] 18/10/19 184 0
5687 의료/건강 흉터 연고 추천 부탁드립니다.. 3 리페이스 18/10/19 124 0
5686 법률교통사고에 대한 조언 부탁드립니다. 3 [익명] 18/10/18 272 0
5684 의료/건강술자리에서 술 안마실 수 있는 최고의 핑계?? 18 [익명] 18/10/18 516 0
5683 연애애정표현 차이 때문에 많이 섭섭합니다 39 [익명] 18/10/18 843 0
5682 의료/건강인데놀 질문드립니다. 7 비비아리 18/10/18 260 0
5681 의료/건강육회비빔밥과 안전 5 지금여기 18/10/18 347 0
5680 의료/건강코 세척기 써보신 분 있나요? 괜찮은지요? 3 [익명] 18/10/18 220 0
5679 IT/컴퓨터모바일용 링크에 접속해도 PC페이지로 7 OshiN 18/10/18 146 0
5678 IT/컴퓨터테더링 어플 추천 받습니다(안드로이드) 별빛 18/10/17 115 0
5677 가정/육아놀이매트에 묻은 네임펜 지우는 방법 아시는 분... 4 SCV 18/10/17 156 0
5676 연애도도하고 당당한 여자와는 어떻게 친해질 수 있을까요...? 17 [익명] 18/10/17 730 0
목록 이전 다음
댓글

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글