- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 1
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 0
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8





목록
번호 제목 이름 날짜 조회 추천
공지 질문 게시판 이용 규정 9 Toby 15/06/19 5245 0
5279 의료/건강오른손이 아픕니다... 차도 방안이 있을까요? 9 + 메존일각 18/08/17 145 0
5278 기타아파트 의사결정이나 동의서 웹이나 모바일로 진행 10 CIMPLE 18/08/17 194 0
5277 IT/컴퓨터노트북 가방 추천 받습니다... ㅠㅠ 1 메존일각 18/08/17 93 0
5276 기타프로듀스 48 질문입니다. 7 [익명] 18/08/17 134 0
5275 IT/컴퓨터외장 하드/ssd 9 벚문 18/08/17 148 0
5274 여행부산 1박 2일 예정입니다. 여러분이라면!? 4 바닐라아이스 18/08/16 112 0
5273 여행남이섬 근방 맛집 추천부탁드립니다. 4 기쁨평안 18/08/16 91 0
5272 진로직장 내 업무분배와 처우 문제 고민 7 [익명] 18/08/16 286 0
5271 가정/육아배달 떡볶이 많이 드시나요? 13 [익명] 18/08/16 354 0
5270 여행터키 여행 질문입니다 8 소나기 18/08/16 188 0
5269 연애홍차넷 인싸분들... 20대 중반 여자친구 생일 선물 추천 부탁드립니다. 83 strelka 18/08/16 1018 1
5268 IT/컴퓨터FreeDOS virtualBox에 설치해보신분 있나요? JUFAFA 18/08/16 55 0
5267 기타신랑 예복 정장 업체 질문입니다(2) 3 [익명] 18/08/16 120 0
5266 IT/컴퓨터시놀로지 질문입니다 2 헬리제의우울 18/08/15 138 0
5265 홍차넷서울에서 맛있는 케익 파는 곳 알려주세요!!! 42 + naru 18/08/15 472 0
5264 기타동글이(블루투스 수송신기)은 어떤 제품이 괜찮을지요...? 6 홍당무 18/08/15 156 0
5263 기타실무에서 필요한 엑셀, PPT 수준? 5 [익명] 18/08/15 177 0
5262 여행신혼여행 두번째 질문입니다. 3 원스 18/08/15 165 0
5261 가정/육아중국집 일회용 용기 2 [익명] 18/08/15 192 0
5260 교육토익 LC 공부할때 2 셀레네 18/08/15 138 0
5259 기타남자 예복 맞춤정장 업체 추천 부탁 드립니다. 8 [익명] 18/08/15 210 0
5258 IT/컴퓨터갤럭시기어s3 사려고합니다. 7 DogSound-_-* 18/08/15 158 0
5257 기타LG 에어컨 필터 질문입니다 2 김치찌개 18/08/15 89 0
5256 문화/예술클래식 음악에 관하여 질문드립니다. 24 우분투 18/08/15 298 0
목록 이전 다음
댓글

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글