- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 11
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 7
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8



0


목록
번호 제목 이름 날짜 조회 추천
4141 여행서울 또는 근교에서 혼자놀기 좋은곳 (차있음) 추천 바랍니다. 6 [익명] 18/02/10 4531 0
4142 의료/건강의료넷에 질문드립니다 1 검은돌 18/02/10 2773 0
4143 의료/건강주말에 어떤 것도 할 수가 없습니다. 8 [익명] 18/02/10 2547 0
4144 여행일전 일본 여행에 대해 여쭤본 적이 있는데 다시 여쭤보려고요 23 Erzenico 18/02/11 3590 0
4146 연애지나간 인연이 자꾸 떠오르면 어떻게 해야하죠 15 [익명] 18/02/11 6964 0
4147 경제국토부 실거래가 어플 정확한가요? 1 별빛 18/02/11 2920 0
4148 기타반려동물을 키우려고 합니다 10 초이 18/02/11 3036 0
4149 여행대전에 아이들과 갈만한 곳(숙박/놀거리/시설 등) 추천 부탁드려요. 9 기쁨평안 18/02/12 4952 0
4150 교육영어로 된 직장인교육 사이트가 있을까요?? 13 사랑하는홍차에게 18/02/12 5630 0
4151 여행하노이에 가볼만한 곳이나 맛집이... 9 인디아나 존스 18/02/12 3210 0
4152 교육한자 1급 공부량이 어느정도 되나요? 2 [익명] 18/02/12 5329 0
4153 기타남자 팔찌 추천 좀 해주세요~ 10 recamier 18/02/12 4878 0
4154 IT/컴퓨터웹사이트 분석 / 크롤링 관련 질문 있습니닷 22 호라타래 18/02/12 7054 0
4155 기타유용한글 많은 사이트 추천해주세요 7 신내림 18/02/12 4204 0
4156 경제신용카드를 하나 발급 받으려고 하는데요. 5 [익명] 18/02/13 2222 0
4157 IT/컴퓨터회사 컴퓨터가 vdi 이신분? 5 별빛 18/02/13 3092 0
4158 기타발렌타인30년과 어울리는 안주? 13 rehema 18/02/13 11658 0
4159 진로대학교 5학년을 할만큼 부전공 복수전공이 의미가 있을까요?(컴퓨터공학/심리상담학) 14 보리건빵 18/02/14 12864 0
4160 기타엔진성능 개선제 라는데 8 DogSound-_-* 18/02/14 3647 0
4161 경제사무용품 쇼핑몰 6 [익명] 18/02/14 2482 0
4162 경제전방위적인 노조설립은 현실적으로 힘든가요? 6 Algomás 18/02/14 3537 0
4163 의료/건강근육의 꼬임?이 자주 일어납니다. 7 백구사장 18/02/15 11195 0
4164 IT/컴퓨터삼성전자 제품 수리 질문입니다. 4 수박이두통에게보린 18/02/15 4365 0
4165 기타[스포] 블랙팬서 이해안되는 장면 7 우주견공 18/02/15 4607 0
4166 문화/예술포토프린터 사용해보신 분? 2 별빛 18/02/15 4861 0
목록

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글

댓글