- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 3
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 0
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8





목록
번호 제목 이름 날짜 조회 추천
공지 질문 게시판 이용 규정 9 Toby 15/06/19 5901 0
6327 기타과태료 질문입니다 김치찌개 19/01/17 22 0
6326 가정/육아부부 싸움 건입니다. 의견 여쭈어 봅니다 8 + [익명] 19/01/17 137 0
6325 의료/건강정신과의원 약제구매에 대해서요 1 + [익명] 19/01/17 94 0
6324 IT/컴퓨터컴알못의 노트북(LG그램17인치) 구입 질문입니다. 6 오리꽥 19/01/17 219 0
6323 의료/건강낮과 밤이 바꼈는데 원래대로 되돌리고 싶어요. 11 + 덕후나이트 19/01/17 287 0
6322 의료/건강처방관련 의사•약사님께 여쭙니다 2 [익명] 19/01/17 153 0
6321 기타일본 대학에 가는데 2천만원이 필요하답니다. 17 [익명] 19/01/16 608 0
6320 과학내재동기와 외재동기는 뚜렷하게 구분 가능한가요? 9 + [익명] 19/01/16 270 0
6319 IT/컴퓨터애플뮤직 어떤가요? 8 와락 19/01/16 188 0
6318 기타다음의 자동차 중 하나를 골라사야 한다면 어떤 것이 좋을까요? 20 [익명] 19/01/16 292 0
6317 교육영어탈피 어떤가요? [익명] 19/01/16 158 0
6316 기타메이커 상관 없이 조건에 맞을만한 로퍼 추천 부탁드려요!! 6 원스 19/01/16 259 0
6315 문화/예술[난이도상][완료]옛날 국내힙합좀 찾아주세요ㅜㅜ 25 벚문 19/01/16 404 0
6314 의료/건강아픈 치료에는 어떤게 있나요? 13 [익명] 19/01/16 362 0
6313 기타이런 사람하고는 인간관계 끝는게 당연 맞겠죠? 9 킹수학 19/01/15 567 0
6312 기타이런사람하고는 절교하는게 답인게 같네요 2 킹수학 19/01/15 364 1
6311 의료/건강미세먼지로 천식에 걸린 친구에게 줄 만한 선물 2 [익명] 19/01/15 190 0
6310 문화/예술어둠속의 기다림 같은 책 6 파트라슈 19/01/15 197 0
6309 경제연말정산 질문 4 [익명] 19/01/15 186 0
6308 의료/건강페닐알라닌 농도 검사할 수 있는 곳이 있을까요? 4 [익명] 19/01/15 189 0
6307 IT/컴퓨터윈도우관련 6 프링 19/01/15 154 0
6306 의료/건강컵라면이 몸에 어떻게 나쁜가요? 18 보이차 19/01/15 795 0
6305 의료/건강정신과 상담 6 [익명] 19/01/14 377 0
6304 기타운전 시 가입해야 하는 보험이 어떤것이 있나요? 5 化神 19/01/14 177 0
목록 이전 다음
댓글

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글