- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 0
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 0
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8





목록
번호 제목 이름 날짜 조회 추천
공지 질문 게시판 이용 규정 [4] Toby 15/06/19 4807 0
4686 연애이성과 가벼운 만남을 하고 싶습니다. [9] + [익명]134 18/05/25 134 0
4685 IT/컴퓨터들고다니기 편한 노트북은 14인치와 15인치 중 어느 것이 더 편할까요...? [11] + [익명]158 18/05/24 158 0
4684 철학/종교동일성은 어디에 있는가? [18] Danial Plainview229 18/05/24 229 0
4683 기타예비군 질문입니다. [익명]48 18/05/24 48 0
4682 IT/컴퓨터realtek 설정 관련 질문입니다. [2] 구밀복검57 18/05/24 57 0
4681 기타지난 삶에 대한 후회가 클 때? [18] + [익명]372 18/05/24 372 0
4680 법률임대차보호법의 대항력과 우선변제권 [1] [익명]81 18/05/24 81 0
4679 진로학점 잘 받기 힘듭니다. [26] [익명]550 18/05/24 550 0
4678 IT/컴퓨터같은 1080p영화인데 화질이 차이가 날수 있을까요? [8] 혼돈의카오스334 18/05/23 334 0
4677 기타노력vs재능? [17] [익명]423 18/05/23 423 0
4676 진로노력하면 뭐든지 할 수 있을까요? [16] [익명]444 18/05/23 444 0
4674 가정/육아드럼 세탁기 수평 맞추는 거 사람 불러야 하나요? [9] [익명]272 18/05/23 272 0
4673 연애이별 극복 어떻게 하셨나요? [40] [익명]769 18/05/22 769 0
4672 의료/건강3주째 기침. 갈비뼈 통증 ㅜㅠ [13] 엄마곰도 귀엽다341 18/05/22 341 0
4671 의료/건강정신의학과 질문드립니다 [9] [익명]333 18/05/22 333 0
4670 진로건축설계, 정말로 일을 열심히 한 보상이 정신적인 보상뿐일까요? [10] [익명]405 18/05/22 405 0
4669 의료/건강감기 기운에 땀 흘리는 게 도움되나요? [11] 지금여기438 18/05/21 438 0
4668 문화/예술영화감상 목적으로 넷플릭스 괜찮나요? [9] 천도령360 18/05/21 360 0
4667 IT/컴퓨터해외에서 인터넷 전화를 쓰고 싶습니다. [7] CONTAXS2204 18/05/21 204 0
4666 여행부처님 오신 날 놀거리 아이디어 공모합니다 [20] 아침357 18/05/21 357 0
4665 진로이직 및 연봉협상 고민입니다 [20] [익명]476 18/05/21 476 0
4664 의료/건강목에알약이걸렸는데 [3] 장자256 18/05/21 256 0
4663 의료/건강수술 3일전 맥주 및 이부프로펜 [3] [익명]207 18/05/21 207 0
4662 기타교회다니시는분께)새신자로써 적응의 어려움에대한 고민 [18] [익명]446 18/05/21 446 0
목록 이전 다음
댓글

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글