- 질문 게시판입니다.
Date 18/02/12 21:39:55
Name   호라타래
File #1   크롤링_코드_1.PNG (71.6 KB), Download : 11
File #2   크롤링_코드_2.PNG (80.8 KB), Download : 7
Subject   웹사이트 분석 / 크롤링 관련 질문 있습니닷




http://www.genie.co.kr/detail/songInfo?xgnm=87759645

파이썬을 이용해서 노래 관련된 정보들을 크롤링/분석하려고 해요.

이미지에 나와있듯이

for문을 이용해서 8~9천만개 정도 존재하는 songInfo 페이지를 하나씩 긁어들이게 만들었는데, 이 중 상당수는 빈페이지입니다.

지금과 같은 코드는 시간도 오래 걸리고, 비효율적이라 개선 방안을 고민하는 중이에요.

1) 셀레니움을 이용하지 않아도 Alert 창을 컨트롤 할 수 있나요?

http://www.genie.co.kr/detail/songInfo?xgnm=1

페이지를 눌러보면 보이듯이 Alert창이 뜨기 때문에, 셀레니움을 이용해서 컨트롤을 해주고 있어요. 근데 속도가 상당히 느리더라고요. BeautifulSoup만 써서 정적 스크래핑을 하면 속도가 개선될 듯한데, Alert를 처리할 수 있는 방법이 있을까요? Ajax인지 아닌지도 모르겠네요 ㅋㅋㅋㅋㅋㅋ

2) 지금 코드를 효율화 할 수 있는 방법이 있을까요?

향후 전처리를 염두에 두고 코드를 짜기는 했는데, 이게 효율적인지 아닌지도 감이 안 잡히네요.

3) 구글 크롬 개발자 도구 외에 사이트 구조를 분석할 수 있는 방법이 있을까요?

비어있지 않은 songInfo 페이지를 사전에 파악한 후, 인덱스를 부여해서 for문을 돌리면 훨씬 효율적이지 않을까 싶은데, 구글 크롬 개발자 도구로는 파악을 못하겠습니당

조언 부탁드립니다ㅠㅠ 영어 사이트여도 활용 가능하니 힌트/키워드라도 얻을 수 있다면 흑흑...

맞다. 제 작업 환경은 램 4G, CPU 2.93Ghz, winddow7, Anaconda3(32bit) - Jupyter notebook - Python 3.6입니다. 설날 전까지는 이 환경에서 작업을 해야 해요. 코드 정리되고 나면 프롬프트 창에서 파이썬을 돌리려고요 8ㅅ8



0


목록
번호 제목 이름 날짜 조회 추천
2787 연애여자의 애매한 말. 무슨 뜻일까요? 10 호랑이 17/05/17 2811 0
10887 진로M자형 탈모 증세 완화에 좋은 약이 있을까요? 13 호라타래 21/01/24 4050 1
10759 기타가는 직모 뿌리볼륨 질문입네당 7 호라타래 21/01/03 3082 0
9661 의료/건강정신과 추천 받습니다! 3 호라타래 20/06/25 2559 0
8805 과학통계 수학 질문입니당 3 호라타래 20/02/17 3724 0
8676 경제뉴욕 - 인천 비행기 문의입니다. 6 호라타래 20/01/26 3065 0
6861 기타교수님들 선물 관련 질문입니다. 15 호라타래 19/03/30 3399 0
6178 의료/건강의학계 관련 통계표 해석 질문입니당 16 호라타래 18/12/28 3668 0
5675 진로대학 입학 면접 볼 때 팁이 있을까요? 26 호라타래 18/10/17 2503 0
5566 의료/건강이거 마셔도 되는 술인가요? 16 호라타래 18/10/01 3659 0
4154 IT/컴퓨터웹사이트 분석 / 크롤링 관련 질문 있습니닷 22 호라타래 18/02/12 6986 0
3963 기타다단계 대응책 질문 및 확인입니다. 12 호라타래 18/01/08 2383 0
3838 연애이대 근처에 부모님께서 식사할 만한 곳 있을까요? 13 호라타래 17/12/13 4937 0
2949 진로고 1 학생 진학 관련 조언을 구합니다! 12 호라타래 17/06/24 3372 0
2755 기타문장 수정 질문입니다. 20 호라타래 17/05/07 3387 0
2577 기타건설사 근무로 중동 파견 나가는 형에게 어떤 선물이 좋을까요? 8 호라타래 17/03/29 6001 0
13588 기타타이밍이 안 맞아서 헤어졌습니다.. 18 호가든체리 22/07/05 3920 0
5108 기타‘서점에서 책한권 다읽기’ 어떻게 생각하세요? 11 현타247 18/07/21 5306 0
13714 IT/컴퓨터컴퓨터 구매질문입니다. 4 현운월 22/08/05 2085 0
12749 체육/스포츠런닝&운동용 마스크 추천부탁드립니다. 3 현운월 21/12/28 2849 0
7831 의료/건강다리저림(허리디스크?) 질문드립니다. 4 현상 19/09/08 3961 0
15777 경제재테크 알못이 질문드립니다 11 헬리제의우울 24/04/17 1086 0
15726 IT/컴퓨터클리앙 난민들은 보시오 31 헬리제의우울 24/03/28 2524 2
15445 게임옛날게임 질문입니다 9 헬리제의우울 23/12/10 1236 0
15285 IT/컴퓨터인터넷 브라우저 추천 바랍니다 7 헬리제의우울 23/10/11 1313 0
목록

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글

댓글