01# SNS 크롤링을 활용한 사건 지수화

이미 학부생 논문에 등재된지 오래 됐지만 이제 마무리 되는 느낌이라 간략하게 정리합니다.

 

1. 프로젝트의 목적

프로젝트의 목적은 특정 사건에 대한 SNS 자료들을 수치화하여 SNS의 파급력의 정도를 알아보는것.

 

2. 프로젝트의 진행 방향

우선 가장 처음 SNS를 선정해야 했기에 인스타그램, 페이스북등 이미지의 표현력이 큰 SNS는 제외하고

연령층의 분포가 넓고 방대한 자료가 있는 트위터, 네이버 카페, 네이버 통합검색을 선정 했다.

그 후 이를 크롤링 하여 특정 키워드와 유사도를 측정했고 지도에 시각화 하기에 이르렀다.

 

3. 간단한 내용

 

특정 지역과 사건등을 언급할 수 는 없지만 

우선 선정한 구에 해당하는 데이터프레임을 먼저 만들어주고

네이버 카페 크롤링

네이버 메인 크롤링

트위터 크롤링을 진행하여

 

특정 키워드와의 관계성을 유사도로 수치화 하였다.

 

사건 발생일 전 후로 SNS의 게시글 확산 속도를 파악할 수 있었고 향후 타 연구에서도 사용할 수 있을것으로 보인다.

 

 

- 마무리

크롤링을 하는 만큼 대용량의 데이터가 생성되는 바람에 데이터 핸들링 자체가 쉽지 않았다.

그래서 무조건 적인 데이터 수집 보다는 결과에 영향을 끼칠 (날짜 등) 요소들을 파악하여 코드를 재구성 했다.

 

시각화에서는 실시간으로 변화하는 데이터를 보여줘야 했기에 folium을 활용하여 jpg로 저장 후 gif로 결과도출 했다.