Do it! 공부단 (7) 썸네일형 리스트형 [4회차] Do it! 쉽게 배우는 R 텍스트 마이닝 / p.231~p.340 / 7장 텍스트 마이닝 프로젝트: 타다 금지법 기사 댓글 분석, 8장 텍스트 마이닝 프로젝트: 차기 대선 주자 SNS 여론 분석, 9장 텍스트를 효율.. 오늘은 마지막 스터디 날이다. 지금 까지 배운 내용으로 타다 금지법 기사 댓글 분석과 차기 대선 주자 SNS 여론 분석 실전 프로젝트를 실습 해본다. 타다 금지법 분석 절차는 단어 빈도를 구한다. 그리고 막대 그래프를 만들어 주요 단어를 표출한다. 처음 시작은 데이터 전처리로 시작한다. 타다 금지법 관련 네이버 뉴스 기사에 달린 댓글을 전처리 한다. KoNLP 패키지를 이용해 띄어 쓰기가 1개 이상 사용된 댓글만 추출한다. 그리고 댓글에서 명사를 추출해 빈도를 구한 다음 가장 높은 상위 30개만 출력합니다. 그중에서 다시 불용어를 제거한 다음 상위 20개만 추출해서 막대 그래프로 만듭니다. 다음 공감, 비공감 댓글 비교하기는 도 기본적인 전처리는 앞과 같습니다. 단어 빈도를 구한 다음 데이터를 wide .. [3회차] Do it! 쉽게 배우는 R 텍스트 마이닝 / p.146~p.229 / 5장 의미망 분석: 어떤 맥락에서 단어를 썼을까?, 6장 토픽 모델링: 어떤 주제로 글을 썼을까? 오늘 스터디에서는 의미망 분석과 토필 모델링에 대해서 공부를 했다. 의미망 분석중 동시 출현 빈도를 이용해 단어의 관계를 네트워크 형태로 표현한 것을 동시 출현 네트워크라고 하는데 예전에 이런걸 어떻게 만들었는지 궁금했는데 오늘 그 궁금증이 해결이 되었다. 네트워크 그래프 데이터로 변환 해야 하는데 tidygraph 패키지의 as_tbl_graph()를 이용하면 쉽게 네트워크 그래프 데이터를 만들수 있다. 토픽 모델링에서는 문서와 단어의 관계를 이용해서 토픽 별로 분류하고 각 토픽이 어떤 내용이 담고 있는지를 알수 있다. 먼저 문서를 토픽별로 분류 하기 위해서는 LDA라는 토픽 모델링 알고리즘을 사용한다. LDA모델을 만드는 방법은 먼저 기본적인 전처리를 한다. 중복 문서를 제거하고, 짧은 문서를 제거한.. [2회차] Do it! 쉽게 배우는 R 텍스트 마이닝/ p.59~p.144 / 3장 비교 분석: 무엇이 다를까?, 4장 감정 분석: 어떤 마음으로 글을 썼을까? 두번째 텍스트 마이닝 스터디에서는 비교분석과, 감정분석에 대해서 공부를 했다. 먼저 비교분석에서는 문재인 대통령 연설문과 박근혜 대통령 연설문을 비교하였다. 먼저 빈도 단어를 각각 추출 하고 오즈비로 두 조건의 확률을 이용해 계산해서 중요단어를 비교하는 걸 배웠다. 그리고 세개 이산의 텍스트를 비교할때는 TF-IDF를 이요하면 된다는걸 알게 되었다. 4장에서는 감정분석을 배우는데 KNU 한국어 감성사전을 이용하는 방법을 배웠다. 먼저 단어 기준으로 토큰화하고, 단어에 감정점수를 부여 하고 그리고 문장별로 감정 점수를 합산하는 방법으로 감정분석을 하는 것이다. 그리고 댓글별 감정 분석이 실제 서비스에 한번 적용 하고 싶은 생각이 들었다. 그런데 댓글의 자료를 어떻게 가져오는지에 대한 내용이 없어서 네이버,.. [1회차] Do it! 쉽게 배우는 R 텍스트 마이닝 / p.18~p.57 /1장 단어 빈도 분석: 무엇을 강조했을까? ,2장 형태소 분석기를 이용한 단어 빈도 분석 이책으로 처음 R을 시작하는 분이라면 1장부터 막히지 않았을까 생각합니다. 보통 1장은 R 혹은 RStudio 환경 설치인데 그부분이 생략되어 있네요. 컴퓨터를 조금만 한다면 쉽게 설치 할수 있지만 그래도 입문자를 배려 하는 부분이 조금 부족하지 않았나 생각했습니다. 1장은 단어 빈도 분석으로 텍스트 전치리, 텍스트 데이터를 토큰화하기 그리고 단어 빈도 분석하기를 배우고 워드 클라우드 만들기를 실습하면서 텍스트 마이닝의 기초를 배웠습니다. 2장에서는 형태소 분석기를 이용한 단어 빈도 분석을 합니다. 이번 장에서는 KoNLP 패키지를 이용하여 텍스트를 토큰화해서 추출합니다. 1장에서는 단순한 분석결과를 했다면 이번장에서는 글쓴이가 무엇을 강조했는지 단어 빈도를 알수 있습니다. 1장과 2장의 소스는 같지만 .. [3회차] Do it! 점프 투 플라스크 / 4장 / 세상에 선보이는 파이보 서비스! 1. 책 DB를 넣어주세요. (글감 > 책 클릭 > 내가 지금 공부하는 책 검색 및 선택) 점프 투 플라스크(Do it!)저자박응용출판이지스퍼블리싱발매2020.11.25. 2. 나의 스터디 흔적을 사진으로 보여주세요. 책상(모니터)과 책이 함께 보이면 최고! 3. 이번 스터디에서 특별히 좋았던 점이나 어려웠던 점이 있었나요? 새로 알게된 부분이 있다면 알려주세요. 다음에 이 책으로 공부할 스터디룸의 독자들에게 큰 도움이 됩니다. 4장은 3장에서 만든 파이보 서비스를 배포 및 관리 하는 내용을 다루고 있다. 먼저 깃으로 소스를 관리 하는 방법과 AWS에 서비스를 올려서 배포 하는 방법을 배우게 된다. 그리고 운영에 맞게 웹서버와 WSGI서버 데이터베이스를 마그레이션 작업이 도움이 되었다. 조금 아쉬운점은 .. [2회차] Do it! 점프 투 플라스크 / p114~p225 / 3장 파이보 서비스 개발! 1. 책 DB를 넣어주세요. (글감 > 책 클릭 > 내가 지금 공부하는 책 검색 및 선택) 점프 투 플라스크(Do it!)저자박응용출판이지스퍼블리싱발매2020.11.25. 2. 나의 스터디 흔적을 사진으로 보여주세요. 책상(모니터)과 책이 함께 보이면 최고! 3. 이번 스터디에서 특별히 좋았던 점이나 어려웠던 점이 있었나요? 새로 알게된 부분이 있다면 알려주세요. 다음에 이 책으로 공부할 스터디룸의 독자들에게 큰 도움이 됩니다. (200자 이내) 03-2 게시판 페이징 기능 추가하기 2단계 for문으로 테스트 데이터 300개 만들기를 쉘 명령어로 스크립트를 입력 하는데 한줄이라도 잘못 입력 하면 다시 입력 해야 하는 불편한 점이 있었습니다. 그리고 마지막 3-16 도전! 저자 추천 파이보 추가 기능에.. [1회차] Do it! 점프 투 플라스크 / 1장~2장 / 플라스크 개발준비!,플라스크 개발 기초 공사! 1. 책 DB를 넣어주세요. (글감 > 책 클릭 > 내가 지금 공부하는 책 검색 및 선택) 점프 투 플라스크(Do it!)저자박응용출판이지스퍼블리싱발매2020.11.25. 삭제삭제 2. 나의 스터디 흔적을 사진으로 보여주세요. 책상(모니터)과 책이 함께 보이면 최고! 예시) 지우쭈님의 된다! 7일 실무 엑셀을 공부한 흔적: https://vo.la/LBxH 사진 삭제 사진 설명을 입력하세요. 3. 이번 스터디에서 특별히 좋았던 점이나 어려웠던 점이 있었나요? 새로 알게된 부분이 있다면 알려주세요. 다음에 이 책으로 공부할 스터디룸의 독자들에게 큰 도움이 됩니다. (200자 이내) 예시) 뚜기님의 Do it! 점프 투 파이썬 스터디 노트 : https://vo.la/WhN6 1장은 개발환경 세팅이라서 기본.. 이전 1 다음
