두번째 미니프로젝트의 주제는 바로
- 악성사이트 탐지
- 서울시 종로구 미세먼지 예측
악성사이트 탐지
Kaggle
2주차 '웹크롤링' 시간에 요긴하게 써먹었던 Beatifulsoup으로 html 요소들을 추출하고
그 요소 속에 숨겨진 악성사이트들의 특징을 발견하여
주어진 사이트가 악성사이트인지 알아맞히는 프로젝트였다.
Kaggle.
캐글이라는 머신러닝&딥러닝 모델로 예측 모델 및 분석 대회를 하는 플랫폼에서 프로젝트가 진행되었다.
AI 트랙의 다른 에이블러들과 악성사이트 탐지라는 주제를 놓고 경쟁을 하는 구조였는데
일단 결과적으로는 한 60등 정도 했었다. 참가한 에이블러는 130명정도였나 그랬다.
인원이 더 있는 것으로 알고 있는데, test셋을 추가조차 못한 사람들도 제법 있나 싶었다.
내 점수는 90%를 겨우 넘긴 정도였는데, 전체 악성사이트 중 90%정도를 악성사이트라고 판단한 의미다.
상위 8명에 한해서만 자신의 모델에 대해 발표를 했었는데, 나중에 결과를 보니 93~94점 분들이었고
1등은 무려 95%가 넘었었다.
나는 아무리 지난 주에 배운 내용을 다 써먹어 봤음에도 성능이 좀처럼 개선되지 않았는데,
그렇게 높은 점수가 나오니 너무 부러웠다.
그 사람들도 나같은 시절이 있었겠지?
나중에 상위권들의 발표를 들으면서 많이 배웠다.
발표를 했던 상위권들 대부분이 결측치 처리방법에서 KNNImputer라는 sklearn의 패키지를 사용했던데,
그것을 사용하니 일반적으로 결측치를 처리했을 때보다 비약적으로 성능이 개선됨을 볼 수 있었다.
나 모르는거 니넨 왜 알고있냐 ㅋㅋ
그리고 대망의 1등의 발표가 이어졌는데,
그 사람은 정말...
현직자가 아닐까 싶을 정도로 자세한 모델 설명과 데이터 전처리 과정을 소개했다.
적당히 잘해야 따라잡고 싶은 욕구라도 생기지... 정말 잘하더라...
서울시 종로구 미세먼지 예측
첫 발표
첫 발표를 하게되었다.
1차 미니프로젝트 때와 달리 발표를 하고 싶어하는 조들이 제법 있었다.
아무래도 프로젝트 난이도가 이전보다 오르다보니, 발표를 통해 피드백을 받고자하는 의도가 있었다고 생각한다.
발표를 자원했던 조들이 많아, 시간이 부족해 자원을 하지 않았던 우리 조는 발표를 하지 않고 넘어가는 듯 했으나
강사님께서 한 2팀만 더 발표를 시키겠다는 깜짝 발표에 이어
갑자기 룰렛돌리기를 하시더니 우리조가 호명이 되었다.
이번 발표도 그렇고, 요새 이런 복불복 게임만 하면 죄다 내가 걸리는 듯한 기분이다.
아무튼 그렇게 나도 발표를 처음하게 되었는데,
하기 전까지는 엄청 긴장되었는데, 그냥 집에서 이어폰으로 말을 하며 비대면인 상태로 발표를 하니
막상 발표를 할 때는 별로 긴장도 안되고 잘 마무리했다.
발표가 끝나고 조원들이 채팅으로 발표 잘했다고 둥가둥가 해주셨는데
칭찬은 잘 못듣겠다... 뭔가 몸이 꼬이는 듯한 느낌
+
그리고 캐글에서 1등을 하셨던 분이 이번에도 발표를 맡아서 해주셨는데,
역시나 엄청난 퀄리티의 전처리와 모델 성능, 그리고 깔끔한 발표가 있었다.
그냥 강의듣는 기분으로 경청했다.
요약: 발표했당
'KT-Aivle School (AI) > 배우고 느낀 점' 카테고리의 다른 글
[에이블스쿨 AI_Track] 8-9주차 후기 (딥러닝&시각지능_딥러닝) (0) | 2022.09.26 |
---|---|
[에이블스쿨 AI_Track] 7주차 후기 (AI모델 해석/평가 & Aivle Day) (1) | 2022.09.19 |
[에이블스쿨 AI_Track] 5주차 후기 (머신러닝) (0) | 2022.09.06 |
[에이블스쿨 AI_Track] 4주차 후기 (1차 미니 프로젝트 후기) (0) | 2022.08.31 |
[에이블스쿨 AI_Track] 3주차 후기 (데이터 처리 & 분석) (0) | 2022.08.29 |