똔똔

Chapter 1. BERT BERT Finally, a Machine That Can Finish Your Sentence BERT: (Bi-directional Encoder Representations from Transformers) = BERT라는 이름은 '세서미 스트리트'의 버트에서 유래 = BERT는 단순히 말하자면 학습된 Transformer Encoder를 쌓아 놓은 것 = 언어를 이해하기 위한 사전학습된 모델 ➜ Pre-trained + Fine-tuning 방식 (자연어처리에 필요한 언어 지식을 비지도 학습을 통해 대부분 습득할 수 있다는 것을 전제) 다음에 올 문장으로 적합한 것은? • On stage, a woman takes a seat at the piano. She _____..

Chapter 0. 요약 Transformer = attention seq2seq 모델에 이어, attention 을 활용한 또 다른 모델 = multi-head self-attention을 이용해 sequential computation 을 줄여 더 많은 부분을 병렬처리가 가능 = 동시에 더 많은 단어들 간 dependency를 모델링 self-attention = Transformer에게 현재 처리 중인 단어에 다른 연관 있는 단어들의 맥락을 불어 넣어주는 method Chapter 1. Transformer ➜ Transformer : Motivation Attention is All You Need! Transformer 구조 RNN의 단점을 개선한 모델 = Long-term dependency ..

Chapter1. RNN 기반 자연어 처리 ➜ Recurrent Neural Network (RNN) RNN개요 (Recurrent Neural Network) - 히든 노드가 방향을 가진 엣지로 연결되어 순환구조를 이루는 신경망모델 - 음성, 텍스트 등 순차적으로 등장하는 데이터 처리에 적합한 모델 - 하나의 파라미터 쌍(weights, bias)을 각 시간대 데이터 처리에 반복 사용 - 시퀀스 길이에 관계없이 input과 output을 받아들일 수 있는 네트워크 구조 ➜ 다양한 문제에 적용 가능한 장점 RNN 활용분야 • Image/Video Captioning • Sentiment Classification • Machine Translation • POS Tagging • Language Mode..

학습이 된 신경망 모델은 파라미터 “Learn” features as a layer-wise hierarchical representation Chapter 1. CNN 기반 자연어처리 CNN 기초부터 다시 정리 ➔ ➔ ➔ ➔ ➔ ➔ ➔ ➔ ➔ ➔ ➔ CNN은 본디 이미지 분류를 위한 신경망 모델 NLP에서 CNN은 데이터가 텍스트인 것 CNN 개요 (Convolutional Neural Network) 전통적인 기계학습 (분류) - 전문가들이 디자인한 자질로 표현 - 분류기 학습 딥러닝 (Deep Learning) = 무엇을 피처로 볼 것인지 알고리즘 자체가 계층적으로 학습을 한다. “Learn” features as a layer-wise hierarchical representation Pipeli..

A good representation is one that makes a subsequent learning task easier. 워드 임베딩 워드 임베딩 개요 Representation - 데이터를 어떻게 표현하는가에 따라 해결하는 문제의 난이도가 달라 질 수 있다 전통적인 단어 표현방법 (Word Representation) 단어백 (Bag-of-Word) A vector with one 1 and a lot of zeroes “one-hot” representation / 1-of-V coding / Discrete representation Simple and easy to implement 벡터의 차원 = |전체 사전의 크기| 단어간의 유사도 (one-hot encoding) 고양이 = (0..

텍스트 마이닝 상용 텍스트마이닝 서비스 텍스트 마이닝 “Mining”(채굴, 채광) = 지금까지 땅속에 묻혀 있어서 보이지 않았던 가치 있는 광물을 캐내는 것 Text Mining = 대규모 텍스트 자료를 분석하여 “가치 있는” 새로운 정보를 찾아내는 것 Definition (https://people.ischool.berkeley.edu/~hearst/text-mining.html) = 텍스트 분류, 키워드 추출, 감성 분석 등 요소기술을 활용하여 분석 목적에 부합하는 기능을 개발 = 통계적 기법, 기계 학습/딥러닝 기법이 모두 사용됨 상용 텍스트마이닝 서비스 소셜미디어분석 - 블로그, 카페, 트위터, 뉴스, 인스타그램 등에서 실시간으로 텍스트를 수집하여 분석 - 언급량 분석, 연관어 분석, 긍부정 분..

Chapter1. 자연어 처리 요소기술 자연어 처리 활용 분야 검색, 기계번역, 챗봇, 질의응답, 문서분류 모든 대화형 인터페이스 대용량 텍스트 분석 NLP (Natural Language Processing) NLP = Computer Science + Linguistics + Artificial Intelligence ➜ SW를 이용하여 인간의 언어를 처리하고 이용하려는 연구 분야 ➜ 전산 언어학 (Computational Linguistics) ➜ 인공지능의 주요 기술분야 NLP의 목적 ➜ 인간의 언어로 디지털 디바이스(SW, HW)와 interaction하여 원하는 task을 수행하게 하는 것 ➜ 자연어로 된 대량의 컨텐츠를 분석하여 business insight를 획득하는 것 Input: 음성(..

Chapter 0. 선 요약 2~5일차 Object Detection = classification + Localization 문제 Localization을 이해하기 Bounding Box: x,y,w,h (위치정보) - 예측값(햇)과 비교 - 점진적으로 접근 -> 연속적인 값의 형태로 다가가기 때문에 회귀문제로 접근 Bounding Box Regression Classification 이해하기 Ground-Truth BB: multiclass인 경우 하나만 1 나머지는 0 Predicted BB: 실수로 확률값이 나옴 박스안에 오브젝트가 있다는 확신, 정보를 Confidence Score로 계산 CNN이 Object Detection에서 하는 역할: 오브젝트에 대한 위치정보를 보존하여 feature를 ..

Chapter 1. 학습 관련 기술들 최적화 방법 스토캐스틱 경사하강법(SGD)의 경우 단순하고 구현도 쉬우나, 비효율적일 때가 많다 (한 점마다 기울기를 측정하여 기울어진 방향으로 일정거리를 이동하니 기울기가 매번 달라지는 경우 경로가 비효율적) 이러한 SGD의 단점을 개선해주는 방법으로 '모멘텀, AdaGrad, Adam' 등이 있다. Momentum - 기본적으로 SGD와 유사하지만, 속도(v)라는 개념이 추가됨 - 즉, 물체가 아무런 힘을 받지 않을 때에도 서서히 하강시키는 역할을 수행함 AdaGrad -신경망 학습에서 중요한 학습률(learning rate)을 서서히 낮추는 방법 - 개별 매개변수에 적응적으로(Adaptive) 학습률을 조정하면서 학습을 진행함 - 즉, 학습률 감소가 매개변수의 ..

import tensorflow as tf from tensorflow import keras import pandas as pd import matplotlib.pyplot as plt import random as rd from sklearn.metrics import accuracy_score from sklearn.model_selection import train_test_split from tensorflow.keras.utils import to_categorical from sklearn.preprocessing import MinMaxScaler from tensorflow.keras.backend import clear_session from tensorflow.keras.models ..