딥러닝 활용 딥러닝을 활용한 분야는 크게 3가지로 나뉩니다. 이번에는 자연어 중에서 어떻게 Text를 처리하는지 알아보겠습니다. 이미지 분야: 얼굴인식, 화질 개선, 물체 인식 및 태깅 등 음성 분야: AI 스피커, 노래 인식 등 ✅Text 분야: 리뷰 분석, 챗봇 등 참고로 자연어 처리 분야를 NLP(Natural Language Processing)이라고 부릅니다. 자연어 전 처리 자연어를 처리 과정은 3가지 단계가 있습니다. 자연어 전 처리 (Preprocessing) 단어 표현 (Word Embedding) 모델 적용하기 (Modeling) 하나씩 알아볼게요. 자연어란? AI 모델을 만드는데 가장 중요한 점은 "정확한 목표"와 "적절한 데이터"입니다. 오늘 다룰 내용은 자연어 처리 모델이니까 데이..
딥러닝 활용 딥러닝을 활용한 분야는 크게 3가지로 나뉩니다. 이번에는 어떻게 이미지를 처리하는지 알아보겠습니다. ✅ 이미지 분야: 얼굴인식, 화질 개선 등 음성 분야: AI 스피커, 노래 인식 등 Text 분야: 리뷰 분석, 챗봇 등 이미지 처리 이미지 인식 컴퓨터는 어떻게 이미지를 인식하는 걸까요? 컴퓨터에게 이미지는 수많은 Pixel(픽셀) 값들이 모여있는 배열입니다. 숫자인지, 사람인지, 동물인지는 당연히 모르죠. 그럼 Pixel은 뭘까요? Pixel은 Picture Element의 합성어입니다. Pixel은 위치별로 색상에 해당하는 값을 가진 정사각형 타일로 이해하시면 됩니다. 해상도를 말할 때도 Pixel이 기본이 되죠. HD, FHD를 말할 때 (1280x720) 같은 숫자들이 Pixel의 수..
딥러닝 모델이란? 딥러닝 모델에 대해서는 "퍼셉트론 한방에 끝내기(링크)"에서 소개한 적이 있죠? 다시 한번 보고 가겠습니다. 딥러닝 "딥러닝" 딥러닝은 머신러닝의 하위 개념입니다. 머신러닝의 한 방식으로 "인공 신경망(Artificial Neural Network)"라는 알고리즘이 활용되죠. "인공 신경망"은 인간의 뇌, 특히 뉴런의 연결 구조에서 영감을 받은 학습 알고리즘입니다. 수많은 뉴런들이 연결된 것처럼 Layer들이 연결되어 있죠. 이런 Neural Network의 Layer들이 많아지면서 Deep한 Neural Network라는 의미에서 Deep Learning이라는 단어를 사용했다고 해요. 구성 요소 퍼셉트론에 대해 설명하면서 Weight, Layer, Node를 이미 접했습니다. 이번 글..
손실 함수(Loss Function) Loss Fucntion이란? Loss Function은 모델의 Output이 얼마나 틀렸는지를 나타내는 척도입니다. 즉, Loss가 작을수록 좋다는 뜻이죠. 또한 모델의 Parameter를 얼마나 수정할지 정하는데도 사용합니다. Parameter를 수정한다는 건 무슨 뜻일까요? Loss Function에서 구한 오차를 Optimizer를 활용해 Back Propagation을 진행합니다. 그 결과 Parameter 들을 보다 나은 값으로 Update 할 수 있으며 이 과정을 반복합니다. 최종 목표는 오차를 최소로 만드는 Parameter를 구하는 것입니다. 즉, 성능이 좋은 모델을 만드는 거죠. (Back Propagation은 Loss Function을 미분하는 ..
Activation Function (활성 함수) Activation Function의 역할 한마디로 말하면 모델의 선형성을 없애주는 역할입니다. 이전 글 "퍼셉트론 한방에 끝내기(링크)"에서 SLP, MLP에 대해 알아봤죠? [AI 이론] 딥러닝 - 퍼셉트론 한방에 끝내기 (Perceptron) 딥러닝 왜 사람들은 딥러닝을 이야기할 때 "뇌" 이미지를 자주 사용합니다. AI가 사람처럼 생각을 하는 걸까요? 곧 가능하겠지만, 아직은 아닌 것 같습니다. 왜 "뇌" 이미지가 등장하는지 AI에 대 kay-dev.tistory.com SLP를 선형 분류기로 표현하면서 Input 간의 관계를 찾을 수 없다는 얘기를 했어요. 조금 더 생각해보죠. 각 Layer의 Input과 Weight는 Vector입니다. 연산은..
딥러닝 왜 사람들은 딥러닝을 이야기할 때 "뇌" 이미지를 자주 사용합니다. AI가 사람처럼 생각을 하는 걸까요? 곧 가능하겠지만, 아직은 아닌 것 같습니다. 왜 "뇌" 이미지가 등장하는지 AI에 대해 소개하면서 알아보도록 하죠. AI 앞서 이야기한 사람처럼 생각하는 AI를 "General AI"라 합니다. 현재 기술은 이미지 분류, 얼굴 인식 등 특정 기능에서 인간보다 좋은 능력을 갖는 "Narrow AI"의 수준에 있죠. AI에 대해 관심이 없는 분들도 "머신러닝"과 "딥러닝"이라는 용어는 들어보셨을 겁니다. 간단한 설명과 함께 차이를 보도록 하죠. 머신러닝 "머신러닝" 머신러닝은 AI의 하위집합입니다. 정의는 데이터를 분석하고 학습한 후 정보를 바탕으로 결정을 내리기 위해 학습 내용을 적용한 알고리즘..
분류 개념 분류란? 분류는 주어진 입력값이 어떤 클래스(Label의 범주)에 속할지에 대한 결과 값을 도출하는 알고리즘입니다. 분류 알고리즘은 다양하게 존재하고, 예측 목표와 데이터 유형에 따라 적용할 알고리즘이 달라집니다. 분류 vs 회귀 앞서 "회귀(Regression) (링크)"에 대해 알아봤죠. 지도 학습 알고리즘 중에서 어떤 경우에 회귀를 쓰고, 언제 분류를 사용할까요? 여러 조건이 있지만, 가장 간단하게 이해할 수 있는 방법이 있습니다. Data에서 target이 되는 결과 값(Label)의 형태에 따라 구분할 수 있습니다. "범주형 target은 분류, 수치형 target은 회귀" [AI Algorithm] 지도학습 - 선형 회귀 한방에 끝내기 (Linear Regression) 회귀 (Re..
회귀 (Regression) 회귀 분석이란? 둘 이상의 변수가 있을 때 이들 간의 관계를 보여주는 통계적인 방법입니다. 나아가서 데이터를 가장 잘 설명하는 모델을 찾아 입력값에 따른 미래 결과값을 예측하는 알고리즘입니다. 대표적인 예가 TV 프로그램의 시청률 예측입니다. TV 프로그램의 시청률이, 강수량과 선형적인 관계가 있다고 가정을 해볼게요. 그럼 Data 는 강수량, 시청률 2 가지겠네요. 그리고 최종적으로 강수량에 따른 시청률 예측이 목표입니다. 회귀 분석 알고리즘을 사용해 둘 사이의 상관관계를 파악하고 나아가 미래 결과를 예측하는 모델을 만들어야겠네요. 가정에서 선형의 관계를 갖는다고 했으니 위와 같은 1차 방정식을 세워야 합니다. 이때 적절한 'β0(y절편)'와 'β1(기울기)'을 찾는 것이 ..
머신러닝 이번 글에서는 데이터 전 처리의 관점에서만 머신러닝을 이야기하고 머신러닝의 소개는 다음 기회에 하겠습니다. 머신러닝 과정 이해하기 머신러닝의 전체적인 과정을 정리하면 위 그림과 같아요.. 데이터를 수집하고, 이를 분석한 후 머신러닝에 사용하기 적합한 형태로 전 처리를 합니다. 전 처리한 데이터를 이용해 머신러닝을 학습해 모델을 만들고, 이 모델을 평가용 데이터를 활용해 평가하게 됩니다. 모델의 성능이 좋지 않으면 앞의 과정 중 일부를 다시 진행합니다. 데이터 전 처리 데이터의 전 처리에는 pandas, numpy, matplotlib 등의 python 라이브러리 등이 사용됩니다. 라이브러리에 대한 소개는 python 카테고리(링크)에 글이 있으니 읽어 보시면 도움이 되실 거예요. 'Softwar..
Data 최근 가장 핫한 기술인 AI는 Data를 기반으로 해요. 수많은 Data를 모으고, AI의 학습에 적합하게 전 처리하는 과정을 거치죠. 즉, AI를 활용하려면 Data를 다룰 줄 알아야한다는 뜻이죠. 그 시작으로 자료의 형태에 대해 알아볼게요. 자료 형태 구분 자료의 형태는 위와 같이 구분됩니다. 먼저 수치형 자료와 범주형 자료로 나눌 수 있어요. 수치형 자료에는 연속형 자료와 이산형 자료로 구분하고, 범주형 자료는 순위형 자료와 명목형 자료로 구분되네요. 좀 더 자세히 알아볼게요. 수치형 자료는 수치로 측정이 가능한 자료를 의미합니다. (키, 몸무게, 시험 점수, 나이 등) 반대로 범주형 자료는 수치로 측정이 불가능한 자료를 의미하죠. (성별, 지역, 혈액형 등) 여기서 주의할 점이 있어요. ..