uomnf97

안녕하세요, 제이덥입니다! 기술 면접을 준비하면서 기초 개념들을 하나씩 정리하고 있는데요. 오늘은 Transformer에 대해 다뤄보려 합니다. 이번 글에서는 Transformer의 탄생 배경이 된 Long-Term Dependency 문제를 간단히 소개하고 논문 Attention Is All You Need에서 제안된 Transformer의 작동 원리를 정리해보겠습니다. 특히 그중에서도 핵심 개념인 Self-Attention에 집중해 개념과 수식을 중심으로 깊이 있게 설명드릴 예정입니다.0️⃣ 탄생 배경 : Long-Term Dependency이전 포스팅에서 Vanilla RNN의 BPTT를 소개하면서 RNN의 Long-Term Dependency 문제에 대해서 다뤘습니다. 이 문제는 이후 Transf..

안녕하세요, 제이덥입니다! 기술 면접을 준비하면서 기초 개념들을 하나씩 정리하고 있는데요. 오늘은 기계 번역 등 생성 모델 평가에 널리 사용되는 BLEU Score에 대해 다뤄보려고 합니다.본격적으로 BLEU Score를 살펴보기 전에, 먼저 Precision, Recall, F1 Score와 같은 전통적인 평가 방법이 번역 품질 평가에 어떻게 활용되는지 간단히 짚고 넘어가겠습니다. 이후, 이러한 지표들의 한계를 보완하기 위해 BLEU Score가 어떤 방식으로 발전했는지 정리해 보겠습니다. 0️⃣ 언어 모델에서 생성한 문장은 어떻게 평가해야할까?언어 모델이 생성한 문장, 특히 번역된 문장은 어떻게 평가하는 것이 좋을까요? 번역 태스크에는 특이한 특징이 있습니다. 바로 생성된 문장의 단어 수나 단어 위치..

안녕하세요, 제이덥입니다! 기술 면접을 준비하면서 기초 개념들을 하나씩 정리해보고 있는데요. 오늘은 Text Generation모델의 텍스트 생성 알고리즘에 대해서 다뤄보려고 합니다. 대표적인 텍스트 알고리즘 중 가장 대표적이며 학습자/실무자 쉽게 접할 수 있는 Greedy Decoding, Exhaustive Search, Beam Search 3가지 알고리즘의 정의/장점/한계에 대해 정리하여 포스팅합니다.  0️⃣ 문장을 생성할 때 학습만 하면 다 된 것 아니야?Sequence to Sequence Model with Attention(이하, Seq2Seq 모델), 즉 자연어 생성모델에서 디코더는 다음 토큰에 대한 확률 값을 계산하여 문장을 출력합니다. 하지만, 매 타임 스텝마다 다음 단어 중 가장 ..

📌 6주차 과제 - 진도 : Chapter 07~ 08- 기본숙제 : p.363 market_db 의 고객 테이블(member)에 입력된 회원의 정보가 변경될 때 변경한 사용자, 시간, 변경 전의 데이터 등을 기록하는 트리거 작성하고 인증하기- 추가숙제 : p.402 GUI 응용 프로그램 만들고 인증하기 1️⃣ 기본 숙제p.363 market_db 의 고객 테이블(member)에 입력된 회원의 정보가 변경될 때 변경한 사용자, 시간, 변경 전의 데이터 등을 기록하는 트리거 작성하고 인증하기① 아래와 같이 market_db를 활용하되, 실습 환경과 같은 칼럼이 적힌 table을 사용하기 위해 다음과 같은 SQL문을 입력하여 singer 테이블을 만들고, 동시에 데이터를 삽입합니다. USE market_d..

📌 5주차 과제 - 진도 : Chapter 05- 기본숙제 : p.310 인덱스 생성하고 key_name이 PRIMARY로 출력된 결과 화면 캡처하기- 추가숙제 : 인덱스 생성, 제거하는 기본 형식 작성하기 1️⃣ 기본 숙제p.310 인덱스 생성하고 key_name이 PRIMARY로 출력된 결과 화면 캡처하기① 아래와 같이 market_db를 생성하고 member, buy table을 생성하고 값을 insert합니다. DROP DATABASE IF EXISTS market_db; -- 만약 market_db가 존재하면 우선 삭제한다.CREATE DATABASE market_db;USE market_db;CREATE TABLE member -- 회원 테이블( mem_id CHAR(8) NOT NUL..

안녕하세요, 제이덥입니다! 기술 면접을 준비하면서 기초 개념들을 하나씩 정리해보고 있는데요. 오늘은 Sequence to Sequence 모델과 Encoder-Decoder 구조를 시작으로, “Attention is All You Need” 이전의 Attention 메커니즘을 알아보고, 마지막으로 이를 활용한 Seq2Seq 모델까지 함께 정리해보려고 합니다. 1️⃣ Sequence to Sequence Model 초기 Sequence to Sequence 모델(이하 Seq2Seq 모델)은 NMT(Neural Machine Translation)와 같은 문장 번역이나 문장 생성과 같은 Many-to-Many 태스크를 해결하기 위해 활용되었습니다. 이는 입력과 출력을 모두 시퀀스 형태로 처리하는 데 특화되어..

📌 4주차 과제 - 진도 : Chapter 05- 기본미션 : p.226의 market_db의 회원 테이블(member) 생성하고, p.229 데이터 입력한 후 인증하기- 선택미션 : p.271 확인 문제 4번풀고 인증하기1️⃣ 기본 숙제p.226의 market_db의 회원 테이블(member) 생성하고, p.229 데이터 입력한 후 인증하기 ① 먼저 CREATE DATABASE를 이용해 naver_db 데이터 베이스를 생성합니다.  ② CREATE TABLE 구문으로 관련 테이블을 생성합니다.  ③ INSERT INTO 구문을 이용하여 주어진 데이터들을 입력합니다. 하단 Output의 체크표시를 통해 올바르게 결과가 출력된 것을 확인할 수 있습니다.  2️⃣ 추가 숙제p.271 확인 문제 4번풀고 인..

안녕하세요! 제이덥입니다. 최근에 기술 면접을 준비하며, 기초적인 내용부터 하나씩 정리하고 있는데요. 이전 글에서는 Vanilla RNN이 겪는 Long-Term Dependency 문제를 다뤘는데요. 이번 포스팅에서는 이를 해결하기 위해 등장한 LSTM과 GRU의 탄생 배경과 작동 원리를 정리해보겠습니다. 1️⃣  RNN의 한계(Long-Term Dependency Problem) 지난 포스팅에서 Vanila RNN에서 Long-Term Dependency 문제에 대해서 다뤘습니다. 이를 간단히 설명하면 학습에 일어나는 Gradient Vanishing/Exploding 문제로 인해 상대적으로 오래된 시점의 정보가 유실되는 문제를 말합니다. 이를 해결하기 위해 Truncated BPTT를 이용해 개선했..

📌 3주차 과제 - 진도 : Chapter 04- 기본미션 : p.195의 확인 문제 4번 풀고 인증하기- 선택미션 : p.183 [좀 더 알아보기] 손코딩 실행하고 결과화면 인증하기 1️⃣ 기본 숙제p.195의 확인 문제 4번 풀고 인증하기4. 다음 SQL은 회원으로 가입만 하고, 한 번도 구매한 적이 없는 회원의 목록입니다. 빈칸에 들어갈 가장 적합한 것을 고르세요.SELECT DISTINCT  M.mem_id, B.prod_name, M.mem_name, M.addr    FROM member M        LEFT OUTER JOIN buy B        ON m.mem_id = B.mem_id        [                 빈 칸                   ]    OR..

안녕하세요! 제이덥입니다. 최근에 기술 면접을 준비하며, 기초적인 내용부터 하나씩 정리하고 있는데요. 오늘은 RNN이란 무엇이며 어떤 문제를 해결할 수 있는지, 어떻게 작동하는지에 대해서 종합적으로 정리하여 포스팅합니다.  1️⃣ RNN(Recurrent Neural Network)의 탄생 배경탄생 배경: 피드 포워드 신경망(FFNN)은 입력의 길이가 고정되어 자연어와 같이 입력이 가변적인 길이를 가진 시퀀스 데이터를 처리하는데 한계가 있었습니다. 이러한 한계를 극복하기 위해, 다양한 입출력 길이를 다룰 수 있는 인공신경망이 필요하게 되었고 여러 연구가 진행되었습니다. 그 결과 '순환 신경망이라고 불리는 Recurrent Neural Network(이하 RNN)이 등장했습니다.  2️⃣ RNN의 작동원리..