class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_mod...

관계형 데이터 모델 데이터 베이스를 여러개의 관계(Relation) 집합으로 표현하는 모델 관계(Relation)는 표(table) 형태로 표현되고, 각 행은 관련된 데이터 값의 모음을 표현함 한 열의 값들은 모두 같은 데이터 타입을 가짐 용어: 튜플(Tuple): 테이블의 한 행을 나타냄 속성(Attri...

Flow Control 프로그래밍에서 Flow of Control은 프로그램이 특정한 순서로 실행되도록 하는 것입니다. 이를 위해 조건문과 반복문을 사용하며, C++에서는 if-else, switch, while, do-while, for 등의 구조를 활용합니다 불리언 표현식(Boolean Expressions) 프로그래밍에서 조건을 평가할 때 ...

from selenium import webdriver from selenium.common.exceptions import WebDriverException driver = webdriver.Chrome() # 정상 동작 driver.get("https://www.google.com") # 드라이버 종료 driver.quit() # 종료된 드...

DB 설계 예시 회사의 DB를 설계한다고 가정 부서: 이름, 번호, 관리 직원 및 시작 날짜 저장. 여러 위치에 존재 가능 프로젝트: 고유한 이름과 번호, 단일 위치 지정 직원: 주민번호, 주소, 급여, 성별, 생년월일 저장. 하나의 부서에서 일하며 여러 프로젝트를 수행할 수 있음 부양가족: 이름, 성별, 생년월일, 직원과의 관계 저...

기본 개념 데이터(Data): 기록할 수 있는 알려진 사실 데이터베이스(DB): 관련 데이터의 모음. 현실 세계의 일부를 반영하며 특정 목적을 위해 설계됨 DBMS(Database Management System): 데이터를 생성하고 유지하는 프로그램의 집합 DB 시스템(DB System): 데이터베이스(DB) + DBMS 데이터베...

Vector 벡터란? 벡터 공간 $V$의 원소 (엄밀한 정의) 1-D array of numbers (in Computer Science) 이후 모든 정의는 Computer Science의 방식을 따름 # of elements in a...

프로그래밍 패러다임 프로그래밍 언어는 크게 저수준(Low-level) 언어와 고수준(High-level) 언어로 나뉨 Low-level vs. High-level Language 저수준 언어: 기계어(Machine Code), 어셈블리어(Assembly) 고수준 언어: C, C++, Java, Python 등 프로그래밍 스타일 절차...

1. Introduction 대규모 언어 모델은 주로 Pretraining과 Alignment을 통해 학습됨 Pretraining: 원시 텍스트를 기반으로 비지도 학습을 통해 일반적인 표현을 학습 Alignment: 사용자 선호도 및 특정 작업에 맞게 모델 출력을 조정 기존의 연구에서는 정렬을 위해 지도학습, RLHF 등의 방법론을 채...

1. Introduction 대형 언어 모델(LLM)은 언어 이해와 생성에서 뛰어난 성능을 보이지만, 이러한 성능은 대규모 모델 크기로 인해 배포, 추론, 훈련 단계에서 높은 계산 비용과 긴 지연 시간을 초래함. 기존의 모델 압축 기법은 주로 특정 태스크에 맞춰져 있어 LLM의 다목적 활용성을 제한함. 본 논문은 LLM의 크기를 줄이면서도 다목적 ...