kar7mp5

이 블로그는 Christopher M.Bishop의 Deep Learning 책을 기반으로 작성되었습니다.3.1. Discrete Variables (이산 변수)3.1.1 Bernoulli distribution (베르누이 분포)주어진 확률 $0 \leq p \leq 1$에 대하여$$\begin{equation}X =\begin{cases}1 & \text{with probability } p \0 & \text{with probability } (1 - p)\end{cases}\end{equation}$$를 Bernoulli distribution라고 합니다.평균과 분산은 위 확률 분포로 직접 구할 수 있습니다.변수 $\mu$에 대하여 $x = 1$는 다음과 같이 정의할 수 있습니다:$$p(x = 1 ..

௹ 양안 시차 (Binocular Disparity)이미지 출처: OpenCV official docs 양안 시차는 인간과 같은 양안 시각 시스템에서 두 눈이 약간 다른 각도에서 대상을 보는 데서 발생하는 시각적 차이를 의미한다.가까운 사물일 수록 시차(Disparity)가 크고, 멀리에 있는 사물일 수록 시차가 작다.$$disparity = x - x^\prime = \frac{Bf}{Z}$$ $x$와 $x^\prime$: 3D 공간 상의 한 점(Scene Point)이 두 카메라에서 투영된 이미지 평면 상의 좌표$B$: 두 카메라 센터 간의 거리 (Baseline)$f$: 카메라의 초점 거리(Focal Length)깊이(Depth): 3D 공간 상의 한 점(Scene Point)에서 카메라까지의 거리..

௹ 양자화 필요성많은 메모리 요구로 인해 LLM 모델들은 양자화(Quantization)가 필수적이다.보통 local 컴퓨터에서 Llama는 8b 모델을 Gemma는 7b 모델을 이용한다. 여기서 8b는 80억 개 7b는 70억 개 변수 사용을 의미한다. 때문에 메모리가 부족한 것이고, 양자화가 필요한 이유다.௹ 필자 컴퓨터 사양 Memory(RAM) 32GiBGPUNvidia 3050௹ 양자화 이전다음은 beomi/gemma-ko-7b 모델을 사용한 예제이다.hugging face에 들어가서 로그인하고 인증받은 token으로 로그인하면 된다. https://huggingface.co/beomi/gemma-ko-7b beomi/gemma-ko-7b · Hugging FaceGemma-Ko Update @..

1. 언더 샘플링과 오버 샘플링출처: Resampling strategies for imbalanced datasets데이터가 불균형한 분포를 가지는 경우, 모델 학습이 편향(bias)적일 수 있다.예를 들어 A, B, C를 분류하는 모델 제작에서 데이터가 A는 1,000개 B는 10개 C는 10개라면 이 모델은 B와 C를 분류하는 데 어려움을 겪거나 모든 데이터를 A라고 분류할 가능성이 높다.데이터가 균형한 분포가 되도록 하는 두 가지 방법으로 Undersampling과 Oversampling이 있다.언더 샘플링 (Undersampling)데이터 셋에서 높은 비율을 차지하는 데이터 수를 감소시키는 방법이다.데이터 수를 감소시키는 대신 정확도가 떨어진다.예를 들어 A, B, C를 분류하는 데이터의 수가 ..

2024 Google Machine Learning Bootcamp Coursera 강의 기반으로 제작했습니다.௹ Binary Classification (이진 분류)이진 분류는 말 그대로 두 개로 분류하는 것이다. 일반적으로 프로그램에서는 0 혹은 1으로 분류한다.'왜 이것을 배우는 가?'는 뉴런을 보면 이해 가능하다.뉴런에서 '흥분의 전도 현상'에서 '역치'라는 현상이 발생한다. 역치란 간단히 말해 특정 수치 이상 값이 들어와야 흥분이 전도되는 상황을 의미한다.다시 프로그래밍적 관점으로 보면, 노이즈를 제거하는 과정이라고 볼 수 있다. 이진 분류를 통해 의미가 없는 값이면, 0 혹은 0에 근접한 수를 사용한다.௹ Logistic Regression (로지스틱 회귀)로지스틱 회귀 개념로지스틱 회귀 비용..