pizzalist

논문 링크: https://arxiv.org/pdf/2308.09991.pdf논문 코드 링크: https://github.com/superhero-7/AltDiffusion  글을 쓰는 시점은 24.04.21으로 Multilingual Diffusion Model에 대한 연구에 관심을 가지고 서칭하고 있다. AltDiffusion: A Multilingual Text-to-Image Diffusion Model이라는 논문을 통해 전반적은 Multilingual Diffusion Model에 대한 사전 연구와 방법, 그리고 왜 Multilingual Diffusion Model을 연구하고 개발하는지를 중점적으로 읽었다. 원래 다국어 디퓨전 모델에 대한 나의 생각은 “굳이? 그냥 ..

QLoRA Float vs Int Float Float(부동 소수점) 숫자는 소수점의 위치가 고정 X 숫자를 표현하기 위해 가수와 지수로 구성 넓은 범위를 표현 가능 정수형에 비해 많은 저장 공간 요구 Int 정수형 데이터 타입으로 소수점 이하의 수를 포함하지 않는 숫자를 표현 저장 공간 적게 사용 가능함 표현할 수 있는 값의 범위 더 제한적 IEEE 754 부동 소수점 방식 표현법 부동 소수점 구분: 부호, 지수, 가부 부호(Sign): 1비트는 숫자의 부호를 나타냅니다. 0은 양수를, 1은 음수를 의미합니다. 지수(Exponent): 8비트는 지수를 나타냅니다. 이는 숫자가 얼마나 크거나 작은지를 결정합니다. 여기서는 Range 그림에 해당 가수(Mantissa): 23비트는 가수(또는 유효 숫자)를..