QLoRA Float vs Int Float Float(부동 소수점) 숫자는 소수점의 위치가 고정 X 숫자를 표현하기 위해 가수와 지수로 구성 넓은 범위를 표현 가능 정수형에 비해 많은 저장 공간 요구 Int 정수형 데이터 타입으로 소수점 이하의 수를 포함하지 않는 숫자를 표현 저장 공간 적게 사용 가능함 표현할 수 있는 값의 범위 더 제한적 IEEE 754 부동 소수점 방식 표현법 부동 소수점 구분: 부호, 지수, 가부 부호(Sign): 1비트는 숫자의 부호를 나타냅니다. 0은 양수를, 1은 음수를 의미합니다. 지수(Exponent): 8비트는 지수를 나타냅니다. 이는 숫자가 얼마나 크거나 작은지를 결정합니다. 여기서는 Range 그림에 해당 가수(Mantissa): 23비트는 가수(또는 유효 숫자)를..
