정밀도 FP16 다음이 FP8이 아니라 INT8인 이유

궁금해서 클로드한테 물어봤는데 이런 답변을 받았다.

"FP16 다음엔 자연스럽게 FP8 아니냐"는 직관이 합리적인데, 실제 역사는 갈래가 두 개였어.
첫째, 정수 연산 유닛이 부동소수점보다 칩에서 훨씬 싸고 작고 전력도 덜 먹어. 그래서 모바일·엣지 칩(DSP, 초기 NPU)은 FP8이 나오기 한참 전부터 INT8 가속기를 기본 탑재했고, INT8 추론은 2017~2018년경 이미 스마트폰에 배포됐어. "추론을 싸게 구겨넣자"는 쪽은 처음부터 INT 길로 갔던 거야.
둘째, FP8은 "FP16을 반으로 자른 것"처럼 단순하지 않아. 8비트 안에서 지수부와 가수부를 어떻게 나눌지 정해야 하는데(대표적으로 E4M3, E5M2 두 포맷), 가수부가 거의 안 남아서 포맷 설계가 까다롭고 업계 표준화가 필요했어(NVIDIA·Arm·Intel이 2022년경 합의). 효율적인 FP8 텐서코어를 만드는 것도 비싼 일이라 하드웨어가 늦게 따라온 거야.

엣지 단에서 INT8을 사용하고 있었고, FP8은 표준이 없다 보니 자연스레 INT8을 사용하게 된 것이라고 함..