온디바이스 AI란? 파일을 서버에 올리지 않고 AI를 쓰는 원리

‘AI로 문서를 요약한다’고 하면 보통 파일을 어딘가의 서버로 보내 처리한다고 생각합니다. 온디바이스 AI는 그 반대입니다 — 모델을 당신의 브라우저로 가져와, 파일은 그 자리에 둔 채 계산만 기기에서 합니다.

어떻게 가능한가

• •WebGPU: 브라우저가 그래픽 카드(GPU)를 써서 AI 연산을 빠르게 수행합니다.
• •WebAssembly(WASM): C/C++로 만든 고성능 코드를 브라우저에서 네이티브에 가깝게 실행합니다.
• •이 둘을 합치면 언어모델·음성인식 같은 무거운 모델도 브라우저 안에서 구동할 수 있습니다.

장점

• •프라이버시 — 파일이 서버로 전송되지 않습니다.
• •비용 — 서버 연산 비용이 없어 무료로 제공하기 쉽습니다.
• •오프라인 — 모델을 한 번 받으면 인터넷 없이도 동작합니다.

한계도 있습니다

• •첫 실행에 모델 다운로드가 필요합니다(수백 MB일 수 있음).
• •기기 성능에 따라 처리 속도가 달라집니다.
• •초거대 모델은 아직 서버 쪽이 유리한 경우가 있습니다.