๐ค Kernels ํ๋ก์ ํธ ๋๊ท๋ชจ ์ ๋ฐ์ดํธ ์ ๋ฆฌ
์์ฝ
Hugging Face๊ฐ ์ปค์คํ GPU ์ปค๋์ ํจํค์งยท๋ฐฐํฌยท๋ณด์ ์ฒด๊ณ๋ฅผ ์ ๋ฉด ์ฌ์ค๊ณํ๋ค. ์ ๋ฆฌํฌ์งํ ๋ฆฌ ํ์ , ์ ๋ขฐ๋ ํผ๋ธ๋ฆฌ์ ์ ๋, ์ฝ๋ ์๋ช , Torch Stable ABI ๋ฐ TVM FFI ์ง์์ด ํต์ฌ์ด๋ค.
Hugging Face Blog์์ ๐ค Kernels ํ๋ก์ ํธ์ ๋๊ท๋ชจ ์ ๋ฐ์ดํธ๋ฅผ ๋ฐํํ๋ค. ์ด๊ธฐ โFrom Zero to GPUโ ๋ฐํ ์ดํ ํ๋ก์ ํธ๋ฅผ ๊ฑฐ์ ์ ๋ฉด ์ฌ์ค๊ณํ์ผ๋ฉฐ, ๋ณด์ยทCLIยทํ๋ ์์ํฌ ์ง์ยท์์ด์ ํธ ๊ธฐ๋ฐ ์ปค๋ ๊ฐ๋ฐ ๊ธฐ๋ฐ๊น์ง ์ฌ๋ฌ ์ถ์์ ๋ณํ๊ฐ ์๋ค.
๋ฌด์์ด ์๋ก์ด๊ฐ
Hub์ โkernelโ์ด๋ผ๋ ์ ๋ฆฌํฌ์งํ ๋ฆฌ ํ์
์ด ์ถ๊ฐ๋์ด, ์ง์ ๊ฐ์๊ธฐยทOSยท๋ฐฑ์๋ ๋ฒ์ ์ ๋ณด๋ฅผ ์ปค๋ ํ์ด์ง์์ ๋ฐ๋ก ํ์ธํ ์ ์๊ฒ ๋๋ค. ๋ณด์ ์ธก๋ฉด์์๋ โtrusted publisherโ ๊ฐ๋
์ ๋์
ํด ๊ธฐ๋ณธ์ ์ผ๋ก ์ ๋ขฐ๋ ํผ๋ธ๋ฆฌ์
์ ์ปค๋๋ง ๋ก๋ํ๋ฉฐ, ๊ทธ ์ธ ์ปค๋์ trust_remote_code ์ธ์๋ฅผ ๋ช
์ํด์ผ ํ๋ค. ์ฝ๋ ์๋ช
์๋ Sigstore์ cosign์ ํ์ฉํด ์์ ์๋ช
ํค๋ฅผ ์ฌ์ฉํ๊ณ , ์ ๋ขฐ๋ GitHub ์ํฌํ๋ก์ฐ์์ ์๋ช
๋๋์ง๊น์ง ๊ฒ์ฆํ๋ค. ํ๋ ์์ํฌ ์ง์์์๋ Torch Stable ABI๊ฐ ์ถ๊ฐ๋์ด ํน์ Torch ๋ฒ์ ์ดํ ์ฝ 2๋
๊ฐ ํธํ์ ๋ณด์ฅํ๊ณ , Apache TVM FFI๋ฅผ ํตํด PyTorchยทJAXยทCuPy ๋ฑ ๊ต์ฐจ ํ๋ ์์ํฌ ์ปค๋ ์์ฑ์ด ๊ฐ๋ฅํด์ก๋ค. CLI๋ kernels(๋ก๋ฉยท์ค๋น์ฉ)์ kernel-builder(๋น๋์ฉ)๋ก ์ญํ ์ ๋ช
ํํ ๋ถ๋ฆฌํ๋ค.
์ค์ ํ์ผ์ ์ด๋ค ์๋ฏธ์ธ๊ฐ
์ปค๋ ๋ก๋ฉ ์ฝ๋์์ ๊ฐ์ฅ ์ง์ ์ ์ธ ๋ณ๊ฒฝ์ trust_remote_code ์ธ์๋ค. ๊ธฐ์กด์ ์ ๋ขฐ๋์ง ์์ ํผ๋ธ๋ฆฌ์
์ ์ปค๋์ ์ฌ์ฉ ์ค์ด์๋ค๋ฉด get_kernel() ํธ์ถ ์ ์ด ์ต์
์ ๋ช
์์ ์ผ๋ก ์ถ๊ฐํด์ผ ํ๋ค. ๋น๋ ํ์ดํ๋ผ์ธ ์ชฝ์์๋ kernels CLI์ kernel-builder CLI๊ฐ ๋ถ๋ฆฌ๋์์ผ๋ฏ๋ก, ๊ธฐ์กด ์คํฌ๋ฆฝํธ๋ CI ์ค์ ์์ ๋ ๋๊ตฌ์ ๋ช
๋ น์ ํผ์ฉํ๊ณ ์์๋ค๋ฉด ๊ฐ๊ฐ์ ๋ฌธ์๋ฅผ ํ์ธํด ์
๋ฐ์ดํธํ ํ์๊ฐ ์๋ค. ์ฝ๋ ์๋ช
์ ์์ง ๋ก๋ฉ ์ ์๋ ๊ฒ์ฆ ๋จ๊ณ์๋ ํฌํจ๋์ง ์์๊ณ , ์๋ ๊ฒ์ฆ ๋ช
๋ น(kernels verify-signature)๋ง ์ ๊ณต๋๋ค. ์๋ช
์ค์ ์ ๋ํ ๊ตฌ์ฒด์ ์ธ ๊ฐ์ด๋๋ kernels v0.16.0 ๋ฆด๋ฆฌ์ค ๋
ธํธ์ ์๋ค. Torch Stable ABI ํ๊ฒํ
์ด๋ TVM FFI ์ฌ์ฉ์ ๋ฐ๋ฅธ ๋น๋ ์ค์ ๋ณ๊ฒฝ์ ์๋ฌธ์์ ์ธ๋ถ ์ฌํญ์ ๋ค๋ฃจ์ง ์์ผ๋ฏ๋ก, ๊ณต์ CLI ๋ฌธ์๋ฅผ ์ง์ ์ฐธ์กฐํ๋ ๊ฒ์ด ์ ํํ๋ค.
๋ค์ ๋จ๊ณ ์ ์
ํ์ฌ ์ปค์คํ
์ปค๋์ ๋ฐฐํฌํ๊ฑฐ๋ ์๋นํ๊ณ ์๋ค๋ฉด, ์ฐ์ Hub์ ์ kernel ๋ฆฌํฌ์งํ ๋ฆฌ ํ์
์ผ๋ก ์ ํ ๊ฐ๋ฅ ์ฌ๋ถ๋ฅผ ํ์ธํ๊ณ , kernels์ kernel-builder CLI ๋ฌธ์๋ฅผ ๊ฐ๊ฐ ์ดํด๋ณด๊ธธ ๊ถํ๋ค. ์์ด์ ํธ ๊ธฐ๋ฐ ์ปค๋ ๊ฐ๋ฐ์ ๊ด์ฌ์ด ์๋ค๋ฉด, kernel-builder์ ๋น๋ํํ CLI ์ค๊ณ์ ๋ฐฑ์๋๋ณ ์คํฌ ๊ตฌ์กฐ๊ฐ ์ด๋ค ์ํฌํ๋ก์ฐ์ ์กฐํฉ ๊ฐ๋ฅํ์ง ์๋ฌธ์ ํด๋น ์น์
์ ์ฝ์ด๋ณผ ๋งํ๋ค. ์ฝ๋ ์๋ช
์ ์์ง ์ด๊ธฐ ๋จ๊ณ์ด๋ฏ๋ก ๋ฐ๋ก ํ๋ก๋์
์ ์ ์ฉํ๊ธฐ๋ณด๋ค๋ v0.16.0 ๋ฆด๋ฆฌ์ค ๋
ธํธ๋ฅผ ๋ฐ๋ผ ํ
์คํธ ํ๊ฒฝ์์ ๋จผ์ ์๋ํด ๋ณด๋ ๊ฒ์ด ํ์ค์ ์ด๋ค.
์๋ฌธ ์ ์ฒด ๋ณด๊ธฐ: ๐ค Kernels: Major Updates (Hugging Face Blog)
๋ค๋ฅธ Hugging Face ์์
PRX ์๋ฆฌ์ฆ 4ํธ: Photoroom์ ์ด๋ฏธ์ง ์์ฑ ๋ชจ๋ธ ๋ฐ์ดํฐ ์ ๋ต ๊ณต๊ฐ
Photoroom์ด 7B ๊ท๋ชจ ์ด๋ฏธ์ง ์์ฑ ๋ชจ๋ธ PRX์ ์ฌ์ ํ์ต ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ์ค๊ณ๋ฅผ ๊ณต๊ฐํ๋ค. ๋ฐ์ดํฐ ํฌ๋งท ์ ํ(Lance์ MDS ๋ณ์ฉ), ์บก์ ์ ๋ต, JPEG ํ์ง ๊ฒ์ฆ ๋ฑ ์ค๋ฌด์ ๊ฒฐ์ ๊ณผ ๊ทธ ๊ทผ๊ฑฐ๋ฅผ ์์ธํ ๋ค๋ฃฌ๋ค.
Hugging Face์ Cerebras, Gemma 4 ๊ธฐ๋ฐ ์ค์๊ฐ ์์ฑ AI ๋ฐ๋ชจ ๊ณต๊ฐ
Hugging Face์ Cerebras๊ฐ Gemma 4 31B๋ฅผ ์ค์ฌ์ผ๋ก ํ ๋ชจ๋ํ ์์ฑ-์์ฑ(speech-to-speech) ํ์ดํ๋ผ์ธ ๋ฐ๋ชจ๋ฅผ ๊ณต๊ฐํ๋ค. ๊ฐ ๋จ๊ณ๊ฐ ๊ต์ฒด ๊ฐ๋ฅํ ์คํ ์ํคํ ์ฒ์ด๋ฉฐ, ์ถ๋ก ์๋์ P95 ๋ ์ดํด์ ์์ ์ฑ์ ์ด์ ์ ๋ง์ถ๊ณ ์๋ค.
DiScoFormer: ํ๋์ ํธ๋์คํฌ๋จธ๋ก ๋ฐ๋์ ์ค์ฝ์ด๋ฅผ ๋์์ ์ถ์ ํ๋ค
Allen AI๊ฐ DiScoFormer๋ฅผ ๊ณต๊ฐํ๋ค. ๋ถํฌ์ ๋ฐ๋(density)์ ์ค์ฝ์ด(score)๋ฅผ ํ๋์ ํธ๋์คํฌ๋จธ ํฌ์๋ ํจ์ค๋ก ์ถ์ ํ๋ฉฐ, ์ฌํ์ต ์์ด ์ ๋ถํฌ์ ์ ์ฉํ ์ ์๋ค.