9:41

Show HN: We compressed a 31B video+audio diffusion model to 14B, 6 steps, INT8

3 , 3. .

· ( ) · · · 8- 3

  • : 5.2–15 24 (1344×768 ) 32 .
  • : 4, 6 (), 8 , ().
  • (5.2 , 6 ): 8.7 4× 200, 36 1× 200, 92 1× 5090.
  • 4× : 3 3 4× . 3 0.
  • : 13.7 (2) 13.9 (2) , ~31 3 .
  • : 4__ 9.1 (8_0 14.9 ). 24 32 16 . 16 .

: 64 . 8 , 24 + 69 .

/3-.

(, , .)

: /.. :

  • (/): /_/. 15.7 3_32__3_4_ . 16 32 , . --. > > _2, _2, _2, _2.
  • ( ): __ . /3- (2_/ 2_/). . 6- = 1.
  • . (/./): . 32378. (, ) , , 6- , 32- .

(8 )

  • : 3.10+, 2.6+ ( ), , >= 0.40. (-- > 1) 2 ( = %%\. 2).
  • : ~90 , ~68 -- 8. 3 , , 16 8 . 62 .
  • : 8 (~1 ).

3- - _3_:

/. .

  • : ..__("") =":{_}" _. .
  • (): 8 . : , ._("/3-", ="2_8_", __=, _=.16).

-- . () :

  • ~2% .
  • .
  • 3- . ~14 . -- 8 ~22 .
  • , ////., .

1344×768 6 : , , . / 5.2 / 15 (124 / 362 ).

: 2

  • : , 4__, 15.7 4 . 32 16 -- ( ). 34–37 ≥ 64 . ~8–16 32 ~8 16 .
  • 8 : 3- -- . ≥ 91 16 , ~69 8. 15 5090 8.
  • 8 10–20% . . 80% . 4__ .
  • -- 16 32 . . , 9 . 16 15 . 32 , 3090 5090 13% 21% ( 27–31 7–9 ).
  • 32 . 5090, (0.8 ). 24 , (10–16 ).
  • (2, 2): : .

: 2

  • : 768 2 ( ). , 5.2 , .
  • 8 : 100–125 (80–88 ). ¹ 24 , 15 -- 16384. , .
  • : ≥ 64 , _2_. 4 . __ () . 2048 . 3584×2048, 8 . ² 15 . --. : .
  • . 2048 , ~14,300 ( 768 ). 37,710 5.2 109,062 15 . . 5.2 , 8 2.6–2.9× 2 5.2–5.8× .
  • . 24–36% 2 5.2 7–15% 15 . (), 11–25% 8 5.2 8–9% 15 .
  • -- 2. 32 16 5.2 15 , 4% ≥ 64 15 . : .

(8)

  • : . 4× , 3.
  • 8 : 4× 200 (12.6 ). 8_="" ( 8 ) 12.3 .
  • 4- (5.2 ): 0.11–0.16 . 6- 7.8–7.9 4× 200 5.0 4× 200. 3.3–4.0 .
  • 1088 (1920×1088, 362 ): 743 1× 200 (106 ). 220 4× 200 (68 /).

3 3 :

  • :
  • 88 8 (): 180 88 8 .
  • (, ) : . 4--8- . ( = ).

(3-)

  • (-- ): $$ . . .
  • : -- 16 , 2 50 . 4- 91 59 /. 8, 0 (~2 ).
  • 8 :
  • : , , , . __ _ .

  • : 2.0, / (-3.0) /. ().
  • : __..
  • : 3 3 . _ , . , , , , . .