WINDROSE LOGBOOK · NOTATKI
Jaki Mac do lokalnego AI - 32 czy 48 GB RAM?
Lokalny model językowy mieści się w pamięci albo nie. Oto jak dobrać RAM do zadania - bez kupowania na zapas.
Przy lokalnym AI pytanie „jaki komputer" sprowadza się do jednego: ile pamięci. Model językowy trzeba w całości zmieścić w RAM, żeby działał płynnie. Na Macach z Apple Silicon pomaga architektura pamięci zunifikowanej - procesor i układ graficzny sięgają do tej samej puli, więc dużym modelom nie brakuje pamięci graficznej osobno. Liczy się jedna liczba: całkowity RAM.
Reguła kciuka
Wagę modelu w pamięci szacuje się z liczby parametrów i sposobu kwantyzacji. Model 12–14B po kwantyzacji do 4 bitów to z grubsza 8–9 GB samych wag; model 27–32B - około 18–20 GB. Do tego dochodzi pamięć na kontekst (im dłuższa transkrypcja, tym więcej) oraz to, czego potrzebuje sam system i reszta aplikacji. Stąd biorą się dwa sensowne progi.
Profil A - 32 GB
Wystarcza na pełny lokalny przepływ w trybie sekwencyjnym: Whisper large-v3-turbo transkrybuje nagranie, potem lokalny model 12–14B pisze szkic notatki. Kolejno, nie równolegle - i o to chodzi. To rozsądne minimum dla gabinetu, który chce mieć wszystko na jednym komputerze.
Profil B - 48 GB i więcej
Daje zapas na większy model (27–32B), dłuższy kontekst (32k+ tokenów, czyli spokojnie cała długa sesja naraz) i pracę równoległą - transkrypcja i redakcja notatki nie muszą czekać na siebie. Jeśli prowadzisz dużo długich sesji albo zależy Ci na wyższej jakości szkicu, to jest profil docelowy.
Logbook wykrywa profil automatycznie przy instalacji i dobiera modele do Twojego sprzętu - nie musisz zgadywać. Ale jeśli dopiero kupujesz komputer pod ten scenariusz: 32 GB to próg wejścia, 48 GB to komfort.