8, 12, 16 czy 24 GB pamięci graficznej pomaga we wstępnym wyborze. O codziennej użyteczności lokalnego modelu decydują też wersja, kontekst i jednoczesne użycie. Krótkie porównanie pamięci zapobiega nietrafionym zakupom.
Co faktycznie zajmuje pamięć graficzną
Planowanie obejmuje trzy obszary: załadowane wagi modelu, pamięć kontekstu wraz z pamięcią podręczną KV oraz bufory wykonania używanego backendu. Potrzebne jest też miejsce na inne aplikacje GPU i rezerwę operacyjną. Przy typowej osobnej karcie graficznej RAM systemowa i pamięć graficzna to odrębne zasoby.
Systemy z pamięcią współdzieloną mają inny budżet: system operacyjny, aplikacje i model korzystają z tej samej puli. Także tutaj pilotaż powinien mierzyć rzeczywiście dostępną pamięć i realne zadanie. Sama pojemność nominalna nie wystarcza w żadnej z architektur.
4 bity: użyteczne obliczenie z jasnymi ograniczeniami
„B” w 7B lub 70B oznacza miliardy parametrów. Przybliżone obliczenie wag przy jednolitych 4 bitach to: liczba parametrów × 4 ÷ 8 = bajty. Kwantyzacja zapisuje wagi z mniejszą precyzją. Wpływ na jakość odpowiedzi trzeba sprawdzić dla konkretnego zadania.
| Klasa modelu | Teoretycznie przy 4 bitach | Wnioski |
|---|---|---|
| 7–8B | 3,5–4,0 GB ≈ 3,26–3,73 GiB | Kompaktowy punkt wyjścia do pierwszego testu; trzeba uwzględnić konkretny plik i kontekst. |
| 14B | 7,0 GB ≈ 6,52 GiB | Samo obliczenie nie potwierdza pełnego działania na karcie z 8 GB. |
| 32B | 16,0 GB ≈ 14,90 GiB | Nawet nominalnie odpowiedni budżet wag nie pozostawia miejsca na resztę wykonania. |
| 70B | 35,0 GB ≈ 32,60 GiB | W tym uproszczonym obliczeniu same wagi przekraczają jedną kartę z 24 GB. |
Konkretny GGUF jest większy lub zbudowany inaczej niż zakłada to obliczenie. Metody takie jak Q4_K_M nie zapisują wszystkich elementów po prostu jako czterech bitów na parametr. W planie należy więc wskazać dokładny plik modelu wraz z wariantem kwantyzacji , który będzie używany.
Weryfikowalny przykład z oficjalnych katalogów Qwen: zsumowane części plików Q4_K_M dla Qwen2.5-Instruct zajmują przy 7B około 4,68 GB / 4,36 GiB, przy 14B 8,99 GB / 8,37 GiB a przy 32B 19,85 GB / 18,49 GiB. To rozmiary plików, nie zmierzone zużycie VRAM. Pokazują jednak, dlaczego dla tej wersji obietnica „32B w 4 bitach mieści się w 16 GB” nie jest wiarygodna.
Jak oceniać 8, 12, 16 lub 24 GB
| Klasa pojemności | Przydatny zakres testu | Na co uważać |
|---|---|---|
| 8 GB | Kompaktowa wersja 7–8B i ograniczony kontekst jako punkt wyjścia. | Inne użycie GPU i dłuższe wejścia mogą szybko zmniejszyć dostępny budżet. |
| 12 GB | Więcej miejsca na kompaktowe modele; celowo przetestuj konkretną kwantyzację 14B. | Wagi, pamięć KV i bufory muszą wspólnie zmieścić się w wolnej pamięci. |
| 16 GB | Dodatkowa rezerwa dla odpowiednich mniejszych i średnich wersji modeli. | Wspomniany Qwen2.5-32B-Q4_K_M przekracza tę klasę już jako kompletny plik. |
| 24 GB | Odpowiednia kwantyzacja 32B może znaleźć się na krótkiej liście. | Długi kontekst i równoległe żądania wymagają dodatkowych testów. Nie wynika z tego obsługa 70B. |
Sprawdź jednostkę narzędzia pomiarowego oraz wolną pamięć. Dwie karty o tej samej pojemności mogą znacznie różnić się przepustowością, wydajnością, sterownikami i poborem energii. Więcej GB nie jest więc zatwierdzeniem modelu ani benchmarkiem.
Testuj kontekst i jednoczesne żądania
Pamięć KV przechowuje wartości pośrednie potrzebne do przetwarzania. Jej wielkość zależy m.in. od architektury modelu, długości kontekstu i formatu zapisu. Długie dokumenty, historie rozmów i dołączone fragmenty wiedzy zajmują dodatkowe miejsce. Maksymalne okno kontekstu z opisu modelu nie jest więc bezkosztowo dostępną pamięcią.
Udany pojedynczy test niewiele mówi o równoległych żądaniach. W Ollama równoległe przetwarzanie kontekstu zwiększa użycie pamięci; zapisz dokładną konfigurację. Oprócz krótkiego żądania przetestuj dłuższy realistyczny kontekst i przewidywaną współbieżność. Oceniaj łącznie jakość, czas do pierwszego tokenu, czas całkowity, błędy i szczytowe użycie pamięci.
Mniejszy lub kwantyzowany format KV może oszczędzać pamięć zależnie od runtime i backendu. Może też wpływać na dokładność i zachowanie. Kwantyzacja wag i KV to osobne ustawienia; porównuj je przy tych samych testach merytorycznych.
Przeniesienie na CPU i RAM: możliwe, lecz z innym zachowaniem
Środowiska takie jak llama.cpp obsługują podział między CPU i GPU. Pozwala to użyć modelu, którego pełne wymagania przekraczają pamięć graficzną. Potrzebna jest odpowiednia ilość RAM i właściwa ścieżka danych. SSD nie zamienia brakującej VRAM w równie szybką pamięć graficzną.
Offloading zmienia ścieżkę wykonania i często czas odpowiedzi; bez pomiaru nie da się rzetelnie określić skali. W Ollama polecenie ollama pspomaga sprawdzić aktualny podział CPU/GPU. Kilka GPU też nie jest automatycznie odpowiednikiem jednego dużego urządzenia: obsługa, podział i transfery między kartami wymagają oceny architektury.
Przed zakupem: zatwierdź konkretną konfigurację
- Określ model: dokładna wersja, kwantyzacja, licencja i oczekiwana jakość.
- Określ obciążenie: budżet kontekstu, długość wejścia/wyjścia i jednoczesne żądania.
- Sprawdź środowisko: konkretna GPU, backend, sterowniki, system, RAM, chłodzenie i zasilanie.
- Zmierz: wolną pojemność, szczytowe zużycie, czasy odpowiedzi i błędy merytoryczne w reprezentatywnym pilotażu.
- Zdecyduj: ponownie użyć sprzętu, rozbudować go celowo lub wybrać usługę lokalną, zewnętrzną bądź hybrydową.
DAXS dopasowuje wybór modelu i sprzętu do istniejącej IT i uzgodnionego utrzymania. Ramy opisuje strona ekspercka Lokalne LLM i infrastruktura. Artykuł o pilotażu obciążeniowym lokalnej AI pokazuje ocenę w realistycznych zadaniach; Koszty i wybór modelu omawia ekonomię.
Źródła: Ollama: długość kontekstu (link zewnętrzny) · Ollama: pamięć, współbieżność i offloading (link zewnętrzny) · llama.cpp: ścieżki wykonania (link zewnętrzny) · Hugging Face: GGUF (link zewnętrzny) · oficjalne katalogi plików Qwen 7B (link zewnętrzny), 14B (link zewnętrzny), 32B (link zewnętrzny). Wskazówki dotyczące inferencji; nie test treningu, oferta sprzętu ani deklarowany pomiar u klienta.
