Pierwsza próba z lokalną AI nie wymaga od razu zakupu nowego serwera. Posiadany komputer może pokazać, czy mniejszy model językowy daje przydatne wyniki dla wybranego zadania. W codziennej pracy liczą się następnie także czas oczekiwania, dostępna moc i niezawodne utrzymanie.
Najważniejsze pytanie brzmi zatem: co model ma robić? Krótka korekta tekstu ma inne wymagania niż analiza długich dokumentów, rozbudowana praca z kodem lub jednoczesna praca kilku osób. „Model się uruchamia” to pierwsze ustalenie techniczne. Nie dowodzi jeszcze, że powstało odpowiednie stanowisko lub usługa firmowa.
Co jest możliwe bez specjalnej karty graficznej
Modele językowe mogą działać na obsługiwanym CPU. Środowisko uruchomieniowe llama.cpp obsługuje różne platformy procesorów, a także podział pracy między CPU a GPU. GPU nie jest więc ogólnym warunkiem każdej próby, choć może znacznie przyspieszyć przetwarzanie. Rzeczywistą różnicę mierzy się na wybranym zadaniu. llama.cpp: obsługiwany sprzęt i uruchamianie (link zewnętrzny).
Próba na CPU może służyć na przykład do tworzenia szkicu na podstawie niewrażliwych punktów, porządkowania krótkiej notatki lub oceny małego przykładu kodu. Model musi pasować do języka i tematyki. Długi tekst wejściowy, wymagająca odpowiedź lub drugie równoczesne zapytanie mogą istotnie zmienić początkowo użyteczny wynik testu jednej osoby.
32 czy 64 GB RAM: scenariusze planowania zamiast uniwersalnego minimum
Poniższe poziomy celowo oznaczono jako przykłady. Nie zastępują sprawdzenia konkretnego pliku modelu ani testu obciążeniowego. Mniejsze modele mogą potrzebować mniej pamięci; większe modele, długie konteksty lub kilka usług mogą wymagać jej znacznie więcej.
| Poziom rozbudowy | Przykładowa podstawa | Co ma ustalić test |
|---|---|---|
| Ocena posiadanego komputera | Obsługiwany CPU, na przykład 32 GB RAM i wystarczająco dużo wolnego miejsca na SSD; początkowo bez dodatkowego GPU. | Czy mniejszy model pasuje merytorycznie? Czy czas oczekiwania na pojedyncze krótkie zadania jest akceptowalny? |
| Regularnie używane stanowisko | Na przykład 32–64 GB RAM, SSD NVMe i GPU wybrane pod konkretny model i kontekst. | Czy praca pozostaje płynna, gdy równolegle działają inne aplikacje, a dane wejściowe są dłuższe? |
| Wspólna usługa | Wydzielone zasoby; na przykład 64 GB pamięci systemowej RAM jako punkt wyjścia do planowania, odpowiednie przyspieszenie i ustalone zasady utrzymania. | Jaką równoczesność, jakość odpowiedzi i dostępność można osiągnąć przy rzeczywistym obciążeniu? |
64 GB pamięci systemowej RAM nie zastępuje odpowiednio dużej pamięci karty graficznej. Tak samo plik modelu mieszczący się na SSD nie dowodzi, że cały model z wymaganym kontekstem zmieści się w pamięci GPU. W systemach z pamięcią współdzieloną trzeba ocenić podział całej pamięci.
Dlaczego sam rozmiar modelu nie wystarcza
Prosty rachunek pokazuje rząd wielkości: osiem miliardów parametrów przy teoretycznych czterech bitach na parametr daje 8 000 000 000 × 4 ÷ 8 = 4 000 000 000 bajtów, czyli około 4 GB lub 3,73 GiB samych wag. Nie jest to całkowite zapotrzebowanie na pamięć uruchamialnego modelu.
Dochodzą między innymi informacje o kwantyzacji, części zapisane w innych formatach, bufory środowiska uruchomieniowego oraz pamięć kontekstu. Decydują rzeczywisty plik i wybrane środowisko. GGUF zawiera na przykład nie tylko tensory, lecz także metadane i obsługuje różne formaty kwantyzacji. Hugging Face: GGUF i kwantyzacja (link zewnętrzny).
Większe okno kontekstu wymaga dodatkowej pamięci. Dlatego podczas testu wyraźnie zapisuje się oczekiwaną długość wejścia. Krótka rozmowa z małym wejściem mówi niewiele o późniejszej pracy z długimi dokumentami. Ollama: długość kontekstu i zapotrzebowanie na pamięć (link zewnętrzny).
GPU musi pasować do całego środowiska
Przy wyborze liczą się dostępna pamięć graficzna, obsługiwane sterowniki i środowisko uruchomieniowe, pobór energii, chłodzenie oraz warunki montażu. Dwie karty o podobnie brzmiących nazwach mogą mieć różną ilość pamięci. Rozpoznanie przez system operacyjny nie oznacza też, że wybrane środowisko modelu właściwie wykorzysta kartę.
Przed zakupem sprawdza się więc dokładny model karty, system operacyjny i wersję sterownika względem aktualnego wsparcia środowiska uruchomieniowego. Ollama opisuje różne ścieżki dla NVIDIA, AMD, Apple Metal i innych backendów. Nie wynika z tego powszechna obsługa wszystkich kart danej marki. Ollama: aktualnie obsługiwany sprzęt (link zewnętrzny).
Co wnoszą NVMe i Linux
SSD NVMe to rozsądna opcja przy planowaniu lokalnych plików modeli, aktualizacji i danych roboczych. Wolne miejsce rezerwuje się dla rzeczywiście używanych modeli oraz dodatkowych wersji. Większy dysk nie zastępuje jednak RAM ani pamięci graficznej; nawet szybki SSD nie zapewni automatycznie interaktywnej pracy z za dużym modelem.
Linux może dobrze pasować do stale działającej usługi, jeżeli sterowniki, utrzymanie i odpowiedzialność odpowiadają warunkom firmy. Ollama opisuje między innymi pracę jako osobna usługa systemowa. System operacyjny dobiera się do istniejącego środowiska; nie trzeba wprowadzać go od nowa na każdym stanowisku. Ollama: praca w Linuksie i utrzymanie wersji (link zewnętrzny).
Krótki pilotaż daje lepszą listę zakupów
- Określić zadanie: na przykład szkic na podstawie zatwierdzonych punktów, zanim podłączy się całą bazę wiedzy.
- Zapisać warunki testu: wersja modelu, kwantyzacja, kontekst, sprzęt i pozostałe działające aplikacje.
- Ocenić wyniki: poprawność merytoryczna, potrzebne korekty i rzeczywiście zaoszczędzona praca.
- Zmierzyć czas oczekiwania: typowe i dłuższe wejścia oraz przewidywane użycie równoczesne.
- Sprawdzić także utrzymanie: drogi przepływu danych, uprawnienia, aktualizacje, kopie zapasowe i przywrócenie działania.
Dokładniejszy sposób testowania opisano w artykule Testowanie lokalnej AI: pilotaż z miarodajnym obciążeniem. Przy przejściu do wspólnej usługi artykuł Ollama i Open WebUI w sieci firmowej wyjaśnia podział między dostępem, interfejsem a modelem.
Rozsądnie wykorzystać posiadany sprzęt i uzupełniać go celowo
Na początek może wystarczyć posiadany komputer. Jeżeli pilotaż wykaże wymierną przydatność, następuje celowa rozbudowa lub planowanie własnej usługi. Dla rzadkich lub szczególnie wymagających zadań opłacalne może być także zatwierdzone API chmurowe albo model hybrydowy. Decydują dane, jakość, użytkowanie i nakład pracy na utrzymanie.
DAXS pomaga w tej ocenie i w integracji z istniejącym IT. Punkt wyjścia stanowią Lokalne LLM i infrastruktura oraz zapytanie o doradztwo w zakresie AI i automatyzacji.
Źródła: wartości pamięci są wyraźnie opisanymi scenariuszami planowania albo teoretycznym obliczeniem wag. Nie są benchmarkiem, ofertą cenową ani dowodem obsługi określonej liczby użytkowników. Licencję konkretnego modelu i zgodność systemu sprawdza się przed wdrożeniem.
