ChatGPT, Claude czy Gemini działają w chmurze: każde pytanie wędruje na serwery firmy, a odpowiedź wraca przez internet. Mało kto wie, że podobne - choć mniejsze - modele językowe można uruchomić na własnym komputerze. Linux jest do tego wręcz stworzony. Pokazujemy, co jest potrzebne, czego się spodziewać i jak zacząć w trzech wariantach: w terminalu, w okienkach i dla programistów. Wszystkie opisane programy są otwarte i darmowe.
Dlaczego AI na własnym komputerze?
- Prywatność. Rozmowy, dokumenty i kod nie opuszczają Twojego komputera. Możesz bez obaw wkleić umowę, notatki czy dane, których nigdy nie wysłałbyś do chmury.
- Bez internetu. Po pobraniu model działa offline - w pociągu, na działce, w samolocie.
- Bez opłat i limitów. Nie ma abonamentów, limitów wiadomości ani zmian cennika.
- Nauka. To najlepszy sposób, żeby zrozumieć, jak działają modele językowe.
Trzeba też uczciwie powiedzieć o wadach: lokalne modele są mniejsze i słabsze od największych modeli w chmurze. Gorzej radzą sobie ze skomplikowanym rozumowaniem, częściej się mylą i wolniej odpowiadają na słabszym sprzęcie. Do streszczania tekstów, poprawiania stylu, prostych pytań czy pomocy przy kodzie wystarczą jednak w zupełności.
Jaki sprzęt jest potrzebny?
Najważniejsza jest pamięć: model musi się zmieścić w pamięci karty graficznej (VRAM) albo w zwykłym RAM-ie. Wielkość modelu podaje się w miliardach parametrów (np. 8B = 8 miliardów). W praktyce, w popularnym skompresowanym formacie, model zajmuje mniej więcej 0,6-0,7 GB na każdy miliard parametrów.
| Wielkość modelu | Przykłady | Zajmuje ok. | Na czym zadziała |
|---|---|---|---|
| 1-4B | małe Gemma, Qwen, Bielik 4.5B | 1-3 GB | prawie każdy laptop z 8 GB RAM, nawet bez karty graficznej |
| 7-9B | Llama 8B, Qwen 8B | 5-6 GB | 16 GB RAM albo karta z 8 GB VRAM |
| 11-14B | Gemma 12B, Bielik 11B, Qwen 14B | 8-10 GB | karta z 12 GB VRAM (na samym procesorze wolno) |
| 27-32B | większe Gemma i Qwen | 18-22 GB | karta z 24 GB VRAM |
Karta graficzna nie jest obowiązkowa, ale robi ogromną różnicę - na samym procesorze odpowiedź pojawia się słowo po słowie, na karcie płynnie. Najlepiej wspierane są karty NVIDIA (wymagają sterownika własnościowego - zobacz Jaka karta graficzna do Linuksa?). Nowsze karty AMD Radeon też działają, a Ollama potrafi korzystać także z Vulkana, co pomaga na kartach AMD i Intel.
Który model wybrać?
Modele, które można pobrać i uruchomić u siebie, nazywa się otwartymi (dokładniej: z otwartymi wagami). Udostępniają je m.in. Google (Gemma), Alibaba (Qwen), Meta (Llama), Mistral AI i inne firmy. Nowe wersje pojawiają się co kilka miesięcy, więc zamiast konkretnej nazwy zapamiętaj zasadę: zacznij od najnowszej wersji modelu Gemma albo Qwen w rozmiarze dopasowanym do swojej pamięci.
Większość modeli dobrze rozumie polski, ale najmniejsze potrafią odpowiadać koślawo. Warto więc znać Bielika - polski model rozwijany przez społeczność SpeakLeash we współpracy z ACK Cyfronet AGH. Jest dostępny w kilku rozmiarach, od małego 4,5B po 11B, i wyjątkowo dobrze radzi sobie z polszczyzną.
Opcja 1: Ollama - dla każdego
Ollama to najpopularniejszy sposób na lokalne modele. Instalujesz ją jednym poleceniem z oficjalnej strony:
curl -fsSL https://ollama.com/install.sh | sh
Potem uruchamiasz model, np.:
ollama run gemma3
Ollama pobierze model i otworzy rozmowę w terminalu. Polskiego Bielika uruchomisz poleceniem podanym przez jego twórców:
ollama run hf.co/speakleash/Bielik-4.5B-v3.0-Instruct-GGUF:Q8_0
Wolisz okienka? Zainstaluj z Flathub Alpacę - graficzną nakładkę na Ollamę. Wygląda jak czat w ChatGPT: lista rozmów, wybór modelu, dołączanie obrazków i dokumentów.
Ollama działa w tle jako usługa, z której mogą korzystać inne programy - także OpenCode, o którym niżej.
Opcja 2: Ollama Manager - cała lokalna AI w okienkach
Nie chcesz w ogóle otwierać terminala? Ollama Manager to polski, otwarty program (licencja GPL 3) tworzony przez autora naszej strony. To panel sterowania całą lokalną AI:
- instaluje Ollamę jednym kliknięciem - nie musisz wpisywać polecenia z opcji 1,
- ma wyszukiwarkę modeli z biblioteki Ollamy i serwisu Hugging Face (także Bielika), z prawdziwym rozmiarem plików i szacunkiem potrzebnej pamięci - od razu widzisz, czy model zmieści się na Twoim sprzęcie,
- ma wbudowany czat z załącznikami (zdjęcia, PDF, dokumenty Worda i LibreOffice) i statystykami szybkości każdej odpowiedzi - przydatnymi do porównywania modeli,
- pokazuje na żywo obciążenie procesora, pamięci i karty graficznej,
- bardziej zaawansowanym pozwala jednym kliknięciem doinstalować Open WebUI (pełny czat w przeglądarce z historią rozmów) i obsługiwać kilka komputerów z Ollamą w domowej sieci.
Program jest po polsku, zaprojektowany pod pulpit KDE i dystrybucje oparte na Debianie (Debian, Ubuntu, Linux Mint). Instalujesz go z paczki .deb pobranej z GitHuba projektu. To młody projekt - przed wersją 1.0 brakuje jeszcze m.in. zapisywania rozmów w czacie - ale już teraz najwygodniej zarządza się w nim lokalnymi modelami.
Opcja 3: OpenCode - dla programistów
OpenCode to otwarty (licencja MIT) agent AI do programowania. Nie jest zwykłym czatem: działa w folderze Twojego projektu, czyta pliki, proponuje zmiany w kodzie, uruchamia testy i polecenia - jak doświadczony kolega, który siedzi obok. Działa w terminalu, ma też aplikację na pulpit i dodatki do edytorów, np. VS Code.
Dla tematu tego artykułu najważniejsze jest to, że OpenCode sam wykrywa modele z Ollamy działającej na Twoim komputerze. Możesz więc mieć agenta do programowania, który w ogóle nie wysyła Twojego kodu do internetu. OpenCode oferuje też zestaw darmowych modeli w chmurze, dostępnych bez zakładania konta, i współpracuje z płatnymi usługami popularnych firm. Instrukcję instalacji znajdziesz na opencode.ai.
Od czego zacząć?
Sprawdź swój sprzęt
Zobacz, ile masz RAM-u i jaką kartę graficzną (w Linux Mint: Menu → Informacje o systemie). To podpowie, jak duży model możesz uruchomić - patrz tabela wyżej.
Zainstaluj Ollamę i wybierz okienka
Ollamę zainstalujesz jednym poleceniem albo jednym kliknięciem w Ollama Managerze. Do samych rozmów wystarczy Alpaca, do zarządzania modelami i sprzętem - Ollama Manager. Wszystko jest darmowe i otwarte.
Zacznij od małego modelu
Pobierz model w rozmiarze 4-8B. Jeśli działa płynnie, spróbuj większego. Porównaj też odpowiedzi po polsku z Bielikiem.
Podsumowanie
Własna AI na Linuksie to dziś kwestia kilku minut. Ollama z Alpacą albo Ollama Managerem da Ci prywatnego asystenta, który działa bez internetu i bez opłat, a programiści mogą podłączyć go do OpenCode. Lokalne modele nie dorównają największym usługom w chmurze, ale do codziennych zadań - i do wszystkiego, czego nie chcesz nikomu wysyłać - sprawdzą się świetnie. Jeśli wolisz jednak ChatGPT czy Claude, przeczytaj, jak korzystać z nich na Linuksie.
