AI-SCI Lokalne LLM • RAG • Edge AI
Praktyka, pomiary i ograniczenia

Projekty, demonstratory i laboratorium AI-SCI

Pokazuję tu własne projekty, demonstratory i środowisko testowe wykorzystywane do sprawdzania lokalnych modeli LLM, RAG, automatyzacji dokumentów, edge AI oraz wydajności sprzętu. Każdy opis jasno określa status rozwiązania — bez przedstawiania prototypu jako wdrożenia klientowskiego.

Jawny status prac

Demonstrator nie jest wdrożeniem klientowskim

Ta strona pokazuje rzeczywiste projekty własne, prototypy, demonstratory i narzędzia badawczo-rozwojowe AI-SCI. Status przy każdym projekcie informuje, na jakim etapie znajduje się rozwiązanie. Nie publikuję fikcyjnych case studies ani wyników, których nie da się powiązać z konkretnym testem.

Wspólnym celem tych prac jest ograniczenie ryzyka przed wdrożeniem: sprawdzenie jakości modelu, wydajności całego potoku, wymagań sprzętowych, prywatności danych i punktów, w których prostsza automatyzacja może być lepsza od AI.

Projekty własne

Od architektury LLM po analizę obrazu na brzegu sieci

Każdy opis obejmuje problem, architekturę, rezultat, ograniczenia i możliwe zastosowanie biznesowe.

Projekt własny / demonstrator

Router LLM / lexSecureRouter

Warstwa pośrednicząca między użytkownikiem, modelami lokalnymi, usługami API i firmową wiedzą. Jej zadaniem jest dobrać sposób obsługi zapytania zamiast kierować każde zadanie do jednego modelu.

  • Python
  • FastAPI
  • Ollama
  • RAG
  • MongoDB
  • SearxNG / YaCy

Problem

Różne zadania wymagają różnej jakości, prywatności, czasu odpowiedzi i kosztu. Jeden model nie jest najlepszy do kodu, dokumentów, wyszukiwania wiedzy i prostych pytań jednocześnie.

Architektura

  1. API w FastAPI przyjmujące zapytanie i kontekst zadania
  2. klasyfikacja oraz routing do modelu lokalnego albo zewnętrznego API
  3. RAG i wyszukiwanie źródeł z użyciem SearxNG lub YaCy
  4. adaptery modeli, rejestrowanie wyników w MongoDB i testy automatyczne

Rezultat

Powstał działający demonstrator architektury wielomodelowej z obsługą modeli lokalnych i API, klasyfikacją zapytań, RAG oraz automatycznym testowaniem wybranych kategorii i wariantów wykonania.

Ograniczenia

Przed użyciem produkcyjnym potrzebne są reguły uprawnień, monitoring jakości i kosztów, polityka retencji danych, odporność na awarie dostawców oraz testy na rzeczywistych danych organizacji.

Możliwe zastosowanie biznesowe

Systemy, w których część zapytań musi pozostać lokalnie, a część może korzystać z mocniejszych usług chmurowych. Router pozwala dobierać wariant według prywatności, jakości, kosztu i czasu odpowiedzi.

Projekt własny / prototyp

lexSecure — automatyzacja dokumentów

Prototyp systemu wspierającego tworzenie, porządkowanie i standaryzację dokumentów z wykorzystaniem lokalnych modeli językowych, szablonów oraz kontrolowanego eksportu do DOCX.

  • Python
  • lokalne LLM
  • RAG
  • DOCX
  • HTML → DOCX
  • walidacja

Problem

Praca z dokumentami często łączy ręczne kopiowanie treści, niespójne formatowanie, wyszukiwanie właściwych informacji i konieczność zachowania poufności danych.

Architektura

  1. szablony i kategorie dokumentów opisujące oczekiwaną strukturę
  2. lokalne modele LLM oraz opcjonalny RAG do pracy ze źródłami
  3. walidacja i standaryzacja wygenerowanej treści
  4. konwersja HTML do DOCX i kontrola nazewnictwa plików

Rezultat

Uruchomiono przepływ od zebrania danych i wygenerowania treści do utworzenia ustandaryzowanego dokumentu DOCX. Projekt służy również do porównywania modeli polskojęzycznych i sposobów ograniczania błędów generowania.

Ograniczenia

Wynik modelu wymaga walidacji merytorycznej. System nie zastępuje specjalisty, a zakres automatyzacji zależy od jakości szablonów, źródeł oraz reguł kontroli dokumentu.

Możliwe zastosowanie biznesowe

Procesy z dużą liczbą powtarzalnych pism, raportów, formularzy i dokumentów wewnętrznych, w których liczą się spójność, krótszy czas przygotowania i kontrola nad danymi.

Demonstrator edge AI

Raspberry Pi 5 + Hailo-10H — detekcja i śledzenie

Lokalny potok wizyjny wykorzystujący kamery, Raspberry Pi 5 i akcelerator Hailo-10H do detekcji oraz śledzenia obiektów bez wysyłania całego strumienia obrazu do chmury.

  • Raspberry Pi 5
  • Hailo-10H
  • YOLO
  • GStreamer
  • V4L2
  • Python / C++

Problem

Analiza obrazu w chmurze zwiększa opóźnienie, zużycie łącza i ekspozycję nagrań. W wielu zastosowaniach decyzja powinna powstać blisko kamery.

Architektura

  1. kamery i lokalny potok wideo na Raspberry Pi 5
  2. detekcja obiektów modelami YOLO wykonywana przez Hailo-10H
  3. identyfikatory śledzenia i logika wyboru obserwowanego obiektu
  4. oddzielny pomiar inferencji oraz całego potoku z dekodowaniem i prezentacją obrazu

Rezultat

Demonstrator wykrywa i śledzi obiekty w obrazie. W testach wewnętrznych część inferencyjna bez wyświetlania osiągała około 190–230 FPS, natomiast pełny potok z prezentacją obrazu działał około 8,5 FPS. Pokazuje to, że wąskim gardłem może być obsługa obrazu, a nie sam akcelerator.

Ograniczenia

Wyniki zależą od modelu, rozdzielczości, oświetlenia, liczby strumieni i sposobu prezentacji. Rozpoznanie konkretnej osoby lub obiektu wymaga osobnego mechanizmu identyfikacji oraz oceny prawnej zastosowania.

Możliwe zastosowanie biznesowe

Lokalna kontrola zdarzeń, analiza ruchu, detekcja obiektów, monitoring urządzeń i inne zadania wymagające krótkiej reakcji oraz ograniczenia przesyłania obrazu.

Projekt B+R / narzędzie wewnętrzne

Automatyczna pętla tworzenia i testowania kodu

Architektura, w której model generuje zmianę kodu, uruchamia testy, analizuje wynik i przygotowuje kolejną iterację, korzystając z wielu modeli oraz kilku maszyn obliczeniowych.

  • lokalne modele kodowe
  • Git
  • testy automatyczne
  • benchmarki
  • sandbox
  • praca rozproszona

Problem

Samo wygenerowanie kodu nie gwarantuje poprawności. Kolejna iteracja może naprawić jeden test, a jednocześnie pogorszyć wcześniejsze wyniki lub bezpieczeństwo projektu.

Architektura

  1. opis zadania i kryteria zakończenia zapisane jako testowalne wymagania
  2. generowanie zmian w odizolowanej gałęzi albo katalogu roboczym
  3. uruchamianie testów, benchmarków i analizy statycznej
  4. porównanie z wynikiem bazowym, kontrola regresji i decyzja o kolejnej iteracji

Rezultat

Opracowywana jest pętla łącząca lokalne modele, generowanie kodu, automatyczne testy i ocenę regresji. Projekt służy jako środowisko badawcze do sprawdzania, jak bezpiecznie delegować kolejne kroki wielu agentom i komputerom.

Ograniczenia

Pełna autonomia jest ryzykowna. Potrzebne są limity zasobów, sandbox, wersjonowanie, możliwość szybkiego rollbacku, zestaw testów chroniących dotychczasowe funkcje i punkty zatwierdzania przez człowieka.

Możliwe zastosowanie biznesowe

Wsparcie utrzymania kodu, budowy prototypów, migracji i optymalizacji, gdy wynik można obiektywnie sprawdzić testami, benchmarkami albo regułami jakości.

Laboratorium AI-SCI

Sprzęt dobierany do rodzaju testu

Laboratorium nie jest kolekcją komputerów. Każda platforma ma określoną rolę: większe modele, CUDA, bieżąca inferencja, edge AI, bazy danych albo praca rozproszona.

Większe modele lokalne i architektury wielomodelowe

ASUS Ascent GX10 z NVIDIA GB10

Platforma do testowania większych modeli, długiego kontekstu, pracy wielu komponentów oraz prototypów wymagających dużej pamięci współdzielonej.

CUDA, inferencja i obliczenia numeryczne

NVIDIA Tesla V100 32 GB

Środowisko do porównań GPU, eksperymentów CUDA, testów modeli mieszczących się w 32 GB pamięci oraz obliczeń wymagających dobrej wydajności numerycznej.

Współczesna inferencja i analiza obrazu

NVIDIA RTX 5070 Ti

Stacja robocza używana do bieżących testów modeli, narzędzi generatywnych, przetwarzania obrazu i integracji aplikacyjnych.

Edge AI i lokalna analiza obrazu

Raspberry Pi 5 z Hailo-10H

Platforma do detekcji, śledzenia i eksperymentów z przetwarzaniem obrazu blisko źródła danych, bez stałego wysyłania materiału do chmury.

RAG, dokumenty, bazy danych i usługi pomocnicze

Serwery CPU i duża pamięć RAM

Zaplecze do indeksowania dokumentów, baz wektorowych, baz danych, usług API oraz testów wariantów CPU i GPU.

Praca rozproszona i przepływ danych

Sieć 10 Gb/s

Połączenie platform testowych umożliwiające sprawdzanie architektur rozproszonych oraz sprawne przenoszenie modeli i danych między maszynami.

Co publikuję, a czego nie ujawniam

Pokazuję klasę platformy, jej rolę i metodę testu. Nie publikuję numerów seryjnych, adresów IP i MAC, danych dostępowych, dokładnej topologii sieci, otwartych portów ani informacji o fizycznym zabezpieczeniu sprzętu.

Metodyka

Najpierw kryteria, potem benchmark

Sam wynik tokenów na sekundę albo liczba klatek nie odpowiada jeszcze na pytanie, czy rozwiązanie będzie użyteczne. Pomiar musi obejmować cały proces i jakość wyniku.

  1. 1. Zadanie i daneDefinicja procesu, danych wejściowych, ograniczeń i oczekiwanego rezultatu.
  2. 2. MetrykiJakość odpowiedzi, czas pierwszej odpowiedzi, przepustowość, pamięć, stabilność i koszt.
  3. 3. WariantyPorównanie modeli, kwantyzacji, kontekstu, RAG, CPU, GPU oraz architektury lokalnej i hybrydowej.
  4. 4. Cały potokPomiar nie tylko modelu, lecz także wczytywania danych, wyszukiwania, walidacji, sieci i interfejsu.
  5. 5. Raport i ograniczeniaRekomendacja wraz z ryzykami, przypadkami błędnymi i warunkami dalszego pilotażu.
Od demonstratora do PoC

Podobny problem można sprawdzić na małej, mierzalnej próbie

PoC powinien odpowiedzieć, czy rozwiązanie osiąga wymaganą jakość, mieści się w dostępnej infrastrukturze i daje przewagę nad prostszą automatyzacją. Dopiero wtedy ma sens planowanie pilotażu i wdrożenia.

Zobacz usługi Opisz problem do sprawdzenia