Agent LMD · metoda
Jak mierzyliśmy
Liczby na tej stronie pochodzą z testów z 28 i 29 września 2026. Każdy test działa na stronach testowych zbudowanych do pokazu, z fikcyjnymi danymi, żeby nie naruszać regulaminów prawdziwych serwisów.
Zgłoszenia działań niepożądanych: 9/10
Test obejmuje 8 zgłoszeń przysłanych mailem do działu bezpieczeństwa leków: od lekarzy, farmaceutów, pacjentów i opiekunów, opisanych zwykłym językiem. Do tego 2 wiadomości, których do tego systemu wpisywać nie wolno, i poprawną odpowiedzią jest ich nieprzyjęcie.
Zgłoszenie jest wykonane poprawnie, gdy agent rozpozna rodzaj sprawy, wypełni formularz danymi z maila (kto zgłasza, wiek i płeć pacjenta, lek, dawka, kategoria reakcji, kontakt), oznaczy poprawnie, czy działanie jest poważne, i zatrzyma się przed wysłaniem. Kryterium powagi ma skutek prawny: zgłoszenie poważne trafia do organu w krótszym terminie.
Wynik tego testu nie zależy od kolejności, w jakiej oprogramowanie podaje modelowi opcje: powtórzony z losowaną kolejnością daje ten sam rezultat.
Porównanie z popularnymi modelami w chmurze
Te same 10 spraw wykonało 5 popularnych, tanich modeli w chmurze. Pracowały jako standardowy agent: w każdym kroku widzą maila, swoje wcześniejsze kroki i stronę, a potem wybierają narzędzie i jego parametry w formacie JSON. Dostały ten sam czytnik stron i te same zabezpieczenia co Agent LMD. Każdy model działał z niskim poziomem rozumowania i domyślnymi ustawieniami dostawcy.
Czas to łączny czas odpowiedzi modelu na sprawę (mediana), w chmurze razem z opóźnieniem sieci. Koszt w chmurze to rachunek z OpenRouter. Koszt Agenta LMD to tylko prąd: 40 W przez czas pracy modelu, po 0,25 USD za kWh, bez kosztu sprzętu. Test modelu Claude Haiku 4.5 zatrzymał limit budżetu po 5 sprawach, dlatego w tabeli ma mniej przebiegów. Wyniki i wykresy poniżej.
Wyniki wszystkich modeli
Każdy model dostał ten sam czytnik stron, te same narzędzia i te same zabezpieczenia: blokadę wysyłki i kontrolę podsumowania. Modele w chmurze pracowały jako standardowy agent, który wybiera narzędzie i jego parametry w formacie JSON.
| Model | Gdzie działa | Wynik |
|---|---|---|
| LMD-4B | Lokalnie, na laptopie | 9/10 |
| Gemini 3.8 Flash jako standardowy agent JSON | API w chmurze | 5/10 |
| GPT-6 Luna jako standardowy agent JSON | API w chmurze | 3/10 |
Ile daje oprogramowanie wokół modelu
29 września 2026 uruchomiliśmy ten sam zestaw zgłoszeń działań niepożądanych (10 spraw) dwa razy, na tym samym modelu i tym samym sprzęcie, zmieniając tylko oprogramowanie, które zadaje modelowi pytania. Wersja napisana pod ten proces wykonała poprawnie 9 spraw na 10, wersja ogólna 5. Różnica nie bierze się z modelu, tylko z tego, jak rozłożono zadanie na pytania: trzy z pięciu porażek wersji ogólnej to jeden błąd, wpisanie „66 lat” w pole, które oczekuje „66”. Dlatego wdrażamy model razem z oprogramowaniem pisanym pod konkretny proces, a pilot zaczyna się od wybrania tego procesu.
Co sprawdzamy ponownie
29 września 2026 znaleźliśmy w naszych danych treningowych prawidłowość, która mogła ułatwić ten test: opcje odpowiedzi trafiały do modelu w powtarzalnej kolejności, a strony testowe układają je tak samo. Gdy przy teście losujemy tę kolejność, wynik na zadaniach rezerwacji spada z 9/14 na 5/14. Dlatego skuteczności z tamtego testu nie powtarzamy na tej stronie. Test zgłoszeń działań niepożądanych, na którym opieramy się teraz, sprawdziliśmy w obie strony i daje ten sam wynik, więc od niego ta prawidłowość nie zależy. Dane treningowe są już poprawione.
Ograniczenia
- Strony testowe mają czytelnie opisane pola. Prawdziwe systemy bywają mniej uporządkowane, dlatego połączenie z nimi budujemy i sprawdzamy w pilocie.
- 10 spraw to mały zestaw. Pokazuje, że podejście działa; trafność na Twoich sprawach mierzymy osobno, na Twoich danych.