Spis treści:
Jeśli korzystasz z ChatGPT do pisania kodu Arduino, możesz przegapić narzędzie stworzone specjalnie z myślą o Tobie: Arduino AI Assistant, które jest wbudowane bezpośrednio w Arduino Cloud.
Chociaż ogólne AI, takie jak ChatGPT, potrafią generować kod, często pomijają istotne szczegóły – na przykład używają nieodpowiednich bibliotek lub dodają niepotrzebną złożoność. Arduino AI Assistant, z kolei, jest trenowane na dokumentacji i bibliotekach Arduino, a także ma kontekst pracy użytkownika oraz wykorzystywanego sprzętu, dzięki czemu rozumie dokładnie, jak działają Twoje płytki, czujniki i projekty.
Aby to zweryfikować, firma Arduino przeprowadziła porównanie. Zestawiła Arduino AI Assistant, zintegrowane z Arduino Cloud, z dwiema wersjami ChatGPT: darmową oraz płatną „ChatGPT 5-Thinking”.
Arduino AI Assistant kontra ChatGPT - test
Wszystkim trzem modelom AI zadano to samo zadanie:
„Napisz szkic dla Nano ESP32, który łączy się z siecią Wi-Fi i co 5 sekund wysyła odczyty temperatury z zewnętrznego czujnika HTS221 do brokera MQTT (test.mosquitto.org). Użyj odpowiednich bibliotek, jeśli to możliwe.”
Dlaczego wybrano właśnie to zadanie? Ponieważ odzwierciedla ono typowe potrzeby w rzeczywistych projektach IoT – obejmuje połączenie z siecią Wi-Fi, obsługę czujnika oraz komunikację przez MQTT, a przy tym wymaga zastosowania konkretnych bibliotek Arduino:
Wi-Fi: biblioteka WiFi z pakietu Nano ESP32 Core
MQTT: ArduinoMqttClient
Czujnik: Arduino_HTS221
To klasyczny przykład zastosowania w projektach IoT i świetny sposób, aby sprawdzić, które z modeli naprawdę „rozumie” środowisko Arduino.
Metodyka oceny
Aby zapewnić rzetelność i przejrzystość porównania Arduino AI Assistant z ChatGPT, firma Arduino zastosowała metodę LLM-as-a-Judge – podejście opisane w najnowszych badaniach (A Survey on LLM-as-a-Judge).
W ramach prac nad Arduino AI Assistant opracowano rozbudowany zestaw testów wydajnościowych, obejmujący szeroki zakres realistycznych zapytań i scenariuszy, które odzwierciedlają typowe problemy i pytania użytkowników Arduino podczas tworzenia projektów.
Ze względu na dużą liczbę testów konieczne było opracowanie metody oceny, która będzie szybka, automatyczna i obiektywna. Zamiast opierać się wyłącznie na ręcznym przeglądzie wyników przez ludzi, wykorzystano model językowy w roli „sędziego”, który analizuje odpowiedzi według jasno zdefiniowanych kryteriów i ocenia, czy spełniają one założone wymagania.
W tym artykule zastosowano tę samą metodykę nie tylko wobec Arduino AI Assistant, ale również wobec ChatGPT Free oraz ChatGPT Plus (Thinking). Dzięki temu każde z narzędzi było testowane na identycznych danych wejściowych i oceniane według tych samych zasad, co zapewniło uczciwe porównanie.
W dalszej części przedstawiono jeden reprezentatywny przykład z zestawu testowego, który ilustruje sposób oceny oraz różnice w wynikach uzyskanych przez poszczególne modele.
Wyniki testu
ChatGPT Free
Wersja ChatGPT Free wygenerowała kod, jednak nie spełniła wszystkich wymagań zadania.
Zamiast użyć właściwej biblioteki MQTT, model zastosował PubSubClient oraz Adafruit_HTS221, które nie są oficjalnymi bibliotekami przeznaczonymi dla tej płytki. W efekcie powstały szkic nie spełniał standardów obowiązujących w projektach Arduino i mógł prowadzić do problemów z kompatybilnością.
ChatGPT 5-Thinking
Wynik działania ChatGPT 5-Thinking okazał się bardzo podobny do wersji darmowej.
Model wygenerował kod, który technicznie działa, jednak ponownie zignorował wskazane biblioteki. Dodatkowo dodał zbędne objaśnienia i funkcje, przez co szkic stał się bardziej rozbudowany, niż wymagało zadanie. Efekt jest więc nieco bliższy oczekiwanemu, ale wciąż zbyt mało precyzyjny, by można było uznać go za w pełni wiarygodne rozwiązanie w środowisku Arduino.
Arduino AI Assistant
Na koniec – Arduino AI Assistant.
Tutaj różnica jest wyraźna. Asystent generuje przejrzysty i zwięzły szkic, wykorzystując dokładnie te biblioteki Arduino, które zostały wskazane w zadaniu. Kod jest gotowy do wgrania od razu – bez poprawek, bez debugowania i bez zbędnych dodatków. Efekt? Poprawny, dopracowany program idealnie dopasowany do płytki Nano ESP32 i czujnika HTS221.
Arduino AI Assistant kontra ChatGPT - zwycięzca
W bezpośrednim porównaniu wynik jest jasny – Arduino AI Assistant dostarcza poprawne i gotowe do użycia rozwiązanie, podczas gdy pozostałe modele mijają się z oczekiwaniami.
Obejrzyj krótki materiał wideo, w którym Leonardo Cavagnis, inżynier oprogramowania sprzętowego w firmie Arduino, przedstawia szybkie porównanie Arduino AI Assistant i ChatGPT oraz omawia najważniejsze różnice między nimi.
Wypróbuj Arduino AI Assistant samodzielnie
Nie musisz opuszczać swojego środowiska pracy, aby uzyskać wsparcie – Arduino AI Assistant jest zintegrowany bezpośrednio z sekcją Sketch w Arduino Cloud i dostępny bezpłatnie, z limitem 30 interakcji miesięcznie.
Asystent pomoże Ci w wielu zadaniach związanych z Arduino, m.in.:
wygeneruje szkice dopasowane do Twojej płytki i czujników,
wskaże i naprawi błędy w kodzie,
wytłumaczy działanie funkcji i pojęć Arduino w przystępny sposób,
podpowie, jak prawidłowo podłączyć elementy sprzętowe,
a także pomoże w wielu innych sytuacjach typowych dla projektów Arduino.
