Prototyp działa. Co właściwie zostało udowodnione?

Sukces wymaga określonego pytania

Urządzenie uruchomiło się, aplikacja pokazała temperaturę, a wynik wygląda wiarygodnie. Co właśnie sprawdziliśmy? Być może tylko to, że czujnik odpowiada, firmware, czyli oprogramowanie urządzenia, odczytuje dane, a komunikacja działa na biurku autora. To potrzebna informacja, lecz nie odpowiada jeszcze na pytanie, czy produkt będzie użyteczny w miejscu instalacji i przez oczekiwany czas.

Prototyp ma największą wartość wtedy, gdy umożliwia decyzję. Zamiast „sprawdzimy urządzenie” warto zapisać: „ustalimy, czy ta architektura pozwala na rok pracy z baterii przy odczycie co 10 sekund”. Tak postawione pytanie wskazuje, jakie dane zebrać, które warunki odtworzyć i co mogłoby podważyć pomysł.

Nie każdy eksperyment musi rozstrzygać o gotowości całego produktu. Czasem wystarczy odrzucić jedną z dwóch metod pomiaru. Ważne, by nie przypisywać wynikowi szerszego znaczenia niż zakres badania. Poniższy czujnik i wszystkie liczby są przykładem hipotetycznym, a nie opisem realizacji BBest24.

PoC, prototyp i MVP: różne pytania

Nazwy nie stanowią dowodu dojrzałości. Proof of concept (PoC) zwykle bada wykonalność zasady. Prototyp reprezentuje wybrane cechy przyszłego rozwiązania, aby można było je ocenić. MVP (minimum viable product) to produkt o minimalnym zakresie funkcji pozwalającym sprawdzić jego wartość w rzeczywistym użyciu. W projekcie warto uzgodnić te znaczenia, zamiast zakładać, że wszyscy rozumieją etykiety jednakowo.

Nie jest to obowiązkowa drabina etapów. Równolegle mogą powstać prosty układ elektroniczny do pomiaru energii, model obudowy do badań cieplnych oraz makieta aplikacji. Jeden efektowny demonstrator integrujący wszystko nie zawsze jest najtańszym sposobem odpowiedzi na najważniejsze pytanie.

Jeden czujnik, trzy różne dowody

Rozważmy czujnik temperatury przesyłający dane co 10 sekund. Pierwszy demonstrator działa na płytce uruchomieniowej zasilanej przez USB. Poprawny odczyt w aplikacji potwierdza podstawową współpracę elementów. Zasilanie USB ukrywa jednak ograniczenia baterii, a brak obudowy zmienia oddawanie ciepła i warunki pracy anteny.

Drugi eksperyment powinien dotyczyć całego cyklu energetycznego: wybudzenia, pomiaru, transmisji, oczekiwania na odpowiedź i uśpienia. Trzeci może badać błąd temperatury po zamknięciu elektroniki w obudowie. W obu przypadkach radio nadal „działa”, ale kryteria oceny są inne.

Schemat pokazuje pojedynczy przebieg od pytania do decyzji. W praktyce decyzja może prowadzić do nowego pytania i kolejnego eksperymentu; tej pętli nie narysowano. Powrót jest uzasadniony, jeśli wynik ujawnił nieznane wcześniej ograniczenie. Nie warto natomiast poprawiać definicji sukcesu dopiero po teście wyłącznie po to, aby uzyskany wynik do niej pasował.

Budżet baterii: mały szczegół zmienia wynik

Załóżmy pobór całego urządzenia po stronie baterii: 20 mA przez 0,1 s aktywności i 10 µA, czyli 0,01 mA, przez pozostałe 9,9 s. Prąd średni obliczamy jako sumę prądów pomnożonych przez czasy ich trwania, podzieloną przez długość cyklu:

I średni = (20 mA · 0,1 s + 0,01 mA · 9,9 s) / 10 s = 0,2099 mA.

Dla nominalnych 2000 mAh uproszczony czas pracy wynosi 2000 mAh / 0,2099 mA ≈ 9528 godzin, czyli około 397 dni. Na pierwszy rzut oka wymaganie roku wygląda osiągalnie. To jednak tylko około 9% ponad 365 dni, jeszcze przed uwzględnieniem ograniczeń baterii. Nie jest to mocny dowód spełnienia wymagania z zapasem.

Teraz wydłużmy aktywność do 0,5 s z powodu ponowień transmisji i oczekiwania na potwierdzenie. Dla uproszczenia cały ten czas nadal przypisujemy poborowi 20 mA. Uśpienie trwa 9,5 s, więc średnia wynosi 1,0095 mA, a teoretyczny czas pracy około 83 dni. Częstotliwość pomiarów nie zmieniła się, ale wynik jest prawie pięciokrotnie gorszy.

Zasada ważenia prądu czasem jest opisana m.in. przez Texas Instruments. Tutaj używamy jej do jawnego modelu całego urządzenia. Rzeczywiste fazy pracy mogą mieć różne prądy; należy wtedy policzyć każdą osobno albo zsumować zużyty ładunek z całego zmierzonego przebiegu prądu (czyli obliczyć jego całkę w czasie).

Co trzeba zmierzyć, zanim uwierzymy obliczeniu

Pojemność nominalna nie zawsze jest w całości dostępna. Znaczenie mają temperatura, starzenie, samorozładowanie, profil obciążenia i napięcie, przy którym urządzenie przestaje poprawnie działać. Jeśli mierzymy prąd za przetwornicą, nie możemy bezpośrednio dzielić pojemności baterii przez tę wartość: trzeba uwzględnić napięcia, sprawność oraz pobór własny przetwornicy. Najczytelniejszy punkt odniesienia w naszym przykładzie to zaciski baterii.

Średnia nie opisuje też krótkich zapadów napięcia. W prostym modelu wzrost rezystancji źródła powoduje większy spadek napięcia podczas impulsu prądu. Urządzenie może resetować się podczas nadawania, mimo że obliczona pojemność wystarcza. Dlatego obok bilansu energii trzeba obserwować napięcie przy impulsach obciążenia, szczególnie dla rozładowanej lub zimnej baterii.

Pomiar powinien obejmować wiele pełnych cykli, również gorszą łączność, ponowne dołączenie do sieci i restart. Sam multimetr pokazujący spokojną średnią może nie ujawnić krótkich zdarzeń. Trzeba dobrać zakres i rozdzielczość czasową aparatury, a także sprawdzić, czy jej włączenie w obwód nie powoduje dodatkowego spadku napięcia. Wyłączony debugger i docelowa konfiguracja firmware bywają ważniejsze niż kolejna cyfra wyniku.

Obudowa staje się częścią pomiaru

Czujnik na otwartej płytce mierzy temperaturę w innych warunkach niż ten sam element obok procesora i przetwornicy w małej obudowie. Po zamknięciu może wzrosnąć wpływ samonagrzewania i wydłużyć się odpowiedź na zmianę temperatury otoczenia. Stałe przesunięcie wyniku i wolna reakcja to dwa różne problemy; pojedyncza korekta kalibracyjna nie rozwiązuje obu.

Ustaw czujnik i odniesienie w zdefiniowanych warunkach, poczekaj na ustalenie temperatury, a potem sprawdź także jej zmianę. Porównaj warianty z różną aktywnością radia, zachowując pozostałe warunki. Jeśli radio dłużej pracuje i jednocześnie rośnie błąd, to wskazówka do dalszego eksperymentu, a nie jeszcze dowód wyłącznej przyczyny.

Ważna jest również jakość odniesienia. Przy dopuszczalnym błędzie ±0,5°C termometr o niepewności porównywalnej z tą granicą nie daje mocnej podstawy do oceny zgodności. Nie trzeba rozpoczynać od pełnej analizy metrologicznej, ale trzeba wiedzieć, czy metoda pozwala odróżnić wynik dobry od złego, zwłaszcza blisko granicy.

Kryteria, które prowadzą do decyzji

Poniższe wartości są przykładowymi wymaganiami tego eksperymentu, nie uniwersalnymi normami. Kryteria zapisujemy przed badaniem i oceniamy osobno dla energii, pomiaru oraz użyteczności. Przed wykonaniem tych testów trzeba uzupełnić zakres temperatur, wielkość zapasu baterii i sposób doboru uczestników. Sama tabela nie jest jeszcze kompletną procedurą odbioru.

Weryfikacja sprawdza zgodność z wymaganiem. Walidacja sprawdza, czy rozwiązanie nadaje się do zamierzonego użycia. Wyświetlanie czasu ostatniego pomiaru można poprawnie zaimplementować, a mimo to operator może go nie zauważyć. To praktyczny powód, by nie kończyć oceny na obecności pola w interfejsie. Rozróżnienie metod zbierania dowodów opisuje NASA Product Verification.

Obserwacja nie jest jeszcze uogólnieniem

Jedna dobra transmisja nie dowodzi niezawodności łącza. Tysiąc odczytów z tego samego egzemplarza na jednym biurku także nie sprawdza różnic między egzemplarzami, miejscami instalacji i sposobami użytkowania. Powtórzenia są potrzebne, lecz ich liczba nie zastępuje reprezentatywności warunków. Podobnie sukces jednego uczestnika testu aplikacji potwierdza tylko tę obserwację, nie zrozumiałość interfejsu dla całej grupy użytkowników.

Zapisuj nieudane próby i ręczne interwencje: restart, poprawienie anteny, ponowne wpisanie konfiguracji. Jeżeli autor musiał pomóc, to część wyniku. Przy diagnozowaniu zmieniaj jeden istotny czynnik naraz; później sprawdź ich współdziałanie, na przykład słabą baterię przy utrudnionej łączności.

Wynik nierozstrzygający też ma znaczenie. Jeśli aparat nie rejestruje impulsu prądu albo odniesienie temperatury jest za mało dokładne, nie oznacza to ani sukcesu, ani porażki prototypu. Kolejną decyzją powinno być poprawienie metody. Nie ma sensu wykonywać wielu identycznych demonstracji, które nie usuwają tej samej niewiadomej.

Co przekazać po eksperymencie

Zachowaj pytanie, wersje sprzętu i firmware, konfigurację, procedurę, surowe dane, kryteria, ograniczenia oraz decyzję. Wskaż elementy tymczasowe: zasilanie laboratoryjne, ręczną konfigurację czy funkcję, którą zastąpił operator. Osoba przejmująca prototyp powinna móc odtworzyć badanie i wiedzieć, do czego urządzenie nie zostało jeszcze sprawdzone.

Dla naszego przykładu uczciwy zapis brzmiałby: „Model energetyczny daje około 397 dni przy krótkiej transmisji i około 83 dni przy wydłużonej aktywności. Roczna praca nie jest jeszcze potwierdzona. Następny krok to pomiar po stronie baterii z realistyczną polityką ponowień oraz sprawdzenie zapasu napięcia”. To decyzja z analizy, nie fikcyjny raport z pomiaru.

Taki zapis oddziela to, co wiemy, od tego, czego dopiero szukamy. Prototyp nie musi udowodnić wszystkiego, aby być wartościowy. Musi dostarczyć wystarczająco wiarygodnej odpowiedzi na pytanie, od którego zależy kolejny krok.

Źródła

• NASA: Product Verification - kryteria, metody i dokumentowanie weryfikacji.
• NASA: Product Validation - ocena przydatności do zamierzonego użycia.
• Texas Instruments: Is Sleep Current or Active Current More Important for a Low-Power Sensor? - średni pobór w cyklu aktywności i uśpienia.
• Przykładowe wymagania i budżet baterii są własnym modelem obliczeniowym, nie wynikami badań produktu.