Aplikacja mobilna na platformę Android do testów wydajności smartfonów

Przedmiot: Diagnostyka i Wiarygodność SK

Opracował: Paweł Gajda

Benchmarking...?

„Benchmarking” wywodzi się on od słowa „benchmark”, co oznacza punkt wyjściowy, punkt odniesienia, punkt orientacyjny lub przedmiot stanowiący bazę do porównań. Amerykańskie Centrum Produktywności i Jakości (APQC) wyjaśnia pojęcie benchmark jako „najlepsze w swojej klasie” osiągnięcie, uznawane za wzorzec doskonałości dla danego procesu działalności gospodarczej. Ogólnie definiując benchmarking to ciągły, systematyczny proces, skoncentrowany na mierzeniu i porównywaniu produktów, procesów lub sposobów działania, mający na celu poprawianie efektywności funkcjonowania organizacji.

(źródło: Słownik Innowacji, http://www.pi.gov.pl/)

Benchmarking...?

„Benchmarking” wywodzi się on od słowa „benchmark”, co oznacza punkt wyjściowy, punkt odniesienia, punkt orientacyjny lub przedmiot stanowiący bazę do porównań. Amerykańskie Centrum Produktywności i Jakości (APQC) wyjaśnia pojęcie benchmark jako „najlepsze w swojej klasie” osiągnięcie, uznawane za wzorzec doskonałości dla danego procesu działalności gospodarczej. Ogólnie definiując benchmarking to ciągły, systematyczny proces, skoncentrowany na mierzeniu i porównywaniu produktów, procesów lub sposobów działania, mający na celu poprawianie efektywności funkcjonowania organizacji.

(źródło: Słownik Innowacji, http://www.pi.gov.pl/)

Benchmarking...?

„Benchmarking” wywodzi się on od słowa „benchmark”, co oznacza punkt wyjściowy, punkt odniesienia, punkt orientacyjny lub przedmiot stanowiący bazę do porównań. Amerykańskie Centrum Produktywności i Jakości (APQC) wyjaśnia pojęcie benchmark jako „najlepsze w swojej klasie” osiągnięcie, uznawane za wzorzec doskonałości dla danego procesu działalności gospodarczej. Ogólnie definiując benchmarking to ciągły, systematyczny proces, skoncentrowany na mierzeniu i porównywaniu produktów, procesów lub sposobów działania, mający na celu poprawianie efektywności funkcjonowania organizacji. udzielenie pomocy Kowalskiemu w zakupie najwydajniejszego telefonu na rynku.
(źródło: Słownik Innowacji, http://www.pi.gov.pl/)

Popularne aplikacje do benchmarków
(na platformę Android)

• Geekbench 3
• 3DMark
• AndEBench
• Vellamo
• GFXBench
• AnTuTu Benchmark
• AnTuTu 3DBench
• Basemark X

Po co pisać własne benchmarki?

(źródło: lifehacker.com)

Przechodząc do projektu...

...co chciałbym benchmarkować?

• częstotliwość taktowania procesora CPU

• wydajność GPU 

• wydajność pamięci masowej

• wydajność pamięci RAM

• temperatura urządzenia

• poziom baterii

...w jakich krokach?

• Implementacja benchmarków
• Uruchomienie benchmarków na urządzeniu wzorcowym
• Określenie wyników bazowych (punktów odniesienia), stanowiących bazę do porównań
• Uruchomienie aplikacji z gotowymi benchmarkami na wielu smartfonach/tabletach/zegarkach/pralkach z systemem Android 
• Analiza porównawcza uzyskanych wyników
• Porównanie otrzymanych wyników z innymi aplikacjami

Jak benchmarkować częstotliwość taktowania procesora CPU?

• długie operacje (rekurencyjne)
• operacje na wielu wątkach

Jak benchmarkować częstotliwość taktowania procesora CPU?

• długie operacje (rekurencyjne)
• operacje na wielu wątkach
• ile operacji w przedziale czasu?

Jak benchmarkować wydajność GPU?

FPS

FPS

FPS

FPS

FPS

FPS

FPS

FPS

FPS

Jak benchmarkować wydajność pamięci masowej?

bytes / s

Jak benchmarkować wydajność pamięci RAM?

Jak benchmarkować temperaturę urządzenia oraz wydajność baterii?

Wykonać pomiar na początku

Wykonać pomiar na końcu

Jak benchmarkować temperaturę urządzenia oraz wydajność baterii?

Wykonać pomiar na początku

Wykonać pomiar na końcu

...i pewnie kilka razy w środku...

Jakie problemy mogą się pojawić w trakcie realizacji projektu?

• Problem zaimplementowania benchmarków "optymalnie" obciążających procesory CPU, GPU oraz pamięć poszczególnych urządzeń mobilnych (uzyskanie odpowiedniej bazy do porównań).
• Utrudnione debugowanie i testowanie związane z długim wykonywaniem się benchmarków.
• Zapotrzebowanie na "różnorodny" sprzęt do testów.

Dziękuję za uwagę!

Czas na Q&A