Po co w ogóle metryki

Po co w ogóle metryki

Zacznijmy od zdania, które usłyszysz na każdym wdrożeniu monitoringu:

„Mamy Zabbiksa, wszystko świeci na zielono."

I to bywa prawda. Problem w tym, że zielony dashboard mówi wyłącznie o tym, co ktoś kiedyś postanowił zmierzyć. Jeśli nikt nie podpiął metryki, która mogłaby zaświecić na czerwono — na zielono będzie zawsze, także wtedy, gdy klient nie może się zalogować.

Ten kurs jest o budowaniu monitoringu, który mówi prawdę. Także wtedy, gdy prawda jest niewygodna.

Trzy rzeczy, które mylą się wszystkim

Monitoring to nie to samo co observability. Monitoring odpowiada na pytania, które zadałeś wcześniej: „czy dysk jest pełny?", „czy usługa odpowiada?". Observability pozwala zadać pytanie, którego nie przewidziałeś — o trzeciej w nocy, gdy okazuje się, że problem dotyczy tylko klientów z jednego regionu, płacących kartą, w godzinach szczytu. Pierwsze to lista kontrolna. Drugie to możliwość śledztwa.

Metryka to nie log. Metryka jest tania i mówi „ile" — dziesięć tysięcy zapytań na sekundę, dziewięćdziesiąty piąty percentyl 200 ms. Log jest drogi i mówi „co dokładnie" — to konkretne zapytanie poszło z tego adresu i wróciło błędem 500. Metryki wykrywają, że coś jest nie tak. Logi tłumaczą, co konkretnie. Kto próbuje robić jedno drugim, płaci za to rachunkiem albo bezsennością.

Alert to nie powiadomienie. Alert ma jeden sens: ktoś ma teraz wstać i coś zrobić. Jeśli na kanale ląduje coś, na co nikt nie reaguje, to nie jest alert — to szum, który uczy ludzi ignorować kanał. A wtedy przegapią ten jeden ważny.

Cztery złote sygnały

Google w książce o SRE sprowadził to do czterech rzeczy, które warto mierzyć w pierwszej kolejności — i po piętnastu latach nadal nikt nie wymyślił lepszej listy:

• opóźnienie (latency) — ile trwa obsługa żądania; osobno dla udanych i nieudanych, bo błąd zwracany w 2 ms potrafi ślicznie poprawić średnią
• ruch (traffic) — ile tego przychodzi
• błędy (errors) — jaka część kończy się niepowodzeniem
• nasycenie (saturation) — jak blisko jesteś ściany: CPU, pamięć, pula połączeń, kolejka dysku

Jeśli masz tylko te cztery, zrobione porządnie, jesteś przed większością firm, które mają czterysta wykresów i żadnej odpowiedzi na pytanie „czy działa?".

Czego ten kurs nie zrobi

Nie nauczy klikania w Grafanie. To umiesz po godzinie sam.

Nauczy odpowiadać na pytania, na które nie odpowie dokumentacja: dlaczego twój Prometheus zjada czterdzieści gigabajtów pamięci, dlaczego alert odpalił punktualnie, a awarii i tak nikt nie zauważył, i dlaczego dashboard pokazujący średnią jest gorszy niż brak dashboardu.

Każdy moduł kończy się sprawdzianem. Nie z definicji — z roboty.