@MichaKutz

Testing
Microservice Ecosystems

Test Automation
Scopes

Class/Unit Tests

Integration Tests

Class/Unit + Integration
Tests

Risk vs Effort

Service Tests

Consumer Driven
Contract Test

Service Test
+ Contract Test

Risk vs Effort

System Test

System Test

Risk vs Effort

End-to-End Tests

End-to-End Tests

Risk vs Effort

Continuous Delivery &
Deployment

Exploratory Testing

Martin Fowler

@martinfowler

I would consider it a red flag if a team isn't doing exploratory testing at all - even if their automated testing was excellent.

Even the best automated testing is inherently scripted testing - and that alone is not good enough.

November 18th 2019

Elisabeth Hendrickson
@testobsessed

to push even harder

look past what you expect

as soon as you think of a test

interesting things to vary and interesting ways in which to vary them

Simultaneously designing and executing tests to learn about the system, using your insights from the last experiment to inform the next.

What?

How?

Charter template from "Explore It!"
by Elisabeth Hendrickson

What kind of information are you hoping to find?

security

performance

reliability

capability

usability

consistency of design

violations of a standard

surprises

What resources will you bring with you?
a tool
a data set
a technique
a configuration
an interdependent feature

Where are you exploring?

a feature

a requirement

a module

Explore <target>


with <resources>


to discover <information>

How long is this supposed to take?

often implicit

How?

Charter Template from "Tips for Writing Better Charters for Exploratory Testing Sessions"
by Michael D. Kelly

What could go wrong?

functionality is wrong

usability is bad

not accessible

inconsistency

What am I testing?

a feature

a requirement

a module

My mission is to test <risk>


in the context of <coverage>

 

within <timeframe>

Good Charters,
Bad Charters

Experiment with invalid values when updating customer addresses.

Find ways that a valid order modification might fail.

My mission is to test SQL vulnerabilities

 

in the context of the search form.

Explore the registration form


with common XSS injection strings


to discover XSS attack vulnerabilities

Too broad

you will never be finished

Too narrow

actually a test case

Explore the address form


with the name "Søren Anderson"


to discover if scandinavial letters are handled correctly

Explore every input field in the shop


with every security tool you can find


to discover security issues

Explore the behavior of the basket button


with various interaction types and speeds


to discover unintended side effects

unexpected data transfer

subtle UI changes

$> psql
$> watch ls

unexpected filesystem or database activity

unexpected system load

Look past what you expect or hope to find

Notes to Take

My mission is to explore the checkout process


for side effects caused by parallel activity in a different tab.

My mission is to explore the checkout process


for side effects caused by browser navigation.

setup steps

things to be documented

things to be automated

open questions

possible new charters

found bugs

confidence factor
on coverage of the stated risk

actual time for testing

confidence level

TODO:

  • Fail-safe vs Safe-to-fail
  • Observability

Warum Rezensionen kaufen?

By Actualite

Warum Rezensionen kaufen?

Die Versuchung, Rezensionen zu kaufen, ist groß. Sie sind ein mächtiges Instrument zur Generierung neuer Geschäfte. Die meisten Verbraucher (fast alle) ziehen Online-Bewertungen in Betracht, wenn sie Kaufentscheidungen treffen, und sie nehmen das, was sie lesen, ernst: Laut einer kürzlich durchgeführten Umfrage vertrauen 85 Prozent der Menschen Online-Rezensionen ebenso sehr wie Empfehlungen von Freunden. 49 Prozent gaben an, dass ein Unternehmen eine Bewertung von mindestens vier Sternen haben muss, bevor sie es nutzen können. Die durchschnittliche Person wünscht sich, dass ein Unternehmen 34 Rezensionen hat, um seiner Bewertung zu vertrauen. 77 Prozent der Befragten sagen, dass Bewertungen, die älter als drei Monate sind, nicht relevant sind. 68 Prozent der Befragten sagen, dass Online-Bewertungen ihre Kaufentscheidungen beeinflussen. Was sagt uns das also? Zum einen müssen Unternehmen einen stetigen Strom positiver Bewertungen erhalten, damit die Kunden weiterhin kommen. Und diese Bewertungen wirken sich tatsächlich direkt auf den Umsatz aus. Eine Studie über Restaurants ergab, dass eine Ein-Sterne-Erhöhung bei Yelp zu einer Umsatzsteigerung von 5-9 % führt. Ihr Unternehmen braucht positive Bewertungen, und Ihre tatsächlichen Kunden liefern möglicherweise nicht in der von Ihnen gewünschten Geschwindigkeit. Jemanden dafür zu bezahlen, gefälschte Bewertungen zu schreiben, wäre einfach zu arrangieren... Eine Schritt-für-Schritt-Anleitung für den Kauf von Rezensionen Nehmen Sie sich ein Eis, um zu feiern, dass Sie das Richtige (und Kluge) getan haben! Warten Sie, das hat nicht geklappt! Der Kauf von Rezensionen ist das Risiko einfach nicht wert, weil diese Praxis auf eine von mehreren Arten spektakulär nach hinten losgehen kann: Rezensionssites sind sehr gut darin, herauszufinden, wann Rezensionen nicht echt sind, und sie werden jeden Tag besser darin, diese Rezensionen herauszufiltern. Yelp ist insbesondere für seine sensible Empfehlungssoftware bekannt, die ständig aktualisiert wird und Bewertungen versteckt, die als potenziell unrechtmäßig gekennzeichnet sind. Google beginnt, den gleichen Weg einzuschlagen. Auch bei der Bestimmung, wann Bewertungen echt oder gefälscht sind, sind die Verbraucher viel versierter, als Sie denken. Natürlich werden viele - vielleicht sogar die meisten - Menschen, die eine gefälschte Rezension lesen, es nicht merken, aber es braucht nur einen versierten Leser, um eine Flagge zu hissen. Wenn ein Leser zum Beispiel eine Nachricht auf Facebook über Ihre dubiosen, unglaubwürdigen Rezensionen liest und diese Nachricht auf Facebook veröffentlicht, wird Ihr Ruf einen großen Schaden nehmen. Rezensionsseiten nehmen dieses Thema ernst und können Unternehmen bestrafen, die mit gefälschten Rezensionen auf ihren Seiten erwischt werden. Auch hier ist Yelp am meisten auf dem Laufenden. Im Rahmen seines Verbraucherwarnprogramms veröffentlicht Yelp eine große Pop-up-Nachricht auf den Seiten von Unternehmen, die unzulässige Bewertungen haben. Das Pop-up bleibt 90 Tage lang auf der Seite und alarmiert jeden Kunden, der in dieser Zeit die Seite besucht, darüber, dass das fragliche Unternehmen mit gefälschten Bewertungen erwischt wurde. Das ist potenziell illegal. Einige Unternehmen sahen sich mit hohen Geldstrafen und anderen rechtlichen Problemen konfrontiert, weil sie sich um gefälschte Bewertungen bemüht haben. Im Grunde genommen ist die Bezahlung von Personen für das Schreiben gefälschter Rezensionen - oder die Gewährung von Rabatten oder anderen Vergünstigungen an echte Kunden im Austausch für das Schreiben positiver Rezensionen - eine Geldverschwendung und ein allumfassendes Kopfzerbrechen. Der bessere Weg, um Rezensionen zu erhalten Um es noch einmal zusammenzufassen: Rezensionen zu erhalten ist notwendig, während der Kauf von Rezensionen schlecht ist. Was ist ein Geschäft zu tun? Es ist eigentlich ziemlich einfach. Zunächst einmal sollten Sie Ihre Energie darauf verwenden, positive Bewertungen zu erhalten, indem Sie den Schwerpunkt auf den Kundendienst legen und alles in Ihrer Macht Stehende tun, um bestehende Kunden zufriedenzustellen. Dann verwenden Sie ein automatisiertes System wie Fast reviews, um diese Kunden dazu zu bringen, authentische Bewertungen zu schreiben. Alles, was Sie tun müssen, ist, sich eine E-Mail-Adresse oder Telefonnummer von Ihren Kunden zu besorgen und diese in das Fastreviews-System einzugeben. Das System kontaktiert sie automatisch mit einer Ein-Frage-Umfrage, identifiziert die zufriedenen Kunden und leitet sie an die von Ihnen gewählte Bewertungsseite weiter. Unzufriedene Kunden werden an Sie zurückgeschickt, so dass Sie die Möglichkeit haben, sich mit ihnen in Verbindung zu setzen und auf ihre Bedenken einzugehen. Viele Kunden, die mit Ihrem Service zufrieden sind, werden bereit sein, Sie zu überprüfen, sofern dies für sie einfach ist. Fast reviews beseitigt alle Hürden und macht es Ihnen leicht, einen stetigen Strom positiver Bewertungen auf Websites wie Yelp, Facebook und Google zu erhalten.

  • 2,240