Softwaretest in der Praxis

Bei den Mitte September stattfindenen Softwareforen in Leipzig wurden die Ergebnisse der umfangreichen Studie „Softwaretest in der Praxis“ erstmals einer breiten Öffentlichkeit präsentiert. Die von ANECON Software Design und Beratung GmbH initiierte, und in Kooperation mit den Hochschulen Bremen und Bremerhaven, der Fachhochschule Köln, dem German Testing Board (GTB) und Swiss Testing Board (STB) durchgeführte Umfrage, gibt Aufschluss über die Praxis in der Software-Qualitätssicherung im deutschsprachigen Raum. Der gesamte IT-Sektor profitiert von den aktuellsten Erkenntnissen zum Softwaretest im Vergleich zur Umfrage aus dem Jahr 1997 .

Mehr als ein Drittel der Befragten gibt an, Qualitätssicherungsmaßnahmen bereits in der Vorstudie einzusetzen. Agile Vorgehensweisen sind gut vertreten, SCRUM trat mit 57 Prozent am deutlichsten hervor. Die Rolle des Testers wird von Entwicklern akzeptiert, 77 Prozent geben an, dass Tests von Testexperten durchgeführt werden. Die Testautomatisierung fokussiert derzeit noch auf den Unittest und nimmt in späteren Teststufen ab. Fast die Hälfte der Unternehmen lässt ihren Testprozess auditieren. Diese und viele weitere Erkenntnisse sind die Ergebnisse der umfangreichen Studie, die Prof. Dr. Karin Vossberg und Prof. Dr. Andreas Spillner von der Hochschulen Bremerhaven und Bremen gestern bei den Leipziger Softwareforen gemeinsam präsentierten. „Überraschend für uns war das Ergebnis, dass die primären Ziele der Qualitätssicherung in der Erhöhung der Leistungsfähigkeit gesehen werden. Erst an zweiter Stelle steht die Kostensenkung. Mit unserer Umfrage können wir viele solcher Überraschungen, aber auch viele unserer Erwartungen repräsentativ festhalten. Ich danke allen Teilnehmenden, dass wir diese aufschlussreiche Studie nun veröffentlichen können“, so Spillner. 

Gesamte Branche profitiert dank hoher Teilnehmerzahlen

 

Primäres Ziel der Umfrage war die Feststellung der Entwicklung des Softwaretests im Vergleich zur Umfrage  „State of the Practice bei den Prüf- und Testprozessen in der Softwareentwicklung“1 aus dem Jahr 1997. Zusätzlich stand der Handlungsbedarf für Forschung, Ausbildung und Consulting in Qualitätssicherung und Softwaretest im Vordergrund sowie die Untersuchung verschiedener Thesen, die im Vorfeld definiert wurden. „Das Bewusstsein für die frühzeitige Integration von Qualitätssicherung, der Einfluss agiler Vorgehensmodelle im Testen sowie die Möglichkeit der Auslagerung der Testdurchführung war für uns ebenfalls von großem Interesse. Mit den Ergebnissen dieser Studie können wir einen wichtigen Beitrag für die gesamte IT-Branche liefern und dank der hohen Beteiligung sind die aus den Beantwortungen abgeleiteten Aussagen gut abgesichert“, ist Peter Haberl, Geschäftsführer ANECON Deutschland, überzeugt.   

 

 

 

Softwaretest wird professioneller

 

Über 40 Prozent der Unternehmen lassen ihren Testprozess auditieren. Dies zeigt deutlich, dass der Softwaretest und die Qualitätssicherung in der Softwareentwicklung professioneller werden. Kennzahlen wie Abdeckung der Anforderungen, Durchführungsrate oder Fehlererkennungsrate sind gängige Testendekriterien, die von den Umfrageteilnehmern genannt wurden. Tilo Linz, Präsident des German Testing Boards, ist außerdem erfreut über das hohe Ausbildungsniveau: „Für professionelle Tester ist es selbstverständlich, in allen Teststufen methodisch zu arbeiten. Das Ausbildungsniveau der Tester ist zusätzlich dank weltweit etablierter Certified-Tester Zertifizierung heute sehr hoch. Die Test-Qualifizierungsmöglichkeiten für Entwickler bergen jedoch noch hohes Potential. Denn auch auf Ebene der Unittests und ganz besonders bei Test Driven Development ist das Wissen und Beherrschen grundlegender Testmethoden entscheidend für die Wirksamkeit der Tests.“ 

Trend zum frühzeitigen Einsatz von Qualitätssicherungsmaßnahmen 

 

Die Ergebnisse veranschaulichen, dass die Qualitätssicherungsmaßnahmen in den frühen Phasen zugenommen haben. Dennoch gibt es eine Konzentration auf die späten Phasen in der Softwareentwicklung. Mehr als ein Drittel der Befragten stimmt zu, QS-Maßnahmen bereits in der Vorstudie einzusetzen. Jedoch ist der Anteil jener, die Qualitätssicherung in dieser Phase zögerlich oder überhaupt nicht einsetzen, mit 37 Prozent etwa noch gleich groß. In allen Branchen ist ab der Phase Realisierung die Qualitätssicherung gängig. Vergleicht man die Branchen Automotive, Bank, Luft- und Raumfahrt, zeigen sich Unterschiede: So werden bei Letzteren QS-Maßnahmen sehr viel häufiger in den frühen Phasen eingesetzt als in anderen Branchen. Insgesamt ist dieses Ergebnis nicht überraschend und ein Trend zum frühzeitigen Einsatz von Qualitätssicherungsmaßnahmen ist vor allem dort erkennbar, wo hohe Qualitätsanforderungen bestehen.

 

 

 

Testen bei agiler Entwicklung mit Verbesserungsbedarf

 

Ein Viertel der Befragten arbeitet mit agilen Methoden, „Scrum“ ist hierbei mit etwa 57 Prozent am deutlichsten vertreten. Arbeitet über die Hälfte der Teilnehmer mit einem sequentiellen Phasenmodell, so überrascht doch die hohe Anzahl von 17 Prozent, die gar kein explizites Vorgehensmodell verwenden.

 

Die Einbindung der Qualitätssicherung in agilen Projekten ist nicht abschließend geklärt. Einiges deutet jedoch darauf hin, dass zwar die reinen Entwicklungstätigkeiten nach agilen Richtlinien durchgeführt werden, die Qualitätssicherung jedoch nicht auf die agilen Methoden abgestimmt wurde und es entsteht der Eindruck, dass agile Projekte nicht richtig gelebt werden. Aufgrund der vorteilhaften Kundennähe bei agilen Projekten wäre zu erwarten gewesen, dass hierbei die Mitarbeiter der Fachabteilungen besser in die QS-Maßnahmen einbezogen würden als in traditionellen Projekten. Tatsächlich werden in den klassischen phasenorientierten Projekten die Fachbereiche beispielsweise zu fast 50 Prozent in die Testfallerstellung einbezogen, in den agilen Projekten jedoch nur zu 33 Prozent. Auch Reviews werden in agilen Projekten nur in 57 Prozent der Nennungen von den Fachabteilungen durchgeführt, während es bei den phasenorientierten Projekten immerhin 72 Prozent sind. Das scheint daran zu liegen, dass es noch kein einheitliches Rollenverständnis für den Productowner gibt.

 

 

 

Überraschung bei Bedeutung der agilen Praktiken und ihren Werkzeugen

 

Auch die Frage, welche Methoden und Praktiken agiler Vorgehensmodelle hinsichtlich der Qualitätssicherung eine hohe Bedeutung haben, lieferte überraschende Antworten. Nur etwa die Hälfte der Teilnehmer, die ein agiles Vorgehen nutzen, sehen Test Driven Development, Stand-up Meetings, Retrospektive oder User Stories als bedeutsame Praktiken für die Qualitätssicherung. In den agilen Projekten gaben 77 Prozent der Teilnehmer an, dass Unittests Teil jeder Iteration sind. Nur wenig darunter liegt die Durchdringung jeder Iteration mit Integrationstests. Auch hier wurden höhere Zustimmungswerte erwartet. Gleiches gilt für die Frage, bei welchen Testaktivitäten traditionell phasenorientierte Projekte besser liegen: Liegt die werkzeugunterstützte Ausführung von Tests etwa gleich auf, so werden in agilen Projekten mit 38 Prozent deutlich weniger Werkzeuge für die Spezifikation von Testfällen als in phasenorientierten Projekten (53 Prozent) eingesetzt.

  

Unittests gängige Praxis

 

Die Ergebnisse sind eindeutig: Während im Unittest über die Hälfte der Tests zu 70 Prozent und mehr automatisiert sind (26 Prozent der Befragten gaben sogar an, den Unittest zu 100 Prozent automatisiert zu haben), so ist dies beim Integrationstest immerhin noch bei einem Drittel der Teilnehmer mit 70 Prozent und mehr der Fall. Der Abnahmetest ist am wenigsten automatisiert und wird von fast 40 Prozent der Befragten vollständig manuell durchgeführt. Überraschend war das Ergebnis, dass in den agilen Projekten die Testdurchführung im Unittest nur zu 43 Prozent vollständig automatisiert ist. Hier wäre zu erwarten gewesen, dass annähernd alle Unittests vollständig automatisiert sind. Wie erwartet nimmt die Testautomatisierung mit steigender Teststufe ab. Prof. Dr. Mario Winter von der FH Köln betont, dass „agiles Testen immer auch Testautomatisierung bedeutet, da die erheblich verkürzten Release-Zyklen nur unter der Voraussetzung funktionieren, dass möglichst viele Tests automatisiert sind.“

 

 

 

Testaktivitäten werden von Entwicklern weniger strukturiert durchgeführt

 

Während fast die Hälfte der Entwickler angab, dass die Testaktivitäten keinem definierten Prozess folgen, war dies bei nur 19 Prozent der Tester der Fall. Fragt man die Teilnehmer nach dem eingesetzten Verfahren für den dynamischen Test, so wird der werkzeuggestützte Test nur zu 40 Prozent bei den agilen und zu 31 Prozent bei den phasenorientierten Projekten eingesetzt. Beim Einsatz von Testwerkzeugen gibt es kaum einen Unterschied zwischen den Branchen, jedoch setzen die Entwickler signifikant weniger (51 Prozent) Testwerkzeuge ein als die Tester (70 Prozent). Bei den agilen Projekten ist der Anteil der Entwickler, die Testwerkzeuge benutzen, höher (71 Prozent). Da Test Driven Development eine essentielle Praktik im Agilen Umfeld darstellt, wurde hier jedoch ein noch höheres Ergebnis erwartet. 

Budget wird eingehalten 

 

Der Nutzen der Qualitätssicherung in IT-Projekten ist anerkannt, es steht dafür ein definiertes Budget zur Verfügung. So wird im Durchschnitt 20 Prozent des Gesamtbudgets für Test und QS verwendet. Diese Budgets werden in der Regel pauschal geschätzt und auch meist eingehalten. Gleichermaßen wird rund ein Fünftel der gesamten Zeit wird für Qualitätssicherung aufgewendet. 

Testen wird wider Erwarten kaum „outgesourced“

 

Ein eindeutiger Trend zum Outsourcing des Tests hat sich nicht bestätigt. So setzen nur 15 Prozent der Befragten externe Dienstleister für die Testdurchführung ein. Bei der Frage, wer für die Qualitätssicherung in den Projekten verantwortlich ist, gaben nur 6 Prozent an, dies an externe Unternehmen zu übergeben. Hier wurde ein erheblich höherer Anteil erwartet und es bestehen noch Möglichkeiten für eine stärkere Aufgabenteilung zwischen IT, Fachbereich und externen Dienstleistern.

 

 

 

Rolle der Testverantwortung: Diskrepanz zwischen „Testern“ und „Entwicklern“

 

Im Vergleich zu der Umfrage von 1997 ist der Anteil der im Testen ausgebildeten Mitarbeiter deutlich gestiegen. So liegt beispielsweise der Anteil der ausgebildeten Tester, die auf verschiedenen Teststufen eingesetzt werden, bei 85 Prozent bei Tests zu den verschiedenen Testarten sogar noch etwas höher. Die Tester nehmen ihre Rolle sehr intensiv wahr und werden von den Entwicklern akzeptiert – sogar 77 Prozent der Entwicklergruppe gab an, dass Tests auf den verschiedenen Teststufen von ausgebildeten Testern durchgeführt werden. Nichtsdestotrotz sehen die beiden Gruppen jeweils sich selbst als Hauptlastenträger der Qualitätssicherung, besonders verdeutlicht durch die Frage zur QS-Projektverantwortung. Sehen die Tester die Verantwortung bei Projektmanagern, QS-Beauftragten und Testmanagern, geben die Entwickler mit Abstand (65 Prozent) ihre eigene Rolle als verantwortlich für die Qualitätssicherung an. Testmanager und QS-Beauftragte werden hier von weniger als einem Drittel genannt. 

Aus- und Weiterbildung etabliert, jedoch Potential vorhanden

 

Hinsichtlich des Ausbildungsgrads gibt es klare Unterschiede zwischen Testern und Entwicklern. Letztere nutzen weniger Qualifizierungsmöglichkeiten im Test und sind, was die Werkzeugnutzung und Anwendung von Testprozessen betrifft, noch besser zu unterstützen. Das ISTQB Ausbildungsschema ist mit über 70 Prozent bei Testern und Managern weit bekannt, bei Entwicklern nur mit knapp 40 Prozent. Von jenen 70 Prozent der Tester sind zwei Drittel auf dem Foundation Level zertifiziert. Sie schätzen den Nutzen der Zertifizierung (90 Prozent)  sehr. Fachgruppen werden nur selten besucht und der Austausch in der Testcommunity ist ausbaubar.

Statistik zur Umfrage

 

Der Umfragezeitraum betrug einen Monat (1.-31. Mai 2011), die Fragen waren quantitativ aufbereitet. Über 800 Personen haben den umfangreichen Online-Fragebogen bis zum Ende bearbeitet. Der Inhalt der Umfrage war in 6-7 Fragenkomplexe (unterteilt je nach Rolle: Entwickler, Tester, Manager) mit insgesamt bis zu 100 Fragen gegliedert. Die hohe Teilnahme an der Studie ist sehr erfreulich und lässt eine große Anzahl fundierter Aussagen zu. Die Teilnehmer kamen aus über 15 verschiedenen Branchen – vom öffentlichen Sektor über Schwerindustrie bis hin zur Finanzbranche – und der Ausbildungsgrad ist überdurchschnittlich gut (Diplom-, Bachelor- oder Masterstudium bei mehr als 70 Prozent). Die in der Studie repräsentierte Berufserfahrung beeindruckt: Ein Viertel der Teilnehmer ist seit 5-10 Jahren in der IT- Branche, 40 Prozent verfügen über 10-20 Jahre und ein Fünftel hat sogar über mehr als 20 Jahre Berufserfahrung. Die Mehrzahl der Teilnehmer kam aus Deutschland (78 Prozent), gefolgt von der Schweiz (12 Prozent) und Österreich (10 Prozent). Die Domäne ist erwartungsgemäß männlich, nur 14 Prozent der Befragten waren Frauen.