Software automatisch testen

I Was versteht man unter automatisiertem Testen?.- 1. Entstehung und Entwicklung des automatisierten Testens.- 1.1 Automatisiertes Testen.- 1.2 Hintergründe zum Testen von Software.- 1.3 Die Automated Test Life-Cycle Methodology (ATLM).- 1.3.1 Die Entscheidung zum automatisierten Testen.- 1.3.2 Auswahl von Testwerkzeugen.- 1.3.3 Einführung des automatisierten Testens.- 1.3.4 Planung, Design und Entwicklung der Tests.- 1.3.5 Ausführung und Verwaltung von Tests.- 1.3.6 Prüfung und Beurteilung des Testprogramms.- 1.4 Die Rolle der ATLM beim Testen von Software.- 1.4.1 Der Zusammenhang zwischen der ATLM und dem Lebenszyklus der Systementwicklung.- 1.4.2 Test Maturity Model (TMM) - Erweiterung durch ein Reifegradmodell für das automatisierte Testen von Software.- 1.4.3 Entwicklung automatisierter Tests.- 1.4.4 Testaufwand.- 1.5 Karriereaussichten als Softwaretester.- 1.6 Zusammenfassung.- 1.7 Literaturhinweise.- 2. Die Entscheidung zum automatisierten Testen.- 2.1 Ausräumen falscher Erwartungen an automatisierte Tests.- 2.1.1 Erstellen eines Plans für das automatisierte Testen.- 2.1.2 Das ultimative Testwerkzeug.- 2.1.3 Unmittelbare Verringerung des Testaufwands.- 2.1.4 Unmittelbare Verkürzung des Zeitplans.- 2.1.5 Benutzerfreundlichkeit des Testwerkzeugs.- 2.1.6 Universelle Anwendbarkeit der Testautomatisierung.- 2.1.7 100% -Tests.- 2.2 Vorteile des automatisierten Testens.- 2.2.1 Erstellung eines zuverlässigen Systems.- 2.2.2 Verbesserung der Testqualität.- 2.2.3 Verringerung des Testaufwands und Minimierung des Zeitplans.- 2.3 Unterstützung durch die Geschäftsfuhrung.- 2.3.1 Vorschlagen eines Testwerkzeugs.- 2.4 Zusammenfassung.- 2.5 Literaturhinweise.- 3. Bewertung und Auswahl von Testwerkzeugen.- 3.1 Die Systementwicklungsumgebung der Organisation.- 3.1.1 Externe Informationen von Geschäftsfuhrüng, Personal und Endbenutzern.- 3.1.2 Werkzeugkriterien vor dem Hintergrund der Systementwicklungsumgebung.- 3.1.3 Güte der Softwarequalität.- 3.1.4 Vorliegende Problemberichte.- 3.1.5 Einschränkungen im Budget.- 3.1.6 Testarten.- 3.1.7 Langfristige Aspekte der Investition.- 3.1.8 Einführung des Testwerkzeugs.- 3.1.9 Vermeiden von Mängeln.- 3.2 Werkzeuge zur Unterstutzung des Testlebenszyklus.- 3.2.1 Werkzeuge zur Geschäftsanalyse.- 3.2.2 Werkzeuge zum Definieren der Anforderungen.- 3.2.3 Werkzeuge für Analyse und Design.- 3.2.4 Programmierwerkzeuge.- 3.2.5 Metrikwerkzeuge.- 3.2.6 Andere Werkzeuge für den Testlebenszyklus.- 3.2.7 Testwerkzeuge.- 3.3 Suche nach geeigneten Testwerkzeugen.- 3.3.1 Verbesserungsmöglichkeiten.- 3.4 Definition von Bewertungsbereichen.- 3.5 Bewertung von Werkzeugen in der Praxis.- 3.5.1 Bewertungsbericht.- 3.5.2 Lizenzvereinbarungen.- 3.6 Zusammenfassung.- 3.7 Literaturhinweise.- II Einführung automatisierter Tests in ein Projekt.- 4. Einführung des automatisierten Testens.- 4.1 Analyse des Testprozesses.- 4.1.1 Überprüfung des bestehenden Prozesses.- 4.1.2 Testziele.- 4.1.3 Teststrategien.- 4.2 Überlegungen zum Testwerkzeug.- 4.2.1 Überpriifung projektspezifischer Systemanforderungen.- 4.2.2 Überblick über die zu testende Anwendung.- 4.2.3 Überprüfung des Projektzeitplans.- 4.2.4 Überprüfung der Kompatibilität des Testwerkzeugs.- 4.2.5 Vorführung des Werkzeugs für das Projektteam.- 4.2.6 Unterstutzungsprofil für ein Testwerkzeug.- 4.2.7 Überprüfung der Schulungsanforderungen.- 4.3 Zusammenfassung.- 4.4 Literaturhinweise.- 5. Testteam-Management.- 5.1 Organisatorische Struktur eines Testteams.- 5.1.1 Durchgangs-Testteam.- 5.1.2 Zentrales Testteam.- 5.1.3 UVV-Testteam.- 5.1.4 Team für Systemmethodik und Tests.- 5.1.5 Zusammenfassung zu Testteams.- 5.2 Aufgaben im Rahmen des Testprogramms.- 5.3 Umfang des Testaufwands.- 5.3.1 Methoden zum Bestimmen der Testteamgröße.- 5.3.2 Die verhältnisorientierte Methode.- 5.3.3 Die Prozentmethode.- 5.3.4 Die Testverfahrenmethode.- 5.3.5 Die Aufgabenplanungsmethode.- 5.3.6 Faktoren mit Einfluss auf den Testaufwand.- 5.4 Einstellen von Testingenieuren.- 5.4.1 Qualitäten von Testingenieuren.- 5.4.2 Zusammensetzung des Testteams.- 5.4.3 Stellenausschreibung.- 5.4.4 Einstellungsaktivitäten.- 5.4.5 Finden von Testingenieuren.- 5.4.6 Gespräche mit Testingenieuren.- 5.4.7 Charakteristika des optimalen Bewerbers.- 5.5 Rollen und Verantwortlichkeiten.- 5.6 Zusammenfassung.- 5.7 Literaturhinweise.- III Planung und Vorbereitung der Tests.- 6. Testplanung: Intelligente Anwendung von Testverfahren.- 6.1 Testplanungsaktivitäten.- 6.2 Der Anwendungsbereich des Testprogramms.- 6.2.1 Systembeschreibung.- 6.2.2 Kritische und riskante Funktionen.- 6.2.3 Testziele und -strategien.- 6.2.4 Testwerkzeuge.- 6.2.5 Parameter des Testprogramms.- 6.2.6 Verifizierungsmethoden.- 6.2.7 Definition der Testanforderungen.- 6.3 Testanforderungsmanagement.- 6.3.1 Werkzeuge für das Anforderungsmanagement.- 6.3.2 Beurteilen der Risiken von Testanforderungen.- 6.3.3 Festlegen von Testprioritäten.- 6.3.4 Anforderungsverfolgbarkeitstabelle.- 6.4 Ereignisse, Aktivitäten und Dokumentation des Testprogramms.- 6.4.1 Ereignisse.- 6.4.2 Aktivitäten.- 6.4.3 Dokumentation.- 6.5 Die Testumgebung.- 6.5.1 Vorbereitung der Testumgebung.- 6.5.2 Integration und Einrichtung der Testumgebung.- 6.6 Der Testplan.- 6.6.1 Kriterien für den Testabschluss/die Akzeptanz der Testergebnisse.- 6.6.2 Beispiel eines Testplans.- 6.7 Zusammenfassung.- 6.8 Literaturhinweise.- 7. Testanalyse und -design.- 7.1 Analyse der Testanforderungen.- 7.1.1 Testanalyse auf Entwicklungsebene (Struktureller Ansatz).- 7.1.2 Testanalyse auf Systemebene (Verhaltensorientierter Ansatz).- 7.2 Design des Testprogramms.- 7.2.1 Designmodelle für Testprogramme.- 7.2.2 White-Box-Techniken (Tests auf Entwicklungsebene).- 7.2.3 Black-Box-Techniken (Tests auf Systemebene).- 7.2.4 Dokumentation des Testdesigns.- 7.3 Entwerfen von Testverfahren.- 7.3.1 Definition von Testverfahren.- 7.3.2 Automatisierte oder manuelle Tests?.- 7.3.3 Standards für das Design automatisierter Tests.- 7.3.4 Richtlinien für das Design manueller Tests.- 7.3.5 Detailliertes Testdesign.- 7.3.6 Anforderungen an die Testdaten.- 7.4 Zusammenfassung.- 7.5 Literaturhinweise.- 8. Entwicklung von Tests.- 8.1 Die Entwicklungsarchitektur für Tests.- 8.1.1 Die technische Umgebung.- 8.1.2 Überprüfen der Einsatzbereitschaft der Testumgebung.- 8.1.3 Analyse der Wiederverwendbarkeit vorhandener Automatisierungskomponenten.- 8.1.4 Zeitplan für die Entwicklung/Durchführung von Testverfahren.- 8.1.5 Analyse der Modularitätsbeziehungen.- 8.1.6 ErHäuterung der Beispieltabelle für Modularitätsbeziehungen.- 8.1.7 Kalibrierung des Testwerkzeugs.- 8.1.8 Lösungen für Kompatibilitätsprobleme.- 8.1.9 Manuelle Durchführung von Testverfahren.- 8.1.10 Inspektionen von Testverfahren - Peer Reviews.- 8.1.11 Konfigurationsmanagement für Testverfahren.- 8.2 Richtlinien für das Entwickeln von Tests.- 8.2.1 Der Übergang vom Design zur Entwicklung.- 8.2.2 Wieder verwendbare Testverfahren.- 8.2.3 Wartungsfreundliche Testverfahren.- 8.2.4 Andere Richtlinien.- 8.3 Automatisierungsinfrastruktur.- 8.3.1 Tabellengestützte Testautomatisierung.- 8.3.2 Skript zum automatisierten Einrichten der PC-Umgebung.- 8.3.3 Optionen zum automatisierten Aufzeichnen.- 8.3.4 Anmeldefunktion.- 8.3.5 Funktion zum Beenden.- 8.3.6 Navigation.- 8.3.7 Verifizieren von GUI-Standards.- 8.3.8 Smoke-Test.- 8.3.9 Routinen zur Fehlerprotokollierung.- 8.3.10 Verifizierungsskript für die Hilfe-Funktion.- 8.3.11 Funktionen für zeitgesteuerte Hinweisfenster.- 8.3.12 Fortgeschrittene mathematische Funktionen.- 8.4 Zusammenfassung.- 8.5 Literaturhinweise.- IV Testdurchführung und -überprüfung.- 9. Testdurchführung.- 9.1 Durchführung und Bewertung von Testphasen.- 9.1.1 Durchführung und Bewertung von Einheitentests.- 9.1.2 Durchführung und Bewertung von Integrationstests.- 9.1.3 Durchführung und Bewertung von Systemtests.- 9.1.4 Ergebnisanalyse bei Regressionstests.- 9.1.5 Durchführung und Bewertungvon Benutzerakzeptanztests.- 9.2 Fehlerverfolgung und Umgang mit neuen Softwareversionen.- 9.2.1 Fehlerlebenszyklusmodell.- 9.3 Verfolgung des Testprogrammstatus.- 9.3.1 Ertragsverwaltung.- 9.3.2 Sammeln und Analysieren von Testmetriken.- 9.4 Zusammenfassung.- 9.5 Referenzen.- 10. Überprufüng und Bewertung des Testprogramms.- 10.1 Korrektur- und Verbesserungsmaßnahmen.- 10.2 Kosten/Nutzen-Analyse des Testprogramms.- 10.3 Zusammenfassung.- 10.4 Literaturhinweise.- V Anhang.- A. Testen von Anforderungen.- A.1 Ansatz zum Testen von Anforderungen.- Inhaltsangabe.- Das Qualitätstor.- Eine Anforderung messbar machen.- Quantifizierbare Anforderungen.- Nicht quantifizierbare Anforderungen.- Verfolgen.- Verständlichkeit und Konsistenz.- Vollständigkeit.- Relevanz.- Anforderung oder Lösung?.- Bewertung durch Beteiligte.- Verfolgbarkeit.- Ordnung in einer unordentlichen Welt.- Schlussfolgerungen.- Literaturhinweise.- Anmerkung.- B. Werkzeuge zur Unterstützung des Testlebenszyklus.- B.l Einführung.- B.2 Geschäftsanalyse.- B.2.1 Werkzeuge zur Geschäftsmodellierung.- B.2.2 Werkzeuge für das Konfigurationsmanagement.- B.2.3 Fehlerverfolgungswerkzeuge.- B.2.4 Verwaltung technischer Reviews.- B.2.5 Dokumentationsgeneratoren.- B.3 Anforderungsdefinition.- B.3.1 Werkzeuge für das Anforderungsmanagement.- B.3.2 Werkzeuge zur Anforderungsverifikation.- B.3.3 Anwendungsfallgeneratoren.- B.4 Analyse und Design.- B.4.1 Werkzeuge für visuelles Modellieren.- B.4.2 Struktur-, Fluss- und Sequenzdiagramme.- B.4.3 Generatoren für Testverfahren.- B.5 Programmierung.- B.5.1 Werkzeuge zur Syntaxüberprüfung/Debugger.- B.5.2 Werkzeuge zur Erkennung von Speicherengpässen und Laufzeitfehlern.- B.5.3 Werkzeuge zur Codeuberprüfung.- B.5.4 Werkzeuge für die statische und dynamische Analyse.- B.5.5 Werkzeuge für den Einheitentest.- B.6 Metrikwerkzeuge.- B.6.1 Werkzeuge zur Analyse der Code- bzw. Testabdeckung und zur Codeinstrumentaiisierung.- B.6.2 Werkzeuge zur Usability-Beurteilung.- B.7 Werkzeuge zur Testunterstützung.- B.7.1 Testdatengeneratoren.- B.7.2 Werkzeuge für den Dateienvergleich.- B.7.3 Simulationswerkzeuge.- B.8 Testphase.- B.8.1 Werkzeuge für das Testmanagement.- B.8.2 Werkzeuge zum Testen von Netzwerken.- B.8.3 Werkzeuge zum Testen von GUI-Anwendungen.- B.8.4 Werkzeuge für Belastungs-/Leistungstests.- B.8.5 Werkzeuge zum Testen von Web-Anwendungen.- B.8.6 Jahr-2000-Testwerkzeuge.- B.9 Weitere Hersteller von Testwerkzeugen.- Literaturhinweise.- C. Die Karriere des Testingenieurs.- C.l Technische Kenntnisse.- C.2 Testprozesse.- C.3 Teamarbeit.- CA Technische Leitung.- C.5 Test-/Projektmanagement.- C.6 Geschäfts-/Produktmanagement.- Literaturhinweise.- D. Beispiel eines Testplans.- D.1 Einleitung.- D.1.1 Absicht.- D.1.2 Hintergrund.- D.1.3 Systemübersicht.- D.1.4 Relevante Dokumente.- D.1.5 Übergeordneter Zeitplan.- D.2 Aufgaben und Verantwortlichkeiten.- D.2.1 Projektorganisation.- D.2.2 Projektaufgaben und -verantwortlichkeiten.- D.2.3 Struktur der Testaufgaben.- D.2.4 Testteamressourcen.- D.3 Testprogramm.- D.3.1 Umfang.- D.3.2 Testansatz.- D.3.3 Teststrategien.- D.3.4 Automatisierte Werkzeuge.- D.3.5 Qualifikationsmethoden.- D.3.6 Testanforderungen.- D.3.7 Testdesign.- D.3.8 Testentwicklung.- D.4 Testumgebung.- D.4.1 Testumgebungskonfiguration.- D.4.2 Testdaten.- D.5 Testdurchführung.- D.5.1 Testprogrammberichte.- D.5.2 Testprogrammmetriken.- D.5.3 Fehlerverfolgung.- D.5.4 Konfigurationsmanagement.- D.6 Detaillierter Testzeitplan.- D.A Entwicklungsrichtlinien für Testverfahren.- D.B Tabelle der Testverifizierungszusammenfassung.- D.C Testverfahren und -skripts.- E. Empfohlene Vorgehensweisen.- E.1 Dokumentierter Prozess.- E.2 Umgang mit Erwartungen.- E.3 Pilotprojekt.- E.4 Überprüfung der Testwerkzeugkompatibilität.- E.5 Aktualisierung von Testwerkzeugen.- E.6 Festlegen einer Baseline für Systemeinrichtung und -konfiguration.- E.7 Softwareinstallationen in der Testumgebungs-Baseline.- E.8 Übergeordnete Ziele des Testprogramms.- E.9 Die Automatisierung einfach halten.- E.10 Standards für das Design und die Entwicklung von Testverfahren.- E.11 Automatisierte oder manuelle Tests?.- E.12 Wiederverwendungsanalyse.- E.13 Kommunikation des Testteams mit anderen Teams.- E.14 Verträglichkeit der Zeitpläne.- E.15 Einbeziehung des Kunden.- E.16 Fehlerdokumentation und Fehlerberichte.- E.l7 Fürsprecher und Experten im automatisierten Testen.- E.18 Zuordnungen innerhalb des Testteams.- E.19 Beteiligung von Benutzergruppen.- E.20 Vorschläge für die Verbesserung von Testwerkzeugen.- E.21 Beta-Tests.- E.22 Expertenwissen.- Stichwortverzeichnis.