Testbericht

Wie gut ist der GitHub Copilot wirklich?​

Github
Bildquelle: Robert Way /Shutterstock.com

GitHub bewirbt seinen intelligenten Copiloten als „das weltweit am weitesten verbreitete KI-Tool für Entwickler“. Doch was taugt er in der Praxis?

Steht Entwicklern mit dem Copiloten von GitHub endlich der intelligente Pair-Programming-Partner zur Seite, der sowohl die Komplexität der Coding-Welt reduziert als auch ein wirksames Mittel gegen den Fachkräftemangel darstellt? Um diese Frage zu beantworten, führt kein Weg an einem Praxistext vorbei. Avision hat das KI-Tool unter die Lupe genommen und sein Potenzial mit den Schwerpunkten auf TypeScript, Java, React, Python und Angular auf die Probe gestellt.

Anzeige

Aktualität und Trainingsdaten​

Zum Zeitpunkt der Testphase griff der GitHub Copilot auf Daten mit dem Stand von Ende 2021 zu – zwar wird die Datenbasis regelmäßig aktualisiert, auf der Höhe der Zeit ist das Modell damit allerdings dennoch nicht. In der Konsequenz sind die neuesten Versionen von Sprachen und Frameworks wie Angular oder React schlicht nicht verfügbar. Ein Umstand, der schnell zu weiteren Problemen führt, da das Tool möglicherweise nicht mit neuen Sprachkonstrukten oder Sicherheitsstandards vertraut ist, was potenzielle Risiken birgt und die Code-Qualität verringern kann.

Screenshot 2024 05 08 at 16 26 20 GitHub Copilot · Your AI pair programmer
Der GitHub Copilot in Action. Bildquelle: Screenshot / Github

Qualität der Ergebnisse​

Der KI-Assistent kann viele einfache, aber zeitaufwändige Arbeitsschritte übernehmen und inspiriert zu neuen Lösungsansätzen. Eine einfache Copy-und-Paste-Lösung ist er in der aktuellen Version aber dennoch nicht. In fast allen Fällen mussten die menschlichen Entwickler die generierten Ergebnisse überarbeiten und anpassen. Teilweise liefert der Copilot auch schlichtweg falsche Ergebnisse, die nicht auf den ersten Blick erkennbar waren – dadurch steigt die Komplexität und der anfängliche Zeitgewinn durch die Automatisierung sinkt. Dennoch ist das Tool geeignet, um eine erste Codebasis zu erzeugen, auf der Entwickler aufbauen können. Auch wenn es bei den Ergebnissen noch Nachholbedarf gibt, keiner der Tester möchte den Copiloten mehr missen.

Newsletter
Newsletter Box

Mit Klick auf den Button "Jetzt Anmelden" stimme ich der Datenschutzerklärung zu.

Potenzial und Produktivität​

Trotz der qualitativen Lücken und der fehlenden Aktualität besitzt der Copilot ein enormes Potenzial. Wir stehen erst am Anfang einer kontinuierlichen Entwicklung, die in Zukunft zweifellos zu einer Steigerung der Effizienz und Produktivität führen wird. Bis dahin wartet allerdings noch einiges an Arbeit, um die Zuverlässigkeit und Genauigkeit der Ergebnisse zu verbessern. Die Bedeutung für die Branche soll das aber nicht schmälern, KI-Assistenten werden in absehbarer Zeit zum festen Repertoire von Entwicklern gehören. 

Unerfahrene Entwickler und generative KI ​

Besonders relevant ist die Frage, wie Entwickler ohne langjährige Coding-Expertise mit generativen KI-Werkzeugen umgehen sollten. Der Risikofaktor dabei: Der unkontrollierte Einsatz dieser Werkzeuge führt zu einer Verschlechterung der Codequalität, insbesondere wenn unerfahrene Entwickler dazu neigen, die vorgeschlagenen Lösungen unreflektiert zu übernehmen. Dies kann einerseits zu inkonsistentem und möglicherweise fehlerhaftem Code führen, der die Gesamtqualität des Projekts beeinträchtigt. Andererseits fehlt Junior-Entwicklern aber auch der notwendige Lerneffekt, wenn sie lediglich mit KI-generierten Code-Vorschlägen arbeiten anstatt selbst zu entwickeln. Was im Einzelfall zu einer Stagnation der individuellen Lernkurve führt, kann im großen Bild eine Herausforderung für die Förderung und Personalentwicklung der gesamten Branche bedeuten. Daher ist es wichtig, dass unerfahrene Entwickler weiterhin durch praktische Erfahrung lernen und sich nicht ausschließlich auf generative KI-Tools verlassen.

Fazit​

Die Testergebnisse mit dem GitHub Copilot fallen gemischt aus. Während es zweifellos hilfreiche Anwendungsfälle gibt und das Tool kleinere Aufgaben automatisieren kann, müssen Entwickler die von der KI generierten Vorschläge jederzeit kritisch hinterfragen und überprüfen. Die Herausforderung besteht darin, dass Fehler oder Unvollständigkeiten nicht immer auf den ersten Blick erkennbar sind, was den Einsatz des Tools durchaus komplex und zeitaufwändig macht. Dennoch bietet der GitHub Copilot das vielversprechende Potenzial, die Produktivität von Entwicklern zu steigern – jedenfalls dann, wenn die Qualität und Zuverlässigkeit der Ergebnisse steigen. Unter dem Strich ist und bleibt es essentiell, den Einsatz dieser Tools verantwortungsvoll zu handhaben und sicherzustellen, dass sie die menschliche Expertise ergänzen und nicht ersetzen.

Nadine

Riederer

Avision

CEO

Anzeige

Weitere Artikel

Newsletter
Newsletter Box

Mit Klick auf den Button "Jetzt Anmelden" stimme ich der Datenschutzerklärung zu.