Stream: german (d-a-ch)
Topic: Touchstone und die TestScript Ressource
Marco Wedekind (Jun 30 2020 at 12:19):
Wer hat bereits Erfahrung mit der TestScript Ressource (http://build.fhir.org/testscript.html) und ggf. Touchstone (https://touchstone.aegis.net/touchstone/)? Wie habt ihr die TestScript Ressource für euch sinnvoll nutzbar gemacht? Ich freue mich, von euren Erfahrungen zu hören.
Axel Biernat (Jun 30 2020 at 13:29):
Bei Cerner haben wir uns mit die den Ansatz mit TestScript und Touchstone evaluiert. Im Ergebnis stand vor ca 1 Jahr fest, dass dies sehr spezifisch für Touchstone funktioniert. Wir haben uns dann für einen anderen Ansatz basierend auf einer CI/CD Toolchain entschieden. Die Test wurden dann als Testklassen mit üblichen Frameworks für Jenkins implementiert. Zusätzlich konnte auch noch der FHIR Validator (http://hl7.org/fhir/validation.html) eingebunden werden.
Christof Gessner (Jul 02 2020 at 07:15):
@Axel Biernat Stellt das dann eine "komplementäre" Ergänzung des generischen FHIR-Validators dar? Oder eine Alternative zu einer Spezialisierung des FHIR-Validator für eigene Zwecke?
Christof Gessner (Jul 02 2020 at 07:18):
Erinnert mich an die parallel eingesetzten Testmethoden für CDA-Profile: https://gazelle.ihe.net/content/gazelle-objectschecker vs. https://art-decor.org/mediawiki/index.php?title=Schematron-validation
Simone Heckmann (Jul 02 2020 at 08:53):
Validatoren testen nur die Inhalte, Touchstone testet die API.
Mit Touchstone kann man z.B. prüfen, ob ein Server Updates richtig verarbeitet, ob die Suchparameter korrekt implementiert sind usw.
Die Validierung der zurückgegebenen Inhalte gegen Profile gehört aber natürlich auch dazu...
Marco Wedekind (Jul 02 2020 at 09:12):
@Axel Biernat Danke für das Teilen deiner/eurer Erfahrung :+1: Das bestätigt meinen ersten, oberflächlichen Eindruck, das die TestScript Ressource noch nicht so breit unterstützt wird.
Simone Heckmann (Jul 02 2020 at 09:16):
Meiner Kenntnis nach ist Touchstone aktuell die einzige Implementierung, die TestScript unterstützt.
Muss aber nicht so bleiben, an sich ist das Konzept schon gut durchdacht, siehe https://www.hl7.org/fhir/testing.html
Simone Heckmann (Jul 02 2020 at 09:21):
Inferno testet ebenfalls APIs, scheint aber nicht so generisch angelegt zu sein wie Touchstone.
Hier müssen (soweit ich das sehe) die Szenarien, die getestet werden sollen, tool-spezifisch konfiguriert werden.
Ob IHE mit den Gazelle Tools TestScript unterstützt, weiß ich nicht. Aber es wäre schon prima, wenn man die Szenarien einmal definieren und dann zwischen den verschiedenen Test-Tools interoperabel austauschen könnte. Das ist die Idee hinter der TestScript Ressource.
Vermutlich stehen dem aber wieder die Interessen entgegen, die Nutzer an das jeweilige Tool binden zu wollen :-(
Noemi Deppenwiese (Jul 02 2020 at 09:22):
Es gibr noch https://projectcrucible.org/, aber ob das mit TestScript arbeitet war für mich nicht ersichtlich. Ich glaube, das geht vom ConformanceStatement eines Servers aus und schaut dann, ob das auch erfüllt wird.
Christof Gessner (Jul 02 2020 at 09:23):
Bei IHE Gazelle kann ich aus meinen Projekten nur zu CDA was sagen, nicht zu FHIR.
Simone Heckmann (Jul 02 2020 at 09:23):
Relevant: https://chat.fhir.org/#narrow/stream/179309-inferno/topic/Inferno.20vs.20Crucible
Simone Heckmann (Jul 02 2020 at 09:26):
So it seems more likely that we will retire Crucible as a standalone test platform, and pull in the most useful pieces into Inferno.
:exclamation:
Simone Heckmann (Jul 02 2020 at 09:27):
Also, Crucible's plan_executor has some support for TestScript execution, though it hasn't been maintained since FHIR STU3. We chose to not use TestScripts in Inferno in part because many of the requirements we needed to test (most notably SMART on FHIR) could not be represented in TestScripts. If there is strong demand from the IG authoring community to author tests in that manner then we could pull in that component from Crucible.
Axel Biernat (Jul 02 2020 at 09:39):
@Christof Gessner Genau es ging uns um die automatisierte Testung unter Einbeziehung von verfügbaren Tools.
Frank Oemig (Jul 02 2020 at 09:54):
MWn ist Touchstone hier führend. Die Ressourcen werden auch dadurch vorangetrieben.
Hersteller können hier auf der Basis eigene Tests definieren und dann automatisiert durchführen. Damit lassen sich dann ganze Workflows automatisiert durchtesten.
Marco Wedekind (Jul 02 2020 at 13:16):
Inferno (https://inferno.healthit.gov/ ) scheint (noch) US-spezifisch zu sein. Man kann einen eigenen, öffentlich verfügbaren FHIR Server gegen auswählbare Testszenarien testen. Auch eigene Testszenarien können entwickelt und der Community vorgeschlagen werden. Damit kann wohl die Kompatiblität zu verbreiteten (US-)Szenarien und Standardisierungsinitiativen wie Argonaut oder den US core Profilen getestet werden.
Der Touchstone Ansatz scheint eher für meine Zwecke geeignet zu sein. Touchstone bietet sich als TaaS (Testing as a Service) :rock_on: an. Das minimiert hoffentlich den Setup Aufwand und macht das Testen auch ziemlich ortsunabhängig. Die aktuelle Touchstone Version 5 vom 29.6.2020 (https://touchstone.aegis.net/touchstone/) soll es Organisationen möglich machen, eigene Zertifizierungsprogramme aufzulegen. Man soll gegen Touchstone Testserver als auch zwischen verschiedenen FHIR Servern Tests abfahren können usw. Klingt alles sehr vielversprechend.
Simone Heckmann (Jul 02 2020 at 13:26):
Klar, mit der Community-Edition von Inferno ist man auf sich alleine gestellt, kostet dafür aber nix :)
Touchstone ist eher ein Rundum-Sorglos-Paket, gegen $$$.
Eine Zielgruppe gibt's sicherlich für beides :)
Last updated: Apr 12 2022 at 19:14 UTC
