我有一个Cucumber-JVM，JUnit，Selenium设置。我通过在Eclipse中使用JUnit运行RunSmokeTests.java来启动运行。我还设置了一个maven配置文件来从命令行运行测试，将来可能还有Jenkins。
当测试运行时，其中一些可能会失败，主要是由于应用程序花费的时间超过预期。然后我必须重新运行这些场景。目前我通过手动将@rerun标签附加到失败的标签然后运行RunReruns.java来运行它们，这类似于RunSmokeTest.java但使用@rerun标签。
随着自动化测试数量的增加，标记测试并开始运行并清除标签非常耗时。有没有使用Cucumber-JVM重新运行失败测试的自动化方法？
run smoke tests.Java
package testGlueClasses;
import cucumber.api.junit.Cucumber;
import org.junit.runner.RunWith;
@RunWith(Cucumber.class)
@Cucumber.Options(features = "src/test/java", strict = true, format = {
"html:target/CucumberReport", "json:target/JSON/Cucumber.json",
"FrameworkCore.CustomTestReporter" }, tags = { "@SmokeTest" }, glue = {
"FrameworkCore", "MyApp.Utils", "MyApp.StepDefinitions" })
public class RunSmokeTests {
}
Maven片段：
<profile>
<id>smoke</id>
<properties>
<include.tests>
**/RunSmokeTests.java
</include.tests>
</properties>
</profile>
我提出了另一种解决方案，使用maven和黄瓜重新运行失败的测试。
RunNotifierpublic class RerunningCucumber extends Cucumber {
private final String className;
@SuppressWarnings("rawtypes")
public RerunningCucumber(Class clazz) throws InitializationError, IOException {
super(clazz);
className = clazz.getSimpleName();
}
@Override
public void run(RunNotifier notifier) {
notifier.addListener(new RunListener(){
public void testFailure(Failure failure) throws Exception {
Throwable error = failure.getException();
if (error instanceof AssertionError){
//Nothing. This is a normal failure. Continue
return;
}
//No! A wild exception has appeared!
//Let's run this test again.
RerunningCucumber.addFile(className);
}
});
super.run(notifier);
}
private static final String filename = "target/rerun.properties";
private static final Set<String> addedClasses = new HashSet<String>();
public static synchronized void addFile(String className) throws IOException{
//First find the file
if (addedClasses.contains(className)){
return;
}
File file = new File(filename);
if (!file.exists()){
//Need to create the file
PrintWriter writer = new PrintWriter(file, "UTF-8");
writer.print("retryclasses=**/"+className+".class");
writer.close();
}
else {
PrintWriter out = new PrintWriter(new BufferedWriter(new FileWriter(file, true)));
out.print(",**/"+className+".class");
out.close();
}
addedClasses.add(className);
}
}
这将运行测试，并且每当发生故障时，将失败的类输出到文件。诀窍是保持功能简短并创建大量测试类以避免重复测试。
@RunWith(RerunningCucumber.class)
@CucumberOptions(features = {"classpath:features/testFeature.feature}, format = {
"html:target/cucumber-html-report/testFeature.html",
"json:target/cucumber-json-report/testFeature.json"},
tags = {"@testFeature"})
public class RunTestFeature {
}
Rerun profile to maven.这样做有三件事：1）它将失败的类加载到内存中，2）清除失败的类属性文件，3）仅重新运行从属性文件加载的失败的测试：
<profile>
<id>retry</id>
<build>
<plugins>
<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>properties-maven-plugin</artifactId>
<version>1.0-alpha-2</version>
<executions>
<!-- Associate the read-project-properties goal with the initialize
phase, to read the properties file. -->
<execution>
<phase>pre-clean</phase>
<goals>
<goal>read-project-properties</goal>
</goals>
<configuration>
<files>
<file>target/rerun.properties</file>
</files>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-clean-plugin</artifactId>
<version>2.6.1</version>
<configuration>
<filesets>
<fileset>
<directory>target</directory>
<includes>
<include>rerun.properties</include>
</includes>
</fileset>
</filesets>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-antrun-plugin</artifactId>
<version>1.6</version>
<executions>
<execution>
<phase>compile</phase>
<goals>
<goal>run</goal>
</goals>
<configuration>
<target>
<echo>Retrying the following classes: "${retryclasses}"</echo>
</target>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.17</version>
<configuration>
<includes>
<include>${retryclasses}</include>
</includes>
<testFailureIgnore>true</testFailureIgnore>
</configuration>
<executions>
<execution>
<phase>test</phase>
<goals>
<goal>test</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</profile>
首次试运行：
mvn clean test
下一个测试运行：
mvn clean test -Pretry
mvn clean test -Pretry
mvn clean test -Pretry
...
您可以根据需要重复多次，直到没有错误。
我手边没有可执行的示例，但您也可以在jvm上执行此操作。有一个RerunFormatter写了一个文本文件，列出了失败场景的文件和行号：
@CucumberOptions(format = {"rerun:target/rerun.txt"})
您应该能够通过在@前面添加前缀来指定此文件作为另一个测试类的输入：
@CucumberOptions(features = {"@target/rerun.txt"})
您可以将黄瓜选项传递给mvn，如下所示
mvn clean verify -Dcucumber.options="@rerun.txt"
请注意，这里有一个棘手的部分。如果您在首次运行和重新运行时使用相同的测试运行器（我相信这是您想要的），那么测试运行器将包含类似的内容
@CucumberOptions(plugin = { "rerun:target/rerun.txt"})
如果您使用与下面相同的重新运行文件名激活您使用maven重新运行
mvn clean verify -Dcucumber.options="@target/rerun.txt"
然后黄瓜会抱怨它找不到重新运行文件。为什么？因为插件“rerun：target / rerun.txt”将首先使用此测试运行器删除该文件。
解决方法是首先复制/重命名文件，然后启动mvn运行
mv target/rerun.txt rerun.txt && mvn clean verify -Dcucumber.options="@rerun.txt"
这实际上就是你想要的。因为假设文件target / rerun.txt中有5个失败的场景。经过一些修复后重新运行，其中2个通过。现在，target / rerun.txt将仅包含剩余的3个失败方案，这将是调试方式的新起点。
您可以使用cucumber-jvm-parallel-plugin贡献的代码作为解决方法，直到它上线。命中命令如下所示。