Update sonobuoy kube-conformance docker images
[validation.git] / tests / k8s / conformance / conformance.robot
index d0da9c6..8cf83dd 100644 (file)
@@ -39,10 +39,10 @@ ${LOG}            ${LOG_PATH}${/}${SUITE_NAME.replace(' ','_')}.log
 
 &{SONOBUOY}         path=gcr.io/heptio-images
 ...                 name=sonobuoy:v0.16.1
-&{E2E}              path=akraino
+&{E2E}              path=k8s.gcr.io
 ...                 name=Actual value set dynamically
-&{SYSTEMD_LOGS}     path=akraino
-...                 name=validation:sonobuoy-plugin-systemd-logs-latest
+&{SYSTEMD_LOGS}     path=gcr.io/heptio-images
+...                 name=sonobuoy-plugin-systemd-logs:latest
 &{SONOBUOY_IMGS}    sonobuoy=&{SONOBUOY}
 ...                 e2e=&{E2E}
 ...                 systemd_logs=&{SYSTEMD_LOGS}
@@ -73,6 +73,7 @@ Run Sonobuoy Conformance Test
         Append To File          ${LOG}  ${output}${\n}
 
         # Wait until the test finishes execution
+        Wait Until Keyword Succeeds    3x    20 sec    Check that sonobuoy is running
         Run                     while sonobuoy status | grep "Sonobuoy is still running"; do sleep 180; done
         Append To File          ${LOG}  "Sonobuoy has completed"${\n}
 
@@ -93,6 +94,10 @@ Check that k8s cluster is reachable
         Append To File          ${LOG}  ${output}${\n}
         Should Contain          ${output}      Server Version: version.Info
 
+Check that sonobuoy is running
+       ${output}=              Run    kubectl get pod sonobuoy --namespace sonobuoy
+       Should Contain          ${output}     Running
+
 Cleanup Sonobuoy
         ${rc}  ${output}=       Run And Return Rc And Output
                                 ...  kubectl delete -f ${CURDIR}${/}sonobuoy.yaml
@@ -143,7 +148,11 @@ Define Images
         ${versions}=            Convert String To JSON  ${result.stdout}
         ${major}=               Get Value From Json  ${versions}  $.serverVersion.major
         ${minor}=               Get Value From Json  ${versions}  $.serverVersion.minor
-        Set To Dictionary       ${SONOBUOY_IMGS['e2e']}  name=validation:kube-conformance-v${major[0]}.${minor[0]}
+        ${gitVersion}=          Get Value From Json  ${versions}  $.serverVersion.gitVersion
+        ${major}=               Get Regexp Matches  ${major[0]}  \\d+
+        ${minor}=               Get Regexp Matches  ${minor[0]}  \\d+
+        ${gitVersion}=               Get Regexp Matches  ${gitVersion[0]}  \\d+
+        Set To Dictionary       ${SONOBUOY_IMGS['e2e']}  name=conformance:${gitVersion[0]}
 
 Onboard Images
         ${INT_REG}=             Get Variable Value  ${INTERNAL_REGISTRY}  ${EMPTY}