tests/k8s/conformance/conformance.robot

   1 ##############################################################################
   2 # Copyright (c) 2019 AT&T Intellectual Property.                             #
   3 # Copyright (c) 2019 Nokia.                                                  #
   4 # Copyright (c) 2019 Enea AB
   5 #                                                                            #
   6 # Licensed under the Apache License, Version 2.0 (the "License");            #
   7 # you maynot use this file except in compliance with the License.            #
   8 #                                                                            #
   9 # You may obtain a copy of the License at                                    #
  10 #       http://www.apache.org/licenses/LICENSE-2.0                           #
  11 #                                                                            #
  12 # Unless required by applicable law or agreed to in writing, software        #
  13 # distributed under the License is distributed on an "AS IS" BASIS, WITHOUT  #
  14 # WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.           #
  15 # See the License for the specific language governing permissions and        #
  16 # limitations under the License.                                             #
  17 ##############################################################################
  18
  19 *** Settings ***
  20 Documentation     Run k8s conformance test using sonobuoy
  21 Library           OperatingSystem
  22 Library           BuiltIn
  23 Library           Collections
  24 Library           String
  25 Library           SSHLibrary
  26 Library           Process
  27 Test Setup        Run Keywords
  28 ...               Check that k8s cluster is reachable
  29 ...               Onboard Images
  30 ...               Create Manifest File
  31 Test Teardown     Run Keywords
  32 ...               Cleanup Sonobuoy
  33 ...               Close All Connections
  34
  35 *** Variables ***
  36 ${LOG}            ${LOG_PATH}${/}${SUITE_NAME.replace(' ','_')}.log
  37
  38 &{SONOBUOY}         path=gcr.io/heptio-images
  39 ...                 name=sonobuoy:v0.15.1
  40 &{E2E}              path=akraino
  41 ...                 name=validation:kube-conformance-v1.15
  42 &{SYSTEMD_LOGS}     path=akraino
  43 ...                 name=validation:sonobuoy-plugin-systemd-logs-latest
  44 &{SONOBUOY_IMGS}    sonobuoy=&{SONOBUOY}
  45 ...                 e2e=&{E2E}
  46 ...                 systemd_logs=&{SYSTEMD_LOGS}
  47
  48 # Following tests assume DNS domain is "cluster.local"
  49 ${DNS_DOMAIN_TESTS}  SEPARATOR=
  50 ...                 DNS should provide /etc/hosts entries for the cluster|
  51 ...                 DNS should provide DNS for services|
  52 ...                 DNS should provide DNS for ExternalName services|
  53 ...                 DNS should provide DNS for the cluster
  54
  55 *** Test Cases ***
  56 Run Sonobuoy Conformance Test
  57         # Start the test
  58         Run                     kubectl apply -f ${CURDIR}${/}sonobuoy.yaml
  59         Sleep                   20s
  60         ${rc}  ${output}=       Run And Return Rc And Output
  61                                 ...  kubectl describe pod/sonobuoy -n heptio-sonobuoy
  62         Append To File          ${LOG}  ${output}${\n}
  63
  64         # Wait until the test finishes execution
  65         Run                     while sonobuoy status | grep "Sonobuoy is still running"; do sleep 180; done
  66         Append To File          ${LOG}  "Sonobuoy has completed"${\n}
  67
  68         # Get the result and store the sonobuoy logs
  69         ${rc}  ${output}=       Run And Return Rc And Output
  70                                 ...  results=$(sonobuoy retrieve ${LOG_PATH}) && sonobuoy e2e $results
  71         Append To File          ${LOG}  ${output}${\n}
  72         Should Contain          ${output}       failed tests: 0
  73
  74 *** Keywords ***
  75 Check that k8s cluster is reachable
  76         # Check that the config file is mounted in the container
  77         File Should Not Be Empty  /root/.kube/config
  78
  79         # Make sure the pod is reachable with the local k8s client
  80         ${rc}  ${output}=       Run And Return Rc And Output
  81                                 ...  kubectl get pods --all-namespaces
  82         Append To File          ${LOG}  ${output}${\n}
  83         Should Contain          ${output}      kube-system
  84
  85 Cleanup Sonobuoy
  86         ${rc}  ${output}=       Run And Return Rc And Output
  87                                 ...  kubectl delete -f ${CURDIR}${/}sonobuoy.yaml
  88         Append To File          ${LOG}  ${output}${\n}
  89         Sleep                   3s
  90         Should Contain          ${output}      service "sonobuoy-master" deleted
  91
  92 Open Connection And Log In
  93         Open Connection         ${HOST}
  94         Login With Public Key   ${USERNAME}  ${SSH_KEYFILE}
  95
  96 Upload To Internal Registry
  97          [Arguments]            ${path}  ${name}
  98          ${rc}=  Execute Command
  99          ...     docker pull ${path}/${name}
 100          ...       return_stdout=False  return_rc=True
 101          Should Be Equal As Integers  ${rc}  0
 102          ${rc}=  Execute Command
 103          ...     docker tag ${path}/${name} ${INT_REG}/bluval/${name}
 104          ...       return_stdout=False  return_rc=True
 105          Should Be Equal As Integers  ${rc}  0
 106          ${rc}=  Execute Command
 107          ...     docker push ${INT_REG}/bluval/${name}
 108          ...       return_stdout=False  return_rc=True
 109          Should Be Equal As Integers  ${rc}  0
 110
 111 Onboard Sonobuoy Images
 112         FOR  ${img}  IN  @{SONOBUOY_IMGS}
 113             ${path}=            Get From Dictionary  ${SONOBUOY_IMGS['${img}']}  path
 114             ${name}=            Get From Dictionary  ${SONOBUOY_IMGS['${img}']}  name
 115             Upload To Internal Registry  ${path}  ${name}
 116             Set To Dictionary  ${SONOBUOY_IMGS['${img}']}  path=${INT_REG}/bluval
 117         END
 118
 119 Onboard Kubernetes e2e Test Images
 120         ${result}=              Run Process  sonobuoy  images
 121         Should Be Equal As Integers  ${result.rc}  0
 122         @{images}=              Split String  ${result.stdout}
 123         FOR  ${img}  IN  @{images}
 124             ${path}  ${name}  Split String From Right  ${img}  /  1
 125             Upload To Internal Registry  ${path}  ${name}
 126         END
 127
 128 Onboard Images
 129         ${INT_REG}=             Get Variable Value  ${INTERNAL_REGISTRY}  ${EMPTY}
 130         Set Test Variable       ${INT_REG}
 131         Return From Keyword If  $INT_REG == '${EMPTY}'
 132         Open Connection And Log In
 133         Onboard Sonobuoy Images
 134         Onboard Kubernetes e2e Test Images
 135
 136 Get Tests To Skip
 137         ${flag}=                Set Variable  Aggregator|Alpha|\\[(Disruptive|Feature:[^\\]]+|Flaky)\\]
 138         ${flag}=                Run Keyword If  '${DNS_DOMAIN}' != 'cluster.local'
 139         ...                         Catenate  SEPARATOR=|  ${flag}  ${DNS_DOMAIN_TESTS}
 140         ...                     ELSE
 141         ...                         Set Variable  ${flag}
 142         [Return]                ${flag}
 143
 144 Create Manifest File
 145         ${skip}=                Get Tests To Skip
 146         @{flags}=               Set Variable
 147         ...                         --e2e-focus  \\[Conformance\\\]
 148         ...                         --e2e-skip  ${skip}
 149         ...                         --kube-conformance-image  ${SONOBUOY_IMGS.e2e.path}/${SONOBUOY_IMGS.e2e.name}
 150         ...                         --sonobuoy-image  ${SONOBUOY_IMGS.sonobuoy.path}/${SONOBUOY_IMGS.sonobuoy.name}
 151         ...                         --image-pull-policy  Always
 152         ...                         --timeout  14400
 153         Run Keyword If          $INT_REG != '${EMPTY}'  Run Keywords
 154         ...                     Append To List  ${flags}
 155         ...                         --e2e-repo-config  ${CURDIR}${/}custom_repos.yaml
 156         ...                     AND
 157         ...                     Run Process  sed  -i  s|{{ registry }}|${INT_REG}/bluval|g
 158         ...                         ${CURDIR}${/}custom_repos.yaml
 159         ${result}=              Run Process  sonobuoy  gen  @{flags}
 160         Should Be Equal As Integers  ${result.rc}  0
 161         ${manifest}=            Replace String  ${result.stdout}
 162         ...                         image: gcr.io/heptio-images/sonobuoy-plugin-systemd-logs:latest
 163         ...                         image: ${SONOBUOY_IMGS.systemd_logs.path}/${SONOBUOY_IMGS.systemd_logs.name}
 164         Create File             ${CURDIR}${/}sonobuoy.yaml  ${manifest}