Pass variables to robot testcases

* robot can take variables files in .yaml and .py formats
.yaml is more readable where .py can generate dynamic parametrs.
Here providing the both options.
* blueval engine updated to pass variables file.
* Decided to use simple (yaml) option and enhances it when needed

* We can make a standard, robot testcases can have variables but
comment them before committing. Looking at that users can update
variables file.

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I1df6efff22e86a7feaca5c2e641b7c130bb79138

Merge "Organize file structure for tests"

[docker] Fix wrong dependency in build target

Previously, we relied on the '$<' Makefile automatic variable to
determine the directory where a certain build target should run.
Although this worked for a single container (as '$<' expands to
the *first* dependency of the make target), it causes issues when
multiple subdirectories are present, since all but the first
target will have '$<' pointing to the same first subdirectory.

Instead, switch to using '$@' which always expands to the current
make target and perform some simple string manipulation to extract
the proper target directory where the build should occur.

JIRA: VAL-27

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Change-Id: Id8448c6feffb04dc14c8cd1c3d362f1d2934fd24

Organize file structure for tests

Reorganized the tests following these rules
- all tests have been put under *tests* folder
- all tests are organised under folders named
  by their correspondent layer

bluval.py was modified to reflect the changes

TODO: each layer under *tests* folder should have a correspondent
layer in the *docker* folder

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: Ifdd46ee22b6d009eb17475c5e2efd8bd9f37c3ad

Add container script for os layer test

JIRA: VAL-16

Added Dockerfile that installs
 - Install dependencies
 - Robot framework
 - Added path to run ltp test
 - Updated reference path to validation

Change-Id: I72b003d1a59d40ef70ad9be04f0495ad35e56977
Signed-off-by: Miguel Montiel <mm747b@att.com>

Merge "bluval engine refactoring"

bluval engine refactoring

actual .robot testcases used instead of helloworld
bluval-dummy.yaml is added for dummy blue print to test easily
All the rebot results redirected to one directory results
click is used to take parameters from CLI
optional --layer/l is taken as parameter
Deriving yaml location from blue print name
Sections named as layers and layer names expanded hw -> hardware
.py code refactored, mode functions added.

Change-Id: Id916a79301d32ed64afc398fb486ba71b81a1dea
Signed-off-by: Naga Sugguna <ns156u@att.com>

[Conformance] Add tests to container

- Add the validation repo to the k8s container
- Add the command to run the test as default in the container
- Adapt the conformance test to use the tools inside the container:
   - SSH library is removed as all the tools are inside the container
   - The test for sonobuoy and golang are no longer necessary
   - Test setup is added to check that the k8s conf file is mounted
     in the container and k8s cluster is reachable
   - Modified the test to wait for sonobuoy to finish and check
     for failures
   - Added teardown to cleanup sonobuoy containers after test is ran
   - Use absolute paths for files
   - Log all the result files in one folder that can be mounted as
     volume in the container for persistence
   - Save the sonobouy archive in the log folder

To test the changes:
   - copy /etc/kubernetes/admin.conf from k8s cluster to the jumpserver
   - run the container while mounting the admin.conf file and the
     results folder

JIRA: VAL-18

Change-Id: I8afd2e79775436538e5f3a5d54040a64e05d4c59
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

verify: Pin requests to 2.21.0

requests release 2.22.0 added a python requires that excludes all
versions of Python < 3.5. The LFCI's default 3 version is 3.4 so
causes build failure.

Change-Id: I8797c37bbe1b0fa54be348f09b60b98065e23ab7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add tests for Ceph OSD running as systemd service

- Ceph services are available when Ceph OSD is failing
- Ceph OSD recovers back to operational

JIRA: VAL-22

Change-Id: Id7b7324df5437cfeecc103dacb165b281e26cb0e
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add tests for Ceph running as systemd service

- monitor/manager failure on one node
- monitor/manager failure on two nodes

JIRA: VAL-19

Change-Id: Ic4fcb8188fc34e9d8e99b53a129724dfc731a54a
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[tox] verify: Pin pygments to 2.3.x

Pygments release 2.4.0 which added a python requires that excludes all
versions of Python < 3.5. The LFCI's default 3 version is 3.4 so causes
build failure.

Change-Id: I0e03d3622cf8764b5d0a6778efaea76b53d08fa2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

tox: Disable pip cache for coala venv

JIRA: VAL-10

The Jenkins verify jobs report success even when there are failures,
because it doens't find the coala bears to run.

Ported https://gerrit.akraino.org/r/#/c/607/ to fix the issue

Also fixed the tox issues introduced by 537 as they are casuing the
verify job to fail:
 - conformance/sonobuoy.yaml is whitelisted as per Miguel's request

Change-Id: I497121b8bbd08cf43e7d7b25470f9814ca1d9227
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Pass proxy environment variables to tox

Tox will not pass proxy environment variables by default to the test
environment. Passing the variables enables running tox in a setup
requiring proxy settings.

JIRA: VAL-15

Change-Id: Id37dd1ac7289af42b8291f679a1f18af91e947e0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Add verify for signed patch"

Update the docker registry

JIRA: VAL-11

The docker registry has been created by LF at akraino/validation,
thereore I updated the scripts to reflect this.

Also added a make target to push the images to the repo.

Change-Id: Ie608a8738b2b29d138e92a46e0b8899372736f3f
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Add verify for signed patch

JIRA: VAL-12

Add a script to verify that each patch has a "Signed-off-by" line
Run the script with tox, so that the check is made for each patch
submitted in gerrit

Change-Id: I078d032fc1ebf79b710fd93689de47f298e0adce
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Add code verification tools"

Add code verification tools

JIRA: VAL-10

Tools used to verify code style and correctness.
Usage command: tox coala

This patch needs to be merged before https://gerrit.akraino.org/r/#/c/568/

Change-Id: I9d4d05b13f037f814832eff279c0e410e6a34b08
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Set of TCs to test K8s layer via Robot"

Merge "Fix KeyError in show_stopper checking"

Set of TCs to test K8s layer via Robot

Change-Id: I33986759b7904978ac74c033d7ba02f38441d1c3

Add container scripts for k8s conformance test

JIRA: VAL-9

Added the Dockerfile that installs
 - kubectl, e2e.test, ginkgo
 - sonobuoy
 - robot framework

Makefile that can be used to build the container and push it, including
manifest list for both x86_64 and aarch64. Check the README file for
usage.

Until we have the official build in place, test images are available at
cristinapauna/akraino_validation:k8s-latest

Manual testing performed on the images:
- e2e.test command was verified using:
  e2e.test -ginkgo.focus "\[Conformance\]" -ginkgo.noColor -ginkgo.skip \
  'Alpha|Disruptive|Feature|Flaky' -kubeconfig /root/.kube/config -provider local

- sonobuoy was tested with the command:
  sonobuoy run --wait

- robot framework was tested using https://github.com/robotframework/RobotDemo
  robot --name Robot --loglevel DEBUG keyword_driven.robot data_driven.robot \
  gherkin.robot

Change-Id: I9d661895cb85f030993f2205b7ca4115f46ec21b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Signed-off-by: Alexandru Avadanii <alexandru.avadanii@enea.com>

Fix KeyError in show_stopper checking

Testcase yaml does not necessarily contain field 'show_stopper'.

Change-Id: I88034f2aa4500d02302f31862aa610fbe70a0f27
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

yaml parser for bluval

Creating YAML parser for loading, validating and executing
testcases mentioned in yaml file.

Change-Id: Id183e2e08e6cbc5f030db1e5ff6b7ca7ef6662d6
Signed-off-by: Naga Sugguna <ns156u@att.com>

Initial empty repository