Add Helm chart repository Robot tests

Verifies charts can be added and removed from a chart repository.

Tests verified on REC cluster only.

JIRA: VAL-43

Change-Id: Iad1a5771210d8d2a7386f64db57a382a8bb96054
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Create docker layer container for Docker Bench"

Merge "docker bench integrated with bluval"

Create docker layer container for Docker Bench

Change-Id: Iefcbd481aa4993a59528feed3faa40cf279a890c
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add mandatory LTP tests

Signed-off-by: Indumathi Buddi <ib405q@att.com>
Change-Id: I5fba2485b375d7fec42b8e4963b97a98a1158aba

fix: as per CSO

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: Ie95987ee60a7760121161782305a45273bc9f68c

Merge "Add Robot test for validating Helm charts"

Add Robot test for validating Helm charts

Uses linter to check charts are well-formed and tests rendering by
dry-running the install.

JIRA: VAL-43

Change-Id: If0eaaf6d5e5deaf4e9bd2d8fb6303b66d2035a1f
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

generate test_info.yaml

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I870a98af01e96213025ce2f989410efada677364

Customize the volume list per layer

- Create an input yaml file for the list of volumes that will be mounted
to the container when running the tests.
- Customize the list of containers for each layer.
- Add the posibility to store the bluval-<blueprint>.yaml file outside
the validation project and mount it at runtime.

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: Id3c21cb861879cd3040b06badfb9622429734ce6

docker bench integrated with bluval

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I316fb4085b36c52da50a5b42c31b750cf456bb59

[k8s] sonobuoy: Align all images with v0.15.1 tag

We previously bumped the sonobuoy and its required tooling (e.g.
e2e.test) to the minor version 0.15, but some binaries/images were
still pointing to 0.13/0.14 versions; let's align all of them.

Change-Id: Ic27aab02fe41d7fed06d5a45796c7bddd0db9940
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[k8s] Skip Aggregator test

The validation k8s container contains k8s v1.15 which adds the
Aggregator test to the conformance suite. However this tests fails when
ran against clusters with older version of k8s, therefore we skip it.

JIRA: VAL-8

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I18cbc40a1d51e4f9b81872a289025a66b384d50c

Support of test cases' addtitional tag

Test cases can now be tagged as optional

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I97e217ff3c1270d56853bab36c97b75c056f5151

Merge "[RECV-94] Separate docker/robot invoking"

[k8s] validation: kube-conformance s/v1.11/v1.15/

Bump kube-conformance from v1.11 to v1.15 to pick up newer test images,
e.g. nginx-slim only has arm64 support starting with the next version
after the one pinned by e2e tests in kubernetes v1.11.10, while
e2e.test binary only has proper etcd arm64 support starting with 1.15.

- update README;
- bump dockerhub image tag;
- bump git submodule pinned commit from upstream
  heptio/kube-conformance;
- bump tag in image referenced by sonobuoy configuration;

While at it, also align related resource versions in K8s image:
- bump kubectl/gingo/e2e.test in K8s image from v1.13.0 to v1.15.x
  (latest minor release available for the 1.15 major release);
- pin sonobuoy binary version to v0.14.3 tag;
- bump sonobuoy timeouts to accomodate runs on slower hardware;

Change-Id: Ia0e632219694a63e9cdf06d7e6dad89cff016361
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[UI] UI enhancements"

[UI] UI enhancements

- Representation of declarative result
  info
- Re-deployment of db when persistent
  storage already exists
- Searching matching fields should be
  supported in the front-end app
- Loading gif should be displayed when
  the front-end apps is trying to receive results
- Deletion of submissions should be disabled

JIRA: VAL-37

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Ie140cd595543790c90ab60d50288cc825bd07a6b

[RECV-94] Separate docker/robot invoking

Change-Id: I3dbeda2c11be09fbb250417042c6f76a01c92d0f
Signed-off-by: Naga Sugguna <ns156u@att.com>

skip, show_stopper, all tested

* skip, If you want to skip any testcase you can just give "True"
  for this.

* show_stopper, testcase failed meaning we should not continue.
  If you are expecting too many failures because of this failure,
  you mark it as show_stopper: True

* all is special layer, that means all layers.

* -d/--delegate is an option to delegate validation to docker
  containers. docker containers will never use this.

Change-Id: I92b1fc0ac47a6ca3b75e1e2e75c9aea0d206fdaf
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "Add Docker Bench for Security"

Merge "Remove e2e layer"

Remove e2e layer

e2e.sh is using kubetest for running tests. This is not needed since
we already use Sonobuoy for e2e tests on k8s layer.

Change-Id: Ib26737ef2e5c7af712e17034b9c0233ecaab8ed3
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[docker] Fix build for mariadb

The mariadb container is failing to build on aarch64 because it's using
an image without arm support. Also standardized the location where the
validation code is cloned.

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I3bf262ea565e487f635b398d0f49314eceb5162e

Add Docker Bench for Security

The Docker Bench for Security [1] is a script that checks for common
best-practices around deploying Docker containers. The Robot test case
added uploads the test script on all nodes of the cluster, runs all
available CIS tests and downloads produced execution logs.

[1] https://github.com/docker/docker-bench-security/tree/master

JIRA: VAL-35

Change-Id: I107673363453f38344fd9db3c88b88ea70f1074a
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "UI adaptation for supporting ONAP portal SDK"

Merge "[docker] Standardize the location of the code"

Merge "[docker] Renamed hw layer to hardware"

[docker] Standardize the location of the code

Use the same location to clone the repository inside the docker images.
/opt/akraino/validation/
Use /opt/akraino/results to store the results of the tests

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I6ec594d66d84539608d5c3cef8a0277b7b2b54d7

UI adaptation for supporting ONAP portal SDK

JIRA: VAL-29

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I1ff3118e09b7cc91b465fb8293a0e7765c82a581

[docker] Renamed hw layer to hardware

It was decided in the team meeting that all references to the hardware
layer should be named "hardware" instead of "hw" for consistency.

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I00a725d8653275627e2489fa09398587dd5a5481

[k8s conformance] sonobuoy: Use Akraino images

Instead of pulling upstream images, which are x86-specific, switch
to our own Akraino images with multiarch (x86_64 + AArch64) support:
- akraino/validation:sonobuoy-plugin-systemd-logs-latest
- akraino/validation:kube-conformance-v1.11

JIRA: VAL-24

Change-Id: I195e111350a95c8d198f73420a1b2ba76a8600f2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[docker] Add sonobuoy multiarch image build"

[docker] Add sonobuoy multiarch image build

Upstream sonobuoy lacks 2 images for AArch64 architecture, so build
our own multiarch amd64 (x86_64) + arm64 (AArch64) images for:
- sonobuoy-plugin-systemd-logs (tag version 'latest');
- kube-conformance (tag version 'v1.11');

The new images will be pushed to Dockerhub as:
- akraino/validation:sonobuoy-plugin-systemd-logs-latest
- akraino/validation:kube-conformance-v1.11

Since upstream Dockerfiles require small changes for AArch64 support,
implement a new patching mechanism via new make targets in
`docker/build.mk`:
- .submodules_init
  * initializes the (newly added) git submodules in this repository
    and pulls the pinned-down commit for each submodule;
- .submodules_patched
  * Applies patches found in the `patches` and/or `patches/<arch>`
    subdirectories for each submodule (using `git am -3`), so we can
    apply AArch64-specific changes only on arm64 platforms;
- .submodules_clean
  * Un-applies patches by resetting each git submodule to its
    pinned-down commit;

To add support for pre-build actions like submodules init + patching,
turn `.build` make target into a double-colon target and extend it
for the two new containers accordingly.

To prevent tox verify failures, adjust ui .eslintrc and tox.ini to
remove the git submodules first (second one being a temporary
workaround until ci-management allows configuring verify jobs with
git submodule handling disabled).

JIRA: VAL-24

Change-Id: Ibfeb3551e44e82fdade2886985ca4577b7d32522
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "fix: hp_baremetal ping"

Merge "[ui] Fix docker build for UI container"

fix: hp_baremetal ping

Change-Id: Ib100994e543311b1ec7b5916b6a1874ec4e0f320
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "Fix Sonobuoy test execution completion waiting"

Remove NA test cases

Change-Id: If5217a2c17d0e3bf3428078e2f8d74e59522bbdb
Signed-off-by: Naga Sugguna <ns156u@att.com>

Fix Sonobuoy test execution completion waiting

JIRA: VAL-34

Change-Id: I2175553f7a3d42fc3b0f00e75cef9b1c10bc6bf6
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

REC testcases

Test cases for REC

Change-Id: I6d26a6f0b0c9dfd5db745abdab8ed48b86175ff5
Signed-off-by: Naga Sugguna <ns156u@att.com>

[ui] Fix docker build for UI container

The build is failing because it expects the java code to be built
before copying the executable inside the ui container

JIRA: VAL-31

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I1f3d92bab9d1de8fbe93a2da0667c82aca44789f

Merge "Fix OS Dockerfile"

Add Bare metal hardware test cases for hp:

 - Connectivity
 - Health
 - Chassis
 - idrac
 - Bios
 - Firmware

Updated Dockerfile for hw container

Updated variable.yaml to have a consolidated list
of variables for the robot test cases

Change-Id: Ie6b6cbfb8854310665602279872409852e36182e
Signed-off-by: Miguel Montiel <mm747b@att.com>

Add container script for hw layer test

 Dockerfile which installs
  - Dependencies
  - Robot framework

Change-Id: I2d465fdf771c4fc087afe7fd233064cdccfe5fce
Signed-off-by: Miguel Montiel <mm747b@att.com>

Fix OS Dockerfile

 - Default command removed
 - Add blueval dependencies

Change-Id: Ieb9df39bc85e3b828a4bb67738d395440363952b
Signed-off-by: Miguel Montiel <mm747b@att.com>

OS layer typo fixed

Change-Id: I2ef006f89eedaecbe8cd653345b91552b1c0f4f4
Signed-off-by: Miguel Montiel <mm747b@att.com>

Merge "[k8s] Run the tests using bluval"

Merge "UI initial implementation."

UI initial implementation.

- A user can commit and be informed about
  submissions of blueprint validation requests.
- Appropriate dockerfiles have been added for the
  UI and the required postgreSQL db.
- .gitignore file has been updated
- Integration with Jenkins completed
- The URL of the result is retrieved and
  displayed
- Multi-threading is now supported
- Notification callback from Jenkins implemented
- Results are retrieved from Nexus
- Results are displayed
- UI and postgreSQL docker projects support the
  makefile automation build and push process
- README file is included
- CHANGELOG file is included
- Coala static code analysis was performed

JIRA: VAL-14

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Icd2a97426bfbfc6e4eb4ec5edbda6689e2d4645f

Add os cyclic test

 - Test to verify latency in os

Change-Id: I49e8d2f0aa62c9ee1f31c0b90fa70b5fa3b24444
Signed-off-by: Miguel Montiel <mm747b@att.com>

[k8s] Run the tests using bluval

- Install pip requirements needed for bluval
- Run the k8s tests using bluval instead of directly using robot,
  thus allowing for more complex decisions regarding which tests to run
- Use relative paths in bluval
- Moved the input variable file in the tests folder (all things related
  to tests shoudl be there)
- Standardized the location and name of the log files

JIRA: VAL-28

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: Ifc388d0df8b237d29239b62469f3f117e26e30f0

NoneType fixed

Change-Id: I6cfbddd6590f11c392113df878ba1faa774d3bcc
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "[docs] Document the changes to k8s container"

Pass variables to robot testcases

* robot can take variables files in .yaml and .py formats
.yaml is more readable where .py can generate dynamic parametrs.
Here providing the both options.
* blueval engine updated to pass variables file.
* Decided to use simple (yaml) option and enhances it when needed

* We can make a standard, robot testcases can have variables but
comment them before committing. Looking at that users can update
variables file.

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I1df6efff22e86a7feaca5c2e641b7c130bb79138

Merge "Organize file structure for tests"

[docs] Document the changes to k8s container

Document how to use the k8s contaier after the changes
introduced by patch 674

JIRA: VAL-18

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I9d99fd6f217b40b496b259629ebf5ad1ebcc6560

[docker] Fix wrong dependency in build target

Previously, we relied on the '$<' Makefile automatic variable to
determine the directory where a certain build target should run.
Although this worked for a single container (as '$<' expands to
the *first* dependency of the make target), it causes issues when
multiple subdirectories are present, since all but the first
target will have '$<' pointing to the same first subdirectory.

Instead, switch to using '$@' which always expands to the current
make target and perform some simple string manipulation to extract
the proper target directory where the build should occur.

JIRA: VAL-27

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Change-Id: Id8448c6feffb04dc14c8cd1c3d362f1d2934fd24

Organize file structure for tests

Reorganized the tests following these rules
- all tests have been put under *tests* folder
- all tests are organised under folders named
  by their correspondent layer

bluval.py was modified to reflect the changes

TODO: each layer under *tests* folder should have a correspondent
layer in the *docker* folder

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: Ifdd46ee22b6d009eb17475c5e2efd8bd9f37c3ad

Add container script for os layer test

JIRA: VAL-16

Added Dockerfile that installs
 - Install dependencies
 - Robot framework
 - Added path to run ltp test
 - Updated reference path to validation

Change-Id: I72b003d1a59d40ef70ad9be04f0495ad35e56977
Signed-off-by: Miguel Montiel <mm747b@att.com>

Merge "bluval engine refactoring"

bluval engine refactoring

actual .robot testcases used instead of helloworld
bluval-dummy.yaml is added for dummy blue print to test easily
All the rebot results redirected to one directory results
click is used to take parameters from CLI
optional --layer/l is taken as parameter
Deriving yaml location from blue print name
Sections named as layers and layer names expanded hw -> hardware
.py code refactored, mode functions added.

Change-Id: Id916a79301d32ed64afc398fb486ba71b81a1dea
Signed-off-by: Naga Sugguna <ns156u@att.com>

[Conformance] Add tests to container

- Add the validation repo to the k8s container
- Add the command to run the test as default in the container
- Adapt the conformance test to use the tools inside the container:
   - SSH library is removed as all the tools are inside the container
   - The test for sonobuoy and golang are no longer necessary
   - Test setup is added to check that the k8s conf file is mounted
     in the container and k8s cluster is reachable
   - Modified the test to wait for sonobuoy to finish and check
     for failures
   - Added teardown to cleanup sonobuoy containers after test is ran
   - Use absolute paths for files
   - Log all the result files in one folder that can be mounted as
     volume in the container for persistence
   - Save the sonobouy archive in the log folder

To test the changes:
   - copy /etc/kubernetes/admin.conf from k8s cluster to the jumpserver
   - run the container while mounting the admin.conf file and the
     results folder

JIRA: VAL-18

Change-Id: I8afd2e79775436538e5f3a5d54040a64e05d4c59
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

verify: Pin requests to 2.21.0

requests release 2.22.0 added a python requires that excludes all
versions of Python < 3.5. The LFCI's default 3 version is 3.4 so
causes build failure.

Change-Id: I8797c37bbe1b0fa54be348f09b60b98065e23ab7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add tests for Ceph OSD running as systemd service

- Ceph services are available when Ceph OSD is failing
- Ceph OSD recovers back to operational

JIRA: VAL-22

Change-Id: Id7b7324df5437cfeecc103dacb165b281e26cb0e
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add tests for Ceph running as systemd service

- monitor/manager failure on one node
- monitor/manager failure on two nodes

JIRA: VAL-19

Change-Id: Ic4fcb8188fc34e9d8e99b53a129724dfc731a54a
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[tox] verify: Pin pygments to 2.3.x

Pygments release 2.4.0 which added a python requires that excludes all
versions of Python < 3.5. The LFCI's default 3 version is 3.4 so causes
build failure.

Change-Id: I0e03d3622cf8764b5d0a6778efaea76b53d08fa2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

tox: Disable pip cache for coala venv

JIRA: VAL-10

The Jenkins verify jobs report success even when there are failures,
because it doens't find the coala bears to run.

Ported https://gerrit.akraino.org/r/#/c/607/ to fix the issue

Also fixed the tox issues introduced by 537 as they are casuing the
verify job to fail:
 - conformance/sonobuoy.yaml is whitelisted as per Miguel's request

Change-Id: I497121b8bbd08cf43e7d7b25470f9814ca1d9227
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Pass proxy environment variables to tox

Tox will not pass proxy environment variables by default to the test
environment. Passing the variables enables running tox in a setup
requiring proxy settings.

JIRA: VAL-15

Change-Id: Id37dd1ac7289af42b8291f679a1f18af91e947e0
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Add verify for signed patch"

Update the docker registry

JIRA: VAL-11

The docker registry has been created by LF at akraino/validation,
thereore I updated the scripts to reflect this.

Also added a make target to push the images to the repo.

Change-Id: Ie608a8738b2b29d138e92a46e0b8899372736f3f
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Add verify for signed patch

JIRA: VAL-12

Add a script to verify that each patch has a "Signed-off-by" line
Run the script with tox, so that the check is made for each patch
submitted in gerrit

Change-Id: I078d032fc1ebf79b710fd93689de47f298e0adce
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Add code verification tools"

Add code verification tools

JIRA: VAL-10

Tools used to verify code style and correctness.
Usage command: tox coala

This patch needs to be merged before https://gerrit.akraino.org/r/#/c/568/

Change-Id: I9d4d05b13f037f814832eff279c0e410e6a34b08
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Set of TCs to test K8s layer via Robot"

Merge "Fix KeyError in show_stopper checking"

Set of TCs to test K8s layer via Robot

Change-Id: I33986759b7904978ac74c033d7ba02f38441d1c3

Add container scripts for k8s conformance test

JIRA: VAL-9

Added the Dockerfile that installs
 - kubectl, e2e.test, ginkgo
 - sonobuoy
 - robot framework

Makefile that can be used to build the container and push it, including
manifest list for both x86_64 and aarch64. Check the README file for
usage.

Until we have the official build in place, test images are available at
cristinapauna/akraino_validation:k8s-latest

Manual testing performed on the images:
- e2e.test command was verified using:
  e2e.test -ginkgo.focus "\[Conformance\]" -ginkgo.noColor -ginkgo.skip \
  'Alpha|Disruptive|Feature|Flaky' -kubeconfig /root/.kube/config -provider local

- sonobuoy was tested with the command:
  sonobuoy run --wait

- robot framework was tested using https://github.com/robotframework/RobotDemo
  robot --name Robot --loglevel DEBUG keyword_driven.robot data_driven.robot \
  gherkin.robot

Change-Id: I9d661895cb85f030993f2205b7ca4115f46ec21b
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Signed-off-by: Alexandru Avadanii <alexandru.avadanii@enea.com>

Fix KeyError in show_stopper checking

Testcase yaml does not necessarily contain field 'show_stopper'.

Change-Id: I88034f2aa4500d02302f31862aa610fbe70a0f27
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

yaml parser for bluval

Creating YAML parser for loading, validating and executing
testcases mentioned in yaml file.

Change-Id: Id183e2e08e6cbc5f030db1e5ff6b7ca7ef6662d6
Signed-off-by: Naga Sugguna <ns156u@att.com>

Initial empty repository