Add validaton tests for KNI

Create new tests to be run on KNI blueprints.
They are based on kubernetes, so are are adding
hardware, os and k8s tests.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I96defca94796dc16d32ef69286381428daeee4ed

Add LTP tests build

How to run the ltp tests:
 - copy ltp.tar.gz on the cluster
 - untar ltp.tat.gz in /opt/ltp
 - run /opt/ltp/runtest

JIRA: VAL-69

Signed-off-by: Daniel Stoica <daniel.stoica@enea.com>
Change-Id: Ia5a719653b1e0ff89dcb77320a71ead6e247fbff

Add a new parameter to blucon script

Jira: [VAL-72]
Add a parameter which specifies container network.

Signed-off-by: valentin.radulescu <valentin.radulescu@enea.com>
Change-Id: I9defc4a122db4c4f6309d4a98f29500849eeeeec

Merge "Add iec tests"

Add iec tests

Increase timeout to allow sonobuoy containers to start.

Signed-off-by: valentin.radulescu <valentin.radulescu@enea.com>
Change-Id: I82998aaa2b1a04dc99a05a2cf5144df19bf21110

Copy helm charts from tagged version v2.15.1

JIRA: VAL-71

Change-Id: I0d5e3082805c3aeac24889414973032a5ee29f84
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

RECV-110 ETCD Bluval Integration

Change-Id: Ic88641416478271ccd71403dcd7cbcc251599801
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "Add remote session to etcd HA testcases"

Add remote session to etcd HA testcases

Signed-off-by: Indumathi Buddi <ib405q@att.com>
Change-Id: I9219a85f48cb722d609793e8f43dc953328d4ae6

Add Redfish Robot test

Validate common use cases by running Redfish Usecase Checkers suite
via Redfish Test Framework.

JIRA: VAL-67

Change-Id: Ibfec4f6a70dd4dfd62fc0ceb9a871509b53a0745
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "New container for logging"

Skip DNS domain tests

For the time being do not execute e2e tests which assume fixed domain
name [1] conflicting cluster's domain name. Configurability has
been implemented [2] but available only starting from k8s 1.16.

[1] https://github.com/vmware-tanzu/sonobuoy/issues/733
[2] https://github.com/kubernetes/kubernetes/pull/79284

JIRA: VAL-61

Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
Change-Id: I9b13dc7a402b3304b2b22a33a6eb8e446d3abcc6

Merge "Switch back to 1.15 in k8s layer container"

Switch back to 1.15 in k8s layer container

Verification needed before version upgrade.

JIRA: VAL-65

Change-Id: I3e38a5f421a05fb3024ef83fd1c3c1d4bd267278
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[UI] Enable HTTPs default port

The UI should be accessible using
the default https (i.e. 443) port.

JIRA: VAL-64

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I48452327bca0aa7029ecaf69dd9c927ea2a27977

Merge "[UI] Optional trust of all SSL Certificates"

[UI] Optional trust of all SSL Certificates

The user can select whether the UI should
trust all SSL certificates or not.

JIRA: VAL-63

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I3d1b7dba74342550aa743f906affba7cf7ddd7fc

Set kube-conformance back to v1.15

The image was upgraded in [1].

The version must be in line with target deployment's version if
internal registry is used. REC is based on 1.15 and utilize internal
registry.

[1] https://gerrit.akraino.org/r/c/validation/+/1691

Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
Change-Id: I42738c2845c874e457bf317aeb95465f93c4102b

[UI] Handling users and passwords

The UI does not reset passwords on startup.
Also, only the admin user is created during startup.
Then, new users can be created by the admin.
Moreover, 3 level of privileges are supported,
namely admin, tsc and lab owner.
Finally, the admin user is enabled to reset users.

JIRA: VAL-62

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Ie799c5b7eedf557855cccdc5a60395ec074ac381

New container for logging

Added a container basic tools needed for testing logging layer
JIRA: VAL-53

Signed-off-by: Daniel Stoica <daniel.stoica@enea.com>
Change-Id: I37e95397200ef10c0e2f53642141cb3cd3fae8cb

Merge "[UI] Fix ONAP Portal SDK redirection bug"

docker: manifest push: Ignore missing images

Certain containers might lack one of the images that should be part
of the multiarch tag, so create the manifest without them and do not
bail in such scenarios.

Change-Id: Ia1094d1dfb1c998d7eda5e68c751d75ab3966c5b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

docker: Fix aarch64 mysql docker build/push skip

The previous attempt of skipping the mysql container image build on
aarch64 did not really work.

Rework our .push_image by adding a wrapper make target, push-image,
for each docker container.

Fixes: ffc875998692929c2e4c0881aec6b68c9f2fbab8

Change-Id: I1fe2d0ad05fda224db1991d07f46653f89b5a82b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

k8s, kube-conformance: K8s 1.16.0, Sonobuoy 1.16.1

Change-Id: I99668fff76cb899d3b58013002451bb9d473a927
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

mysql: Skip build/push on aarch64

MySQL 5.6 is not officially available on aarch64 platforms, so
skip building/pushing the arm64 artifacts for our mysql container.

Change-Id: I21c6ae3cf33d46966e432c53f57cffc80d4d4170
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[UI] Fix ONAP Portal SDK redirection bug

Whenever a login redirection is needed,
the user is redirected to the UI login page.

JIRA: VAL-60

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I220ef9b046ff4263717877480f750b2e8299c690

[UI] Use MySQL instead of MariaDB

The UI MariaDB database is substituted
with MySQL. In this way, the deployment
to Amazon ECS can be supported.

JIRA: VAL-58

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Iba311b6165a0fe09f187e7787b59739d4c353e02

Merge "Refactor conformance robot test"

[UI] Support user creation

Creation of users is supported.
The AES PKCS#5 is used for
encrypting/decrypting passwords in database.

JIRA: VAL-57

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I2469eac0c2b7ab99f3853ac3a023b325c51285f2

[UI] Prevent UI from XSS

Prevent UI from XSS (Cross-site-scripting)
attacks.

JIRA: VAL-56

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Iab877852f0f4c35e36a23c2cae301dffd3d57827

Refactor conformance robot test

- upload and use images in internal repository if the repository
  is defined
- create sonobuoy manifest file dynamically
- increase sonobuoy timeout to avoid early abort

JIRA: VAL-48

Change-Id: I49c721bc8a4da90942167ecd835c8e5bb26f5364
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[UI] Encrypt passwords in db

The passwords stored in database are encrypted.
In this way, this data cannot be used by individuals
that shouldn't have access to it.

JIRA: VAL-55

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I3eb3b6a23398d37faa59938f84368711e7666978

Merge "[UI] Support of HTTPS"

[UI] Support of HTTPS

HTTPs with the appropriate SSL certificates
is supported in order to secure the connection
between the client and the UI.

JIRA: VAL-54

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I4fe37d98fbc5cfa45a12eef0f1af820877758f54

Merge "send_logs script"

send_logs script

Change-Id: I44d00dff3b066b21b9a0dca34deeda67254db1ed
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "[UI] Support data registration"

[UI] Support data registration

Data regarding available labs, blueprints, versions,
layers is created/deleted/updated by the UI users
using user-friendly views.

JIRA: VAL-44

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Ic69e5bf9c150e51cc6d83b7ed5124632075943eb

Merge "Generate Tempest test report"

Merge "Add etcd ha test cases"

[UI] Common class for results

A common class for Nexus and database results
is used.

JIRA: VAL-49

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I62e68091b0a978d721f6468a7b2bf73d899c4027

Add etcd ha test cases

This is on par with the etcd tests for Airship on
ha/ha_etcd_api_ctl_sch.robot.

JIRA: VAL-25

Co-Authored-By: Juha Kosonen <juha.kosonen@nokia.com>
Change-Id: I492ac86d0c34b3768469c4272bfc4a502a2847f7
Signed-off-by: Indumathi Buddi <ib405q@att.com>

Fix repo url retrieval

Allow also non-printable characters as a field separator when listing
repositories.

JIRA: VAL-47

Change-Id: If8628fd55adc5f2d38e8680d3f96e9a0cbd5b94e
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Add Helm chart repository Robot tests"

Add Helm chart repository Robot tests

Verifies charts can be added and removed from a chart repository.

Tests verified on REC cluster only.

JIRA: VAL-43

Change-Id: Iad1a5771210d8d2a7386f64db57a382a8bb96054
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Generate Tempest test report

Store generated HTML report to results. Save also tempest configuration
file since this may be useful when debugging failed cases.

Change-Id: I5fefb093da8adc39ff0441b20c4e75dd8635c79b
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "LTP integrated with bluval"

[UI] Fix Dockerfile

The new name of the built war file
is now supported

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I48d968c2b989f7f471f8260db49978e82831b94b

Merge "Add Robot test for running Tempest test suite"

Merge "[UI] Support UI partial control"

Merge "Create docker layer container for Docker Bench"

[UI] Support UI partial control

The UI is capable of retrieving the results
from Nexus that every blueprint owner has
independently pushed.

JIRA: VAL-38

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I256641d1faed21025bc688a4a469f7af5f43d45f

LTP integrated with bluval

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I1dcb678058dbb0dccd794761f431c5235862899e

Merge "docker bench integrated with bluval"

Add Robot test for running Tempest test suite

Runs the test set defined by RefStack [1]. Creates OpenStack resources
needed for running Tempest tests if required.

Blacklist mechanism for excluding test cases from execution is
supported.

[1] https://refstack.openstack.org/api/v1/guidelines/2019.06/tests?target=platform&type=required&alias=true&flag=false

JIRA: VAL-36

Change-Id: I30e3f3a084e028c7ec75f1254319448ebace72a9
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Create docker layer container for Docker Bench

Change-Id: Iefcbd481aa4993a59528feed3faa40cf279a890c
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add mandatory LTP tests

Signed-off-by: Indumathi Buddi <ib405q@att.com>
Change-Id: I5fba2485b375d7fec42b8e4963b97a98a1158aba

fix: as per CSO

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: Ie95987ee60a7760121161782305a45273bc9f68c

Merge "Add Robot test for validating Helm charts"

Add Robot test for validating Helm charts

Uses linter to check charts are well-formed and tests rendering by
dry-running the install.

JIRA: VAL-43

Change-Id: If0eaaf6d5e5deaf4e9bd2d8fb6303b66d2035a1f
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

generate test_info.yaml

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I870a98af01e96213025ce2f989410efada677364

Customize the volume list per layer

- Create an input yaml file for the list of volumes that will be mounted
to the container when running the tests.
- Customize the list of containers for each layer.
- Add the posibility to store the bluval-<blueprint>.yaml file outside
the validation project and mount it at runtime.

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: Id3c21cb861879cd3040b06badfb9622429734ce6

docker bench integrated with bluval

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I316fb4085b36c52da50a5b42c31b750cf456bb59

[k8s] sonobuoy: Align all images with v0.15.1 tag

We previously bumped the sonobuoy and its required tooling (e.g.
e2e.test) to the minor version 0.15, but some binaries/images were
still pointing to 0.13/0.14 versions; let's align all of them.

Change-Id: Ic27aab02fe41d7fed06d5a45796c7bddd0db9940
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[k8s] Skip Aggregator test

The validation k8s container contains k8s v1.15 which adds the
Aggregator test to the conformance suite. However this tests fails when
ran against clusters with older version of k8s, therefore we skip it.

JIRA: VAL-8

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I18cbc40a1d51e4f9b81872a289025a66b384d50c

Support of test cases' addtitional tag

Test cases can now be tagged as optional

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I97e217ff3c1270d56853bab36c97b75c056f5151

Merge "[RECV-94] Separate docker/robot invoking"

[k8s] validation: kube-conformance s/v1.11/v1.15/

Bump kube-conformance from v1.11 to v1.15 to pick up newer test images,
e.g. nginx-slim only has arm64 support starting with the next version
after the one pinned by e2e tests in kubernetes v1.11.10, while
e2e.test binary only has proper etcd arm64 support starting with 1.15.

- update README;
- bump dockerhub image tag;
- bump git submodule pinned commit from upstream
  heptio/kube-conformance;
- bump tag in image referenced by sonobuoy configuration;

While at it, also align related resource versions in K8s image:
- bump kubectl/gingo/e2e.test in K8s image from v1.13.0 to v1.15.x
  (latest minor release available for the 1.15 major release);
- pin sonobuoy binary version to v0.14.3 tag;
- bump sonobuoy timeouts to accomodate runs on slower hardware;

Change-Id: Ia0e632219694a63e9cdf06d7e6dad89cff016361
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[UI] UI enhancements"

[UI] UI enhancements

- Representation of declarative result
  info
- Re-deployment of db when persistent
  storage already exists
- Searching matching fields should be
  supported in the front-end app
- Loading gif should be displayed when
  the front-end apps is trying to receive results
- Deletion of submissions should be disabled

JIRA: VAL-37

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Ie140cd595543790c90ab60d50288cc825bd07a6b

[RECV-94] Separate docker/robot invoking

Change-Id: I3dbeda2c11be09fbb250417042c6f76a01c92d0f
Signed-off-by: Naga Sugguna <ns156u@att.com>

skip, show_stopper, all tested

* skip, If you want to skip any testcase you can just give "True"
  for this.

* show_stopper, testcase failed meaning we should not continue.
  If you are expecting too many failures because of this failure,
  you mark it as show_stopper: True

* all is special layer, that means all layers.

* -d/--delegate is an option to delegate validation to docker
  containers. docker containers will never use this.

Change-Id: I92b1fc0ac47a6ca3b75e1e2e75c9aea0d206fdaf
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "Add Docker Bench for Security"

Merge "Remove e2e layer"

Remove e2e layer

e2e.sh is using kubetest for running tests. This is not needed since
we already use Sonobuoy for e2e tests on k8s layer.

Change-Id: Ib26737ef2e5c7af712e17034b9c0233ecaab8ed3
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[docker] Fix build for mariadb

The mariadb container is failing to build on aarch64 because it's using
an image without arm support. Also standardized the location where the
validation code is cloned.

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I3bf262ea565e487f635b398d0f49314eceb5162e

Add Docker Bench for Security

The Docker Bench for Security [1] is a script that checks for common
best-practices around deploying Docker containers. The Robot test case
added uploads the test script on all nodes of the cluster, runs all
available CIS tests and downloads produced execution logs.

[1] https://github.com/docker/docker-bench-security/tree/master

JIRA: VAL-35

Change-Id: I107673363453f38344fd9db3c88b88ea70f1074a
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "UI adaptation for supporting ONAP portal SDK"

Merge "[docker] Standardize the location of the code"

Merge "[docker] Renamed hw layer to hardware"

[docker] Standardize the location of the code

Use the same location to clone the repository inside the docker images.
/opt/akraino/validation/
Use /opt/akraino/results to store the results of the tests

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I6ec594d66d84539608d5c3cef8a0277b7b2b54d7

UI adaptation for supporting ONAP portal SDK

JIRA: VAL-29

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I1ff3118e09b7cc91b465fb8293a0e7765c82a581

[docker] Renamed hw layer to hardware

It was decided in the team meeting that all references to the hardware
layer should be named "hardware" instead of "hw" for consistency.

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I00a725d8653275627e2489fa09398587dd5a5481

[k8s conformance] sonobuoy: Use Akraino images

Instead of pulling upstream images, which are x86-specific, switch
to our own Akraino images with multiarch (x86_64 + AArch64) support:
- akraino/validation:sonobuoy-plugin-systemd-logs-latest
- akraino/validation:kube-conformance-v1.11

JIRA: VAL-24

Change-Id: I195e111350a95c8d198f73420a1b2ba76a8600f2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[docker] Add sonobuoy multiarch image build"

[docker] Add sonobuoy multiarch image build

Upstream sonobuoy lacks 2 images for AArch64 architecture, so build
our own multiarch amd64 (x86_64) + arm64 (AArch64) images for:
- sonobuoy-plugin-systemd-logs (tag version 'latest');
- kube-conformance (tag version 'v1.11');

The new images will be pushed to Dockerhub as:
- akraino/validation:sonobuoy-plugin-systemd-logs-latest
- akraino/validation:kube-conformance-v1.11

Since upstream Dockerfiles require small changes for AArch64 support,
implement a new patching mechanism via new make targets in
`docker/build.mk`:
- .submodules_init
  * initializes the (newly added) git submodules in this repository
    and pulls the pinned-down commit for each submodule;
- .submodules_patched
  * Applies patches found in the `patches` and/or `patches/<arch>`
    subdirectories for each submodule (using `git am -3`), so we can
    apply AArch64-specific changes only on arm64 platforms;
- .submodules_clean
  * Un-applies patches by resetting each git submodule to its
    pinned-down commit;

To add support for pre-build actions like submodules init + patching,
turn `.build` make target into a double-colon target and extend it
for the two new containers accordingly.

To prevent tox verify failures, adjust ui .eslintrc and tox.ini to
remove the git submodules first (second one being a temporary
workaround until ci-management allows configuring verify jobs with
git submodule handling disabled).

JIRA: VAL-24

Change-Id: Ibfeb3551e44e82fdade2886985ca4577b7d32522
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "fix: hp_baremetal ping"

Merge "[ui] Fix docker build for UI container"

fix: hp_baremetal ping

Change-Id: Ib100994e543311b1ec7b5916b6a1874ec4e0f320
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "Fix Sonobuoy test execution completion waiting"

Remove NA test cases

Change-Id: If5217a2c17d0e3bf3428078e2f8d74e59522bbdb
Signed-off-by: Naga Sugguna <ns156u@att.com>

Fix Sonobuoy test execution completion waiting

JIRA: VAL-34

Change-Id: I2175553f7a3d42fc3b0f00e75cef9b1c10bc6bf6
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

REC testcases

Test cases for REC

Change-Id: I6d26a6f0b0c9dfd5db745abdab8ed48b86175ff5
Signed-off-by: Naga Sugguna <ns156u@att.com>

[ui] Fix docker build for UI container

The build is failing because it expects the java code to be built
before copying the executable inside the ui container

JIRA: VAL-31

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I1f3d92bab9d1de8fbe93a2da0667c82aca44789f

Merge "Fix OS Dockerfile"

Add Bare metal hardware test cases for hp:

 - Connectivity
 - Health
 - Chassis
 - idrac
 - Bios
 - Firmware

Updated Dockerfile for hw container

Updated variable.yaml to have a consolidated list
of variables for the robot test cases

Change-Id: Ie6b6cbfb8854310665602279872409852e36182e
Signed-off-by: Miguel Montiel <mm747b@att.com>

Add container script for hw layer test

 Dockerfile which installs
  - Dependencies
  - Robot framework

Change-Id: I2d465fdf771c4fc087afe7fd233064cdccfe5fce
Signed-off-by: Miguel Montiel <mm747b@att.com>

Fix OS Dockerfile

 - Default command removed
 - Add blueval dependencies

Change-Id: Ieb9df39bc85e3b828a4bb67738d395440363952b
Signed-off-by: Miguel Montiel <mm747b@att.com>

OS layer typo fixed

Change-Id: I2ef006f89eedaecbe8cd653345b91552b1c0f4f4
Signed-off-by: Miguel Montiel <mm747b@att.com>

Merge "[k8s] Run the tests using bluval"