[REC-74] openstack bluval integration

Change-Id: I5dd973f8c8dba742e74843a6cd21aa0306ccd71b
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "Convention over configuration"

[VAL-92] OS layer image UTF-8 issue

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I79db72c4124c12994823e13fb83176dda09fa37b

Merge "Do not run all LTP test suites"

[UI] Ignore malformed results

Validation results are ignored when
there are no robot test results
associated with them

Signed-off-by: Ioakeim Samaras <is661a@att.com>
Change-Id: Ia27c20022105e202e24f0281b7a7f69a6212fcc4

Do not run all LTP test suites

JIRA: VAL-91

Change-Id: I705b8b20c61988be57c61e3cd7e1b60900a38f24
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Fix the log file name of LTP tests

Change-Id: Ie8a0a068a0ac86503df781be0f4921558543fb01
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Fix LTP test case failures

- untar ltp to / with sudo
- output 'y' when test case expects user intervention
- set read access to output/results

JIRA: VAL-89

Change-Id: Ia2268fcfb6a9720d051de88a1561456539ec5b03
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[UI] Embed files inside image

The files 'server.xml' and 'index.jsp'
are embedded inside the UI docker
image during build stage

Signed-off-by: Ioakeim Samaras <is661a@att.com>
Change-Id: I056fbb28a2e58630061ea85d8846ebe08f302998

Merge "LTP installed, executed, cleaned on target node"

Merge "[k8s][conformance] Check sonobuoy container runs"

[os] Fix python version

The python version we currently use in all our containers is 3.6
Also make sure this version is the default one.

JIRA: VAL-86

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I414adf82f436c21abeb7d11d13b82beab8cc384b

[k8s][conformance] Check sonobuoy container runs

Sometimes the sonobuoy container doesn't get into running state before
we check for its status. Added a check to make sure that sonobuoy
container is running before checking for status.

JIRA: VAL-81

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I299083a2150b144714661a57533f3e5aab556cb0

[UI] Handle malformed results

When malformed results are stored
in Nexus, the UI ignores them.

Signed-off-by: Ioakeim Samaras <is661a@att.com>
Change-Id: I83265825adb36a544618a3003fde56f4d0ccbe70

Select kube-conformance version dynamically

Use a version conformorming server version.

Change-Id: Ib2d82c810fe82da3825f0d1b63345d1fa0baf6ff
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

LTP installed, executed, cleaned on target node

Jira: [VAL-66]

LTP testcase fixed to run on cluster master node.
LTP prebuilt binary is installed and cleaned.
LTP output and results downloaded for every testcase

Change-Id: Id3b96f97418034b6099fb11a472a285889159cc4
Signed-off-by: Naga Sugguna <ns156u@att.com>

Convention over configuration

Jira: [VAL-83]

bluva.py is taking varibles.yaml and writing updated version to
varibles_updated.yaml

varibles_updated.yaml is passed to robot framework.
OperatingSystem.Get Environment is better than $HOME.
Each container automatically removed
Each test suite has a debug.log by default

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: Iae95d1ee12c8c5e44949be3faf5b0fc9fc40266e

Merge "Update conformance test to support k8s 1.16"

Merge "Add python3 to os container"

Merge "Default value to SSH_KEYFILE"

Merge "Use a more generic kubectl command to check status"

Use a more generic kubectl command to check status

VAL-73:
Use "kubectl version" instead of "kubectl get pods
--all-namespaces" to check status.

Signed-off-by: valentin.radulescu <valentin.radulescu@enea.com>
Change-Id: Ie7549f9af0060aa7e13e363f0a3b289e290a0bdf

Update conformance test to support k8s 1.16

- Sonobuoy v0.16.1
- kube-conformance 1.16

JIRA: VAL-84

Change-Id: I63bf582466c6447326c67a0c4faffdcab496acad
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Update eslint config

When runing the validation of the patces, the eslint verification
throws erros like: "Error: ESLint configuration of global 'console' in
ui/src/main/webapp/.eslintrc is invalid:"

Update the config file so that these errors are not thrown anymore.

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I951bc0370b6599e14fcdc2f68b45d0684b4e2b1b

Add python3 to os container

JIRA: VAL-86

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I0a3e7d3f4f9c7f1e89e84624ca23234cfab5a4c1

Add LTP tests build

How to run the ltp tests:
 - copy ltp.tar.gz on the cluster
 - untar ltp.tat.gz in /opt/ltp
 - run /opt/ltp/runtest

JIRA: VAL-69

Signed-off-by: Daniel Stoica <daniel.stoica@enea.com>
Change-Id: Ia5a719653b1e0ff89dcb77320a71ead6e247fbff

Default value to SSH_KEYFILE

Jira: VAL-75

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I389bb17cb08e2be3f94f2e5a378e655fca0f9288

Add a new parameter to blucon script

Jira: [VAL-72]
Add a parameter which specifies container network.

Signed-off-by: valentin.radulescu <valentin.radulescu@enea.com>
Change-Id: I9defc4a122db4c4f6309d4a98f29500849eeeeec

Merge "Add iec tests"

Add iec tests

Increase timeout to allow sonobuoy containers to start.

Signed-off-by: valentin.radulescu <valentin.radulescu@enea.com>
Change-Id: I82998aaa2b1a04dc99a05a2cf5144df19bf21110

Copy helm charts from tagged version v2.15.1

JIRA: VAL-71

Change-Id: I0d5e3082805c3aeac24889414973032a5ee29f84
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

RECV-110 ETCD Bluval Integration

Change-Id: Ic88641416478271ccd71403dcd7cbcc251599801
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "Add remote session to etcd HA testcases"

Add remote session to etcd HA testcases

Signed-off-by: Indumathi Buddi <ib405q@att.com>
Change-Id: I9219a85f48cb722d609793e8f43dc953328d4ae6

Add Redfish Robot test

Validate common use cases by running Redfish Usecase Checkers suite
via Redfish Test Framework.

JIRA: VAL-67

Change-Id: Ibfec4f6a70dd4dfd62fc0ceb9a871509b53a0745
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "New container for logging"

Skip DNS domain tests

For the time being do not execute e2e tests which assume fixed domain
name [1] conflicting cluster's domain name. Configurability has
been implemented [2] but available only starting from k8s 1.16.

[1] https://github.com/vmware-tanzu/sonobuoy/issues/733
[2] https://github.com/kubernetes/kubernetes/pull/79284

JIRA: VAL-61

Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
Change-Id: I9b13dc7a402b3304b2b22a33a6eb8e446d3abcc6

Merge "Switch back to 1.15 in k8s layer container"

Switch back to 1.15 in k8s layer container

Verification needed before version upgrade.

JIRA: VAL-65

Change-Id: I3e38a5f421a05fb3024ef83fd1c3c1d4bd267278
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[UI] Enable HTTPs default port

The UI should be accessible using
the default https (i.e. 443) port.

JIRA: VAL-64

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I48452327bca0aa7029ecaf69dd9c927ea2a27977

Merge "[UI] Optional trust of all SSL Certificates"

[UI] Optional trust of all SSL Certificates

The user can select whether the UI should
trust all SSL certificates or not.

JIRA: VAL-63

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I3d1b7dba74342550aa743f906affba7cf7ddd7fc

Set kube-conformance back to v1.15

The image was upgraded in [1].

The version must be in line with target deployment's version if
internal registry is used. REC is based on 1.15 and utilize internal
registry.

[1] https://gerrit.akraino.org/r/c/validation/+/1691

Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>
Change-Id: I42738c2845c874e457bf317aeb95465f93c4102b

[UI] Handling users and passwords

The UI does not reset passwords on startup.
Also, only the admin user is created during startup.
Then, new users can be created by the admin.
Moreover, 3 level of privileges are supported,
namely admin, tsc and lab owner.
Finally, the admin user is enabled to reset users.

JIRA: VAL-62

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Ie799c5b7eedf557855cccdc5a60395ec074ac381

New container for logging

Added a container basic tools needed for testing logging layer
JIRA: VAL-53

Signed-off-by: Daniel Stoica <daniel.stoica@enea.com>
Change-Id: I37e95397200ef10c0e2f53642141cb3cd3fae8cb

Merge "[UI] Fix ONAP Portal SDK redirection bug"

docker: manifest push: Ignore missing images

Certain containers might lack one of the images that should be part
of the multiarch tag, so create the manifest without them and do not
bail in such scenarios.

Change-Id: Ia1094d1dfb1c998d7eda5e68c751d75ab3966c5b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

docker: Fix aarch64 mysql docker build/push skip

The previous attempt of skipping the mysql container image build on
aarch64 did not really work.

Rework our .push_image by adding a wrapper make target, push-image,
for each docker container.

Fixes: ffc875998692929c2e4c0881aec6b68c9f2fbab8

Change-Id: I1fe2d0ad05fda224db1991d07f46653f89b5a82b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

k8s, kube-conformance: K8s 1.16.0, Sonobuoy 1.16.1

Change-Id: I99668fff76cb899d3b58013002451bb9d473a927
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

mysql: Skip build/push on aarch64

MySQL 5.6 is not officially available on aarch64 platforms, so
skip building/pushing the arm64 artifacts for our mysql container.

Change-Id: I21c6ae3cf33d46966e432c53f57cffc80d4d4170
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[UI] Fix ONAP Portal SDK redirection bug

Whenever a login redirection is needed,
the user is redirected to the UI login page.

JIRA: VAL-60

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I220ef9b046ff4263717877480f750b2e8299c690

[UI] Use MySQL instead of MariaDB

The UI MariaDB database is substituted
with MySQL. In this way, the deployment
to Amazon ECS can be supported.

JIRA: VAL-58

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Iba311b6165a0fe09f187e7787b59739d4c353e02

Merge "Refactor conformance robot test"

[UI] Support user creation

Creation of users is supported.
The AES PKCS#5 is used for
encrypting/decrypting passwords in database.

JIRA: VAL-57

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I2469eac0c2b7ab99f3853ac3a023b325c51285f2

[UI] Prevent UI from XSS

Prevent UI from XSS (Cross-site-scripting)
attacks.

JIRA: VAL-56

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Iab877852f0f4c35e36a23c2cae301dffd3d57827

Refactor conformance robot test

- upload and use images in internal repository if the repository
  is defined
- create sonobuoy manifest file dynamically
- increase sonobuoy timeout to avoid early abort

JIRA: VAL-48

Change-Id: I49c721bc8a4da90942167ecd835c8e5bb26f5364
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

[UI] Encrypt passwords in db

The passwords stored in database are encrypted.
In this way, this data cannot be used by individuals
that shouldn't have access to it.

JIRA: VAL-55

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I3eb3b6a23398d37faa59938f84368711e7666978

Merge "[UI] Support of HTTPS"

[UI] Support of HTTPS

HTTPs with the appropriate SSL certificates
is supported in order to secure the connection
between the client and the UI.

JIRA: VAL-54

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I4fe37d98fbc5cfa45a12eef0f1af820877758f54

Merge "send_logs script"

send_logs script

Change-Id: I44d00dff3b066b21b9a0dca34deeda67254db1ed
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "[UI] Support data registration"

[UI] Support data registration

Data regarding available labs, blueprints, versions,
layers is created/deleted/updated by the UI users
using user-friendly views.

JIRA: VAL-44

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Ic69e5bf9c150e51cc6d83b7ed5124632075943eb

Merge "Generate Tempest test report"

Merge "Add etcd ha test cases"

[UI] Common class for results

A common class for Nexus and database results
is used.

JIRA: VAL-49

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I62e68091b0a978d721f6468a7b2bf73d899c4027

Add etcd ha test cases

This is on par with the etcd tests for Airship on
ha/ha_etcd_api_ctl_sch.robot.

JIRA: VAL-25

Co-Authored-By: Juha Kosonen <juha.kosonen@nokia.com>
Change-Id: I492ac86d0c34b3768469c4272bfc4a502a2847f7
Signed-off-by: Indumathi Buddi <ib405q@att.com>

Fix repo url retrieval

Allow also non-printable characters as a field separator when listing
repositories.

JIRA: VAL-47

Change-Id: If8628fd55adc5f2d38e8680d3f96e9a0cbd5b94e
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "Add Helm chart repository Robot tests"

Add Helm chart repository Robot tests

Verifies charts can be added and removed from a chart repository.

Tests verified on REC cluster only.

JIRA: VAL-43

Change-Id: Iad1a5771210d8d2a7386f64db57a382a8bb96054
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Generate Tempest test report

Store generated HTML report to results. Save also tempest configuration
file since this may be useful when debugging failed cases.

Change-Id: I5fefb093da8adc39ff0441b20c4e75dd8635c79b
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Merge "LTP integrated with bluval"

[UI] Fix Dockerfile

The new name of the built war file
is now supported

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I48d968c2b989f7f471f8260db49978e82831b94b

Merge "Add Robot test for running Tempest test suite"

Merge "[UI] Support UI partial control"

Merge "Create docker layer container for Docker Bench"

[UI] Support UI partial control

The UI is capable of retrieving the results
from Nexus that every blueprint owner has
independently pushed.

JIRA: VAL-38

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I256641d1faed21025bc688a4a469f7af5f43d45f

LTP integrated with bluval

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I1dcb678058dbb0dccd794761f431c5235862899e

Merge "docker bench integrated with bluval"

Add Robot test for running Tempest test suite

Runs the test set defined by RefStack [1]. Creates OpenStack resources
needed for running Tempest tests if required.

Blacklist mechanism for excluding test cases from execution is
supported.

[1] https://refstack.openstack.org/api/v1/guidelines/2019.06/tests?target=platform&type=required&alias=true&flag=false

JIRA: VAL-36

Change-Id: I30e3f3a084e028c7ec75f1254319448ebace72a9
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Create docker layer container for Docker Bench

Change-Id: Iefcbd481aa4993a59528feed3faa40cf279a890c
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Add mandatory LTP tests

Signed-off-by: Indumathi Buddi <ib405q@att.com>
Change-Id: I5fba2485b375d7fec42b8e4963b97a98a1158aba

fix: as per CSO

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: Ie95987ee60a7760121161782305a45273bc9f68c

Merge "Add Robot test for validating Helm charts"

Add Robot test for validating Helm charts

Uses linter to check charts are well-formed and tests rendering by
dry-running the install.

JIRA: VAL-43

Change-Id: If0eaaf6d5e5deaf4e9bd2d8fb6303b66d2035a1f
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

generate test_info.yaml

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I870a98af01e96213025ce2f989410efada677364

Customize the volume list per layer

- Create an input yaml file for the list of volumes that will be mounted
to the container when running the tests.
- Customize the list of containers for each layer.
- Add the posibility to store the bluval-<blueprint>.yaml file outside
the validation project and mount it at runtime.

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: Id3c21cb861879cd3040b06badfb9622429734ce6

docker bench integrated with bluval

Signed-off-by: Naga Sugguna <ns156u@att.com>
Change-Id: I316fb4085b36c52da50a5b42c31b750cf456bb59

[k8s] sonobuoy: Align all images with v0.15.1 tag

We previously bumped the sonobuoy and its required tooling (e.g.
e2e.test) to the minor version 0.15, but some binaries/images were
still pointing to 0.13/0.14 versions; let's align all of them.

Change-Id: Ic27aab02fe41d7fed06d5a45796c7bddd0db9940
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[k8s] Skip Aggregator test

The validation k8s container contains k8s v1.15 which adds the
Aggregator test to the conformance suite. However this tests fails when
ran against clusters with older version of k8s, therefore we skip it.

JIRA: VAL-8

Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>
Change-Id: I18cbc40a1d51e4f9b81872a289025a66b384d50c

Support of test cases' addtitional tag

Test cases can now be tagged as optional

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I97e217ff3c1270d56853bab36c97b75c056f5151

Merge "[RECV-94] Separate docker/robot invoking"

[k8s] validation: kube-conformance s/v1.11/v1.15/

Bump kube-conformance from v1.11 to v1.15 to pick up newer test images,
e.g. nginx-slim only has arm64 support starting with the next version
after the one pinned by e2e tests in kubernetes v1.11.10, while
e2e.test binary only has proper etcd arm64 support starting with 1.15.

- update README;
- bump dockerhub image tag;
- bump git submodule pinned commit from upstream
  heptio/kube-conformance;
- bump tag in image referenced by sonobuoy configuration;

While at it, also align related resource versions in K8s image:
- bump kubectl/gingo/e2e.test in K8s image from v1.13.0 to v1.15.x
  (latest minor release available for the 1.15 major release);
- pin sonobuoy binary version to v0.14.3 tag;
- bump sonobuoy timeouts to accomodate runs on slower hardware;

Change-Id: Ia0e632219694a63e9cdf06d7e6dad89cff016361
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[UI] UI enhancements"

[UI] UI enhancements

- Representation of declarative result
  info
- Re-deployment of db when persistent
  storage already exists
- Searching matching fields should be
  supported in the front-end app
- Loading gif should be displayed when
  the front-end apps is trying to receive results
- Deletion of submissions should be disabled

JIRA: VAL-37

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: Ie140cd595543790c90ab60d50288cc825bd07a6b

[RECV-94] Separate docker/robot invoking

Change-Id: I3dbeda2c11be09fbb250417042c6f76a01c92d0f
Signed-off-by: Naga Sugguna <ns156u@att.com>

skip, show_stopper, all tested

* skip, If you want to skip any testcase you can just give "True"
  for this.

* show_stopper, testcase failed meaning we should not continue.
  If you are expecting too many failures because of this failure,
  you mark it as show_stopper: True

* all is special layer, that means all layers.

* -d/--delegate is an option to delegate validation to docker
  containers. docker containers will never use this.

Change-Id: I92b1fc0ac47a6ca3b75e1e2e75c9aea0d206fdaf
Signed-off-by: Naga Sugguna <ns156u@att.com>

Merge "Add Docker Bench for Security"

Merge "Remove e2e layer"

Remove e2e layer

e2e.sh is using kubetest for running tests. This is not needed since
we already use Sonobuoy for e2e tests on k8s layer.

Change-Id: Ib26737ef2e5c7af712e17034b9c0233ecaab8ed3
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>