iec: Fix current build parameter passing

The Parameterized Trigger plugin requires parameters that are
passed down from the parent job to also be defined in the child job,
otherwise they are simply discarded.

Fix this by explicitly defining the same parameters in each child job.

Change-Id: I64ba6987527757bb0bf4e7d5224904424c91f3ec
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update icn unit test job

1. Remove individual feature test plan. Because Jenkins can't vote
for multiple jobs. For example, we have two jobs for two different
features. If one job passes but another fails, Jenkins can't vote
both +1 and -1. So this patch merges all tests into a single one,
which follows the Akraino comminuty template.

2. Add icn view

Signed-off-by: chengli3 <cheng1.li@intel.com>
Change-Id: Ide8aa3fd9edd19bd3886bce622d9172c469768b7

Change owner of results folder and its files.

JIRA: VAL-88

The files in results folder are created by root in container.

Signed-off-by: valentin.radulescu <valentin.radulescu@enea.com>
Change-Id: I9d7b9450c6ae379a8f41492d84f037e3557ef032

Add triggers to ci-build job.

Triggers if manifest and build-tools repo changed.

Signed-off-by: Tamas Lendvay <tamas.lendvay@nokia.com>
Issue: REC-30
Change-Id: I8ba22ddc541c9c8d03fb95dd8ddbcdbf223b9e6b
Signed-off-by: Tamas Lendvay <tamas.lendvay@nokia.com>

Merge "Update parameters for validation-enea-daily."

Update parameters for validation-enea-daily.

Signed-off-by: valentin.radulescu <valentin.radulescu@enea.com>
Change-Id: I323ca0a51baa5f1c1e7882de6e6cc3667bc328f8

ta: Avoid dpkg/apt race conditions on static slave

AArch64 slaves running the TA RPM/ISO build jobs are static and
have two executors, allowing TA build jobs to run into DPKG/APT
race conditions.

Avoid this by skipping all DEB installations if the required
packages are already installed.

Change-Id: I0bb21c6e99dd43e0fbbf9abb5f1a2599255079f9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Add ci validation script"

Add ci validation script

Add run_bluval.sh which triggers validation script.
Add jobs for iec.

Signed-off-by: valentin.radulescu <valentin.radulescu@enea.com>
Change-Id: I26338e7b6038149d4f122f7e5a4df978ca73d678

Add verify and merge jobs for ta/caas-storage.

Signed-off-by: Tamas Lendvay <tamas.lendvay@nokia.com>
Change-Id: I8e71f3f65e7ac426129f252e0d30762c26c776f3
Signed-off-by: Tamas Lendvay <tamas.lendvay@nokia.com>

Merge "Add new job to verify blueprint-basic-3-masters"

Merge "Clean the docker images after CI build."

Clean the docker images after CI build.

JIRA: VAL-52

Signed-off-by: Daniel Stoica <daniel.stoica@enea.com>
Change-Id: Idc11e7b59567d892c8bc8fb7cc3d9822a5d208d0

Merge "Merge job scm pull origin/master/HEAD"

Merge job scm pull origin/master/HEAD

Issue: REC-453
Change-Id: I1eb1368952868f5caa3e33e06003ab35e852b901
Signed-off-by: Tamas Lendvay <tamas.lendvay@nokia.com>

Merge "Create icn project jenkins job"

Add new job to verify blueprint-basic-3-masters

Create a set of jobs to verify the 3 masters
blueprint, in a similar way as blueprint-pae

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I9bd8e21b9f8aa04664a10ad7428fdc222bf10439

Create icn project jenkins job

Signed-off-by: chengli3 <cheng1.li@intel.com>
Change-Id: I92855e58c7197881425f6d3dfb805a5bac8adb34

Merge "Migrate current Sonar jobs to Sonarcloud"

Upgrade global-jjb to v0.45.0

This will add the latest Sonar jobs, which will enable adding
Sonarcloud scans to Akraino projects.

Change-Id: Ie1ffd77cb83aae0d60e5e516559e05de32278eb8
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Update centos7-builder image

Change-Id: Ia8a1644c575c403ea1f6f260643ef0d6c83c098b
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Update common-packer to latest master

The current version is out of date, and the latest changes are needed
for a successful build.

Change-Id: Id92fbe47bcac81bd3751decf0abc1022c1bee9b7
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

ta: Bump builders RAM for problematic RPMs

Some RPM packages run into OOM issues while building bigger artifacts
so bump their RAM accordingly:
- caas-cpupooler;
- caas-etcd;
- caas-kubedns;
- caas-metrics;

Change-Id: Id3b74044e183963615245e8e23fee9f10811a29f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ta-builder-rpm: Update CentOS mirror/vault repo

CentOS just moved certain repositories to the Vault, so update
our hardcoded RPM URL accordingly.

Change-Id: Iceb0ba15bfc9299b45c26cfb07bad644770160f6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add "https://" to RPM_REPO_URL

Change-Id: I684687a2f242e8bd85c1686bb954f83e0e97691c
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "ta: Make arm64 RPM verify jobs non-voting"

Merge "shell: ta-rpm-deploy: curl should follow redirects"

ta: Make arm64 RPM verify jobs non-voting

arm64 RPM builds are not yet ready for all projects, yielding false
verify job failures, so make them non-voting, at least until we
finish upstreaming all the required changes for TA RPMs to build
on aarch64.

build-tools/manifest/rpmbuilder verify jobs will remain as voting
jobs, since they should already work fine on aarch64.

Change-Id: I6549edbc409017d031dcc46020034033a9e58a20
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

lf-display-node-uuid: Do not fail on static slaves

Not all Jenkins slaves are Openstack instances, which will obviously
break the jobs trying to print the node's UUID.
So make the UUID querying non-critical.

Fixes: a919490352dbd01f08d0b78e935ef90778c77dff

Change-Id: I1bb7f3414c18e2477a2b7bb55bd242c06431f614
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

shell: ta-rpm-deploy: curl should follow redirects

Currently, `curl` exits with a 0 status code for HTTP/301, which is
the case for both existent and non-existent artifacts in nexus3,
breaking the logic behind duplicate artifact checking.

This should fix uploading aarch64 artifacts, which are currently
wrongly detected as duplicates due to the above quirk.

Change-Id: I6b3164476b4fcb95115934eda72d53edf102858b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add RPM_REPO_URL global variable

The ta-rpm-deploy.sh script is using ALT_NEXUS_URL to point to this
URL, which is causing issues elsewhere in some jobs. What we really
want is to set this globally, and have scripts use this global var
rather than setting their own.

Change-Id: I9b0017b42421610e4537063140b3d6d37421c21b
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Clear ALT_NEXUS_URL and SERVER_ID after netrc"

Clear ALT_NEXUS_URL and SERVER_ID after netrc

After the netrc has been created, these need to be cleared so that
future calls to create-netrc aren't stuck using them. This has been
causing problems with pushing logs.

Change-Id: Ib351e38950ca0a382a006b473d8e2a703d0d6a66
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "shell: ta-rpm-deploy: Cleanup stale duplicates dir"

shell: ta-rpm-deploy: Cleanup stale duplicates dir

Cleanup duplicates directories if present from previous runs, e.g.
on static Jenkins slaves.

Change-Id: I18512b7e9152de37f3e73cc66bcc06c2657a3138
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ta: Multiarch (amd64, arm64) for all packages

Although most packages are arch-independent, since we push to
an arch-specific repository (.../aarch64/Packages or
.../x86_64/Packages), we need to run all verify/merge build jobs on
aarch64 too.

Change-Id: Idb6d36ee5e60df87224a1c23826bef3cf64efdde
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ta: multiarch build: ISO, python-peewee RPM

Enable both amd64 and arm64 builds for python-peewee, which will
later be extended to all arch-dependent packages in TA.

To accomodate non-x86 ISO builds (triggered on RPM changes merge):
- rename artifacts to include the machine architecture in their
  names (e.g. bootcd.aarch64.iso, bootcd.aarch64.iso.md5 etc.),
  only applicable if $(uname -m) is not 'x86_64' so x86 artifact
  names remain unchanged (e.g. bootcd.iso);
- akraino-project-stream-type-ta: new 'arch' job parameter,
  defaulting to 'amd64', which will allow selecting the proper
  ISO build job (for arm64 TA RPM merge jobs, 'arch' should be
  set to 'arm64', while for amd64 no action is required);
- create arch-specific ISO build jobs (ta-ci-build-{amd64,arm64})
  and let the TA RPM merge jobs trigger the appropiate one;

While at it, fix some related issues:
- adjust ta-rpm-deploy.sh to publish artifacts for the
  current machine architecture (x86_64 or aarch64);
- explicitly set shell to bash where needed, e.g. where `pushd`
  bash builtin is used (otherwise it will fail on systems using
  sh as default shell);
- cleanup git repository destination before clone to allow
  re-running the jobs on non-volatile slaves;
- extend dependency package installation for Debian systems,
  not only RHEL;

Depends-on: I32cfdc2adc43fb703843383a1e94a807919f4e8c
Depends-on: I3a940e2e0ece6febc9fc90d6bbbc6ff8ef212e14

Change-Id: If3adcae723aa4932fc095cc71debdef2d28840ff
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Add node UUI display macro"

Add node UUI display macro

Add macro to display node's UUID
Add macro to ta-ci-build

Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>
Change-Id: I7d6b43c771718c2458ed2405d90998403e8fdf5e

tox-verify for portal-onapsdk

Added project for using gerrit-tox-verify job template
for portal_user_interface/portal-onapsdk.

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I62112d947522d0226ed9ce45d7e280f662b24f5e

CaaS registry machine update

CaaS registry needed a bigger machine for build. (out of memory)

Signed-off-by: Balazs Szekeres <balazs.szekeres@nokia.com>
Change-Id: Ifa9207312572501547bfc8e2ff199dc1cf1d4776

Upgrade global-jjb v0.42.0

- Pull in lftools v0.26.1 to fix the issue with
  processing the patterns passed to deploy archives.

Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Change-Id: I0ffdff54e5e431e82df24d985ebfbc63ae92034c

Creating cloudtaf.yaml

Change-Id: I64e0bfe812d96b4dbe780f74084efc4600fe357a
Signed-off-by: amin m <amin.m@nokia.com>

Merge "Add Ubuntu 18.04 docker nodes, including arm64"

Add Ubuntu 18.04 docker nodes, including arm64

Not replacing ubuntu1604 docker node for now. Once these have been
heavily tested and vetted, it will be much safer to move the other
docker node to Ubuntu 18.04 & v2 hardware.

Issue: RELENG-2071
Change-Id: Id3d5d06256371948f52e2454de39d87304908bb2
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Update ta-ci-build node

Add V2-32G node to the cloud.
Use 32G node to build ta-ci-build which fails to
complete the virt-copy of guest-image.img into /boot
V2-32G Helps processing this faster.

Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>
Change-Id: Ie679b231f5be07f53b41ece5515a2a570dcf325f

Merge "Once nexus3 push is complete, unset alt_nexus_url"

Once nexus3 push is complete, unset alt_nexus_url

create-netrc uses the value of alt_nexus_url if it's set. We need to
remove this value so that the correct credentials are used for
pushing logs at the end of the job.

Change-Id: Ie3704f3e83226088e6b2d700c0e3ee2c5318e257
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Fix cron setting for StarlingX

Change-Id: Id4c23d533a5ae957b6b5eb91e860393dca85d460
Signed-off-by: Alex Kozyrev <alex.kozyrev@windriver.com>

increase timeout to ci build job

Change-Id: Ibdc37421b94a3b13457b72bd23719d82745cb1dd

Fixing bash expansion

Change-Id: Id1bb352a98cac52aab5eb9ac7621bbeadfd1b373
Signed-off-by: amin m <amin.m@nokia.com>

Upload changed RPMs/SRPMs to Nexus

Change-Id: Id71de6e22b51b843a2f05f4113f0657496cb7c06
Signed-off-by: amin m <amin.m@nokia.com>

Merge "Modify KNI jobs to use ci in our internal repo"

Merge "Add default params for use in Sonarcloud jobs"

Migrate current Sonar jobs to Sonarcloud

Change-Id: I8b4ec06c284b6dbe9bf690327b964307d4af0551
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add default params for use in Sonarcloud jobs

Change-Id: Ibcab9a106d116e450947e667bcaf282e790ffc1c
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add custom Ubuntu 18.04 arm64 packer file

The default file in common-packer calls for the flavor
"lf-standard-1", which Akraino does not have in its cloud. By
switching to an available flavor, this should fix our broken packer
build.

Change-Id: I213167072395b0985b914776068ad502aa3c8209
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Modify KNI jobs to use ci in our internal repo

The deploy scripts need to be moved to the internal repo,
in order to be reused. Also, as deploy is part of the logic
of the process and not part of the CI itself, moving them to
the internal project seems more reasonable.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Iab289664dfc48186805a168575076c74c9dd8b7d

Merge "Update to common-packer v0.3.1, packer 1.4.2"

Change compare type from REG_EXP to ANT

In order to trigger the job on file changes properly,
change the compare type from REG_EXP to ANT.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I275a9ebf08b49bb0d3672d0e321f371936c01346

Merge "Fix typo in trigger"

Merge "Increase node size to fix out of memory errors"

Fix typo in trigger

The gerrit regex to include all files modified
in a subdir is dir/**, not dir/*

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ic81718ebab5f41fa6c02eba6bf8272f3d9d8dfba

Increase node size to fix out of memory errors

Both of these jobs were having issues during rpmbuild due to low
memory. Based on sandbox testing, increasing the node mem fixes
the problem.

Issue: IT-16836
Change-Id: I9751c39cd197d3ee621917f95e6dd205ec81d503
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add CentOS 7 2c-8g builder for high-RAM TA builds

Change-Id: I0fa820f552db86fd6b832f3f1c98a5fc7d721162
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Add missing base path on deploy jobs"

Merge "[iec] view: Hide downstream projects"

Add missing base path on deploy jobs

Base is called by all the profiles and sites,
so we need to have a job triggered on it, when
this changes.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I63ec32aa13e6da0adfecd15b5b54efd7f69b29cf

Update to common-packer v0.3.1, packer 1.4.2

Updating to the latest common-packer. As part of the upgrade
requirements, this includes an update to the packer version.

Change-Id: I6a2eeaacbe6ba16f58171c5f9b25500f702759b3
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add ubuntu-18.04-arm64 to docker builders list

There are several projects in need of arm64 docker builds.

Change-Id: Ie93822e06b50f7e7b3a85921770003f80b092040
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

[iec] view: Hide downstream projects

IEC Jenkins project view is getting cluttered with all the downstream
static project jobs (e.g. deploy, destroy, install-<usecase>).

Filter only parent jobs (e.g. iec-compass-virtual-ubuntu1604-master),
which offer the best high-level visibility of the overall job status.

Change-Id: I26490baaf0e6c2dc294432804a1f7ba033e9ab6b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Enable merge jobs to trigger downstream job"

Merge "[iec] seba-on-arm: Installer/OS specific params"

Enable merge jobs to trigger downstream job

Enable all merge jobs in ta project to trigger
a downstream ta-ci-build job, so that ta-ci-build
is triggered on every successful merge.

Issue: IT-16719
Change-Id: Ib0debc513f697e0ad77d49a89329cc66bb27f46b
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add new jobs for blueprint-pae repo

The content from kni/templates has been moved to
kni/blueprint-pae. So we are creating new jobs for it
and disable the older ones. We are also updating
the shell for those jobs, to match with the current
workflow.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I597bb960b40d2f33ee78cf4129c7aed7479f4d54

[iec] seba-on-arm: Installer/OS specific params

The IEC usecase job (e.g. seba-on-arm installation) parameters should
be installer specific and OS specific, e.g. Ubuntu deployed using Fuel
defaults to 'ubuntu' user, while CentOS deployed using Fuel defaults
to 'centos'.

While at it, unify currently separate parameters for the SSH
credentials in Fuel/Compass installations and fix the IEC dir location
for Fuel.

Change-Id: I93613aacc41eb8a2cfd1662b7d76ade36c7c8090
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[iec, validation] verify: disable submodule clone"

Merge "Remove triggering job on patchsets"

Remove triggering job on patchsets

  This should only be triggered by comment keyword

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ifb10ff9a2d842a16869c46b4f6f2f79aaebb2a30

[iec, validation] verify: disable submodule clone

Both IEC and the validation projects have git submodules that should
not be evaluated during the verify steps.

Change-Id: Ia28bdb08c70209b97a5759f5fbb8ed86921ed913
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Update global-jjb to v0.39.1"

[validation] docker: Keep going after build fail

When building all validation docker images, if one of the image builds
fails, the next image builds are currently skipped.

Keep going through all the build steps, while still exiting with a non
zero return code in case one of the steps fails.

Change-Id: Ib983ec311caaa71c9429280aa9295568380e9387
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix the error when deploying VM by compass

When deploying the VM by compass, the absolute file path is too long
to find the correct file. It results in the deployment failure.
In this patch, we create a soft-link which pointed to the work file.
By this way, it could walk around this problem.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I74ef712d19cf5fe6161a58725b474421739777cb

Update global-jjb to v0.39.1

This includes changes required for compatibility, in the form of
adding "submodule-disable" definition to all instances of
lf-infra-gerrit-scm calls.

Change-Id: I27bc9c927166f1ffb36f27ff5dfa9882052e01f9
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "[iec] Multiple operating systems support"

Enabling local environment

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ide197d8461290299555e71010ab9b970ef924832

Merge "Job to publish binary for libvirt deploys"

[iec] Multiple operating systems support

Add an `os` matrix to our IEC CI jobs, preparing for enabling
CentOS7/Ubuntu18.04 jobs in parallel to existing Ubuntu16.04.

Change-Id: I1a76fa3a187331b079aa78b2cbe58bd6bdc118a3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Job to publish binary for libvirt deploys

  This job will be only triggered with the keyword
  `build-binary` located in any comment. This job will be
  usually triggered when there is a version bump.

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Iaf06365b44e3853ebbe524afb8b7ef39dc902cb7

Remove useless software when installing OS

In k8-nosdn-nofeature-noha.yml files, there is a list
of software which are not essential for IEC prjects,
it was removed for accelerating VM deployment speed.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ie74a63e565bd560deea4f2bb6e70d7384d65d476

Add JJB for remote-installer docker build

Signed-off-by: re2429 <re2429@att.com>
Change-Id: Ibdf575c229aa584119657bbd0759c00e367840a0

Enable docker daemon experimental features

`docker build --squash` requires docker daemon experimental mode enabled.
(This is valid for builder systems only, the product remains intact.)

Signed-off-by: Ferenc Tóth <ferenc.2.toth@nokia.com>
Change-Id: I130832123d460716e938c0dbcec6cdbfdd4ab7e6

Fix bug & Modify VM configuration

1. The "docker ps" command without sudo privilege causes getting wrong
 docker id.
2. Modify the virtual cpu number and virtual memory capacity up to
 12G

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ic3af4ef06fc32a8101d78257ce7d300826f1f7fc

Merge "Deploy SEBA on compass task"

Deploy SEBA on compass task

Deploy seba into community CI/CD platform

Signed-off-by: Jianlin Lv <Jianlin.Lv@arm.com>
Change-Id: I17fa9bae5a5a0b65ef5af790b4e1b8f75e9a6f7a

Remove the NODE_NAME judgement in compass scripts

Remove the NODE_NAME judgement in the scripts.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I348f09e961f75e534f69b9e34867bce011d6c531

Run StarlingX validation weekly

Change-Id: I0d5e0a84545c0add7eddc1f28aec5e383f7b3a52

Merge "Declare NODE_NAME environment variable"

Declare NODE_NAME environment variable

Undeclaring NODE_NAME parameter results in the wrong network
configuration used which will cause deploying failure when
deploying hosts. In this patch, "arm-virtual-host" will be
assigned to NODE_NAME for fixing this error.
At the same time, a bug in iec installation script was resolved.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I79b638cfa41e650e0c08e601a8efb7635922cca0

Merge "Fixes to run in node, and in workspace"