shell: ta-rpm-deploy: curl should follow redirects

Currently, `curl` exits with a 0 status code for HTTP/301, which is
the case for both existent and non-existent artifacts in nexus3,
breaking the logic behind duplicate artifact checking.

This should fix uploading aarch64 artifacts, which are currently
wrongly detected as duplicates due to the above quirk.

Change-Id: I6b3164476b4fcb95115934eda72d53edf102858b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add RPM_REPO_URL global variable

The ta-rpm-deploy.sh script is using ALT_NEXUS_URL to point to this
URL, which is causing issues elsewhere in some jobs. What we really
want is to set this globally, and have scripts use this global var
rather than setting their own.

Change-Id: I9b0017b42421610e4537063140b3d6d37421c21b
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Clear ALT_NEXUS_URL and SERVER_ID after netrc"

Clear ALT_NEXUS_URL and SERVER_ID after netrc

After the netrc has been created, these need to be cleared so that
future calls to create-netrc aren't stuck using them. This has been
causing problems with pushing logs.

Change-Id: Ib351e38950ca0a382a006b473d8e2a703d0d6a66
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "shell: ta-rpm-deploy: Cleanup stale duplicates dir"

shell: ta-rpm-deploy: Cleanup stale duplicates dir

Cleanup duplicates directories if present from previous runs, e.g.
on static Jenkins slaves.

Change-Id: I18512b7e9152de37f3e73cc66bcc06c2657a3138
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ta: Multiarch (amd64, arm64) for all packages

Although most packages are arch-independent, since we push to
an arch-specific repository (.../aarch64/Packages or
.../x86_64/Packages), we need to run all verify/merge build jobs on
aarch64 too.

Change-Id: Idb6d36ee5e60df87224a1c23826bef3cf64efdde
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

ta: multiarch build: ISO, python-peewee RPM

Enable both amd64 and arm64 builds for python-peewee, which will
later be extended to all arch-dependent packages in TA.

To accomodate non-x86 ISO builds (triggered on RPM changes merge):
- rename artifacts to include the machine architecture in their
  names (e.g. bootcd.aarch64.iso, bootcd.aarch64.iso.md5 etc.),
  only applicable if $(uname -m) is not 'x86_64' so x86 artifact
  names remain unchanged (e.g. bootcd.iso);
- akraino-project-stream-type-ta: new 'arch' job parameter,
  defaulting to 'amd64', which will allow selecting the proper
  ISO build job (for arm64 TA RPM merge jobs, 'arch' should be
  set to 'arm64', while for amd64 no action is required);
- create arch-specific ISO build jobs (ta-ci-build-{amd64,arm64})
  and let the TA RPM merge jobs trigger the appropiate one;

While at it, fix some related issues:
- adjust ta-rpm-deploy.sh to publish artifacts for the
  current machine architecture (x86_64 or aarch64);
- explicitly set shell to bash where needed, e.g. where `pushd`
  bash builtin is used (otherwise it will fail on systems using
  sh as default shell);
- cleanup git repository destination before clone to allow
  re-running the jobs on non-volatile slaves;
- extend dependency package installation for Debian systems,
  not only RHEL;

Depends-on: I32cfdc2adc43fb703843383a1e94a807919f4e8c
Depends-on: I3a940e2e0ece6febc9fc90d6bbbc6ff8ef212e14

Change-Id: If3adcae723aa4932fc095cc71debdef2d28840ff
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Add node UUI display macro"

Add node UUI display macro

Add macro to display node's UUID
Add macro to ta-ci-build

Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>
Change-Id: I7d6b43c771718c2458ed2405d90998403e8fdf5e

tox-verify for portal-onapsdk

Added project for using gerrit-tox-verify job template
for portal_user_interface/portal-onapsdk.

Signed-off-by: Ioakeim Samaras <ioakeim.samaras@ericsson.com>
Change-Id: I62112d947522d0226ed9ce45d7e280f662b24f5e

CaaS registry machine update

CaaS registry needed a bigger machine for build. (out of memory)

Signed-off-by: Balazs Szekeres <balazs.szekeres@nokia.com>
Change-Id: Ifa9207312572501547bfc8e2ff199dc1cf1d4776

Upgrade global-jjb v0.42.0

- Pull in lftools v0.26.1 to fix the issue with
  processing the patterns passed to deploy archives.

Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Change-Id: I0ffdff54e5e431e82df24d985ebfbc63ae92034c

Creating cloudtaf.yaml

Change-Id: I64e0bfe812d96b4dbe780f74084efc4600fe357a
Signed-off-by: amin m <amin.m@nokia.com>

Merge "Add Ubuntu 18.04 docker nodes, including arm64"

Add Ubuntu 18.04 docker nodes, including arm64

Not replacing ubuntu1604 docker node for now. Once these have been
heavily tested and vetted, it will be much safer to move the other
docker node to Ubuntu 18.04 & v2 hardware.

Issue: RELENG-2071
Change-Id: Id3d5d06256371948f52e2454de39d87304908bb2
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Update ta-ci-build node

Add V2-32G node to the cloud.
Use 32G node to build ta-ci-build which fails to
complete the virt-copy of guest-image.img into /boot
V2-32G Helps processing this faster.

Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>
Change-Id: Ie679b231f5be07f53b41ece5515a2a570dcf325f

Merge "Once nexus3 push is complete, unset alt_nexus_url"

Once nexus3 push is complete, unset alt_nexus_url

create-netrc uses the value of alt_nexus_url if it's set. We need to
remove this value so that the correct credentials are used for
pushing logs at the end of the job.

Change-Id: Ie3704f3e83226088e6b2d700c0e3ee2c5318e257
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Fix cron setting for StarlingX

Change-Id: Id4c23d533a5ae957b6b5eb91e860393dca85d460
Signed-off-by: Alex Kozyrev <alex.kozyrev@windriver.com>

increase timeout to ci build job

Change-Id: Ibdc37421b94a3b13457b72bd23719d82745cb1dd

Fixing bash expansion

Change-Id: Id1bb352a98cac52aab5eb9ac7621bbeadfd1b373
Signed-off-by: amin m <amin.m@nokia.com>

Upload changed RPMs/SRPMs to Nexus

Change-Id: Id71de6e22b51b843a2f05f4113f0657496cb7c06
Signed-off-by: amin m <amin.m@nokia.com>

Merge "Modify KNI jobs to use ci in our internal repo"

Merge "Add default params for use in Sonarcloud jobs"

Migrate current Sonar jobs to Sonarcloud

Change-Id: I8b4ec06c284b6dbe9bf690327b964307d4af0551
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add default params for use in Sonarcloud jobs

Change-Id: Ibcab9a106d116e450947e667bcaf282e790ffc1c
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add custom Ubuntu 18.04 arm64 packer file

The default file in common-packer calls for the flavor
"lf-standard-1", which Akraino does not have in its cloud. By
switching to an available flavor, this should fix our broken packer
build.

Change-Id: I213167072395b0985b914776068ad502aa3c8209
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Modify KNI jobs to use ci in our internal repo

The deploy scripts need to be moved to the internal repo,
in order to be reused. Also, as deploy is part of the logic
of the process and not part of the CI itself, moving them to
the internal project seems more reasonable.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Iab289664dfc48186805a168575076c74c9dd8b7d

Merge "Update to common-packer v0.3.1, packer 1.4.2"

Change compare type from REG_EXP to ANT

In order to trigger the job on file changes properly,
change the compare type from REG_EXP to ANT.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I275a9ebf08b49bb0d3672d0e321f371936c01346

Merge "Fix typo in trigger"

Merge "Increase node size to fix out of memory errors"

Fix typo in trigger

The gerrit regex to include all files modified
in a subdir is dir/**, not dir/*

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ic81718ebab5f41fa6c02eba6bf8272f3d9d8dfba

Increase node size to fix out of memory errors

Both of these jobs were having issues during rpmbuild due to low
memory. Based on sandbox testing, increasing the node mem fixes
the problem.

Issue: IT-16836
Change-Id: I9751c39cd197d3ee621917f95e6dd205ec81d503
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add CentOS 7 2c-8g builder for high-RAM TA builds

Change-Id: I0fa820f552db86fd6b832f3f1c98a5fc7d721162
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Add missing base path on deploy jobs"

Merge "[iec] view: Hide downstream projects"

Add missing base path on deploy jobs

Base is called by all the profiles and sites,
so we need to have a job triggered on it, when
this changes.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I63ec32aa13e6da0adfecd15b5b54efd7f69b29cf

Update to common-packer v0.3.1, packer 1.4.2

Updating to the latest common-packer. As part of the upgrade
requirements, this includes an update to the packer version.

Change-Id: I6a2eeaacbe6ba16f58171c5f9b25500f702759b3
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add ubuntu-18.04-arm64 to docker builders list

There are several projects in need of arm64 docker builds.

Change-Id: Ie93822e06b50f7e7b3a85921770003f80b092040
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

[iec] view: Hide downstream projects

IEC Jenkins project view is getting cluttered with all the downstream
static project jobs (e.g. deploy, destroy, install-<usecase>).

Filter only parent jobs (e.g. iec-compass-virtual-ubuntu1604-master),
which offer the best high-level visibility of the overall job status.

Change-Id: I26490baaf0e6c2dc294432804a1f7ba033e9ab6b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Enable merge jobs to trigger downstream job"

Merge "[iec] seba-on-arm: Installer/OS specific params"

Enable merge jobs to trigger downstream job

Enable all merge jobs in ta project to trigger
a downstream ta-ci-build job, so that ta-ci-build
is triggered on every successful merge.

Issue: IT-16719
Change-Id: Ib0debc513f697e0ad77d49a89329cc66bb27f46b
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add new jobs for blueprint-pae repo

The content from kni/templates has been moved to
kni/blueprint-pae. So we are creating new jobs for it
and disable the older ones. We are also updating
the shell for those jobs, to match with the current
workflow.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I597bb960b40d2f33ee78cf4129c7aed7479f4d54

[iec] seba-on-arm: Installer/OS specific params

The IEC usecase job (e.g. seba-on-arm installation) parameters should
be installer specific and OS specific, e.g. Ubuntu deployed using Fuel
defaults to 'ubuntu' user, while CentOS deployed using Fuel defaults
to 'centos'.

While at it, unify currently separate parameters for the SSH
credentials in Fuel/Compass installations and fix the IEC dir location
for Fuel.

Change-Id: I93613aacc41eb8a2cfd1662b7d76ade36c7c8090
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "[iec, validation] verify: disable submodule clone"

Merge "Remove triggering job on patchsets"

Remove triggering job on patchsets

  This should only be triggered by comment keyword

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ifb10ff9a2d842a16869c46b4f6f2f79aaebb2a30

[iec, validation] verify: disable submodule clone

Both IEC and the validation projects have git submodules that should
not be evaluated during the verify steps.

Change-Id: Ia28bdb08c70209b97a5759f5fbb8ed86921ed913
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Update global-jjb to v0.39.1"

[validation] docker: Keep going after build fail

When building all validation docker images, if one of the image builds
fails, the next image builds are currently skipped.

Keep going through all the build steps, while still exiting with a non
zero return code in case one of the steps fails.

Change-Id: Ib983ec311caaa71c9429280aa9295568380e9387
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix the error when deploying VM by compass

When deploying the VM by compass, the absolute file path is too long
to find the correct file. It results in the deployment failure.
In this patch, we create a soft-link which pointed to the work file.
By this way, it could walk around this problem.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I74ef712d19cf5fe6161a58725b474421739777cb

Update global-jjb to v0.39.1

This includes changes required for compatibility, in the form of
adding "submodule-disable" definition to all instances of
lf-infra-gerrit-scm calls.

Change-Id: I27bc9c927166f1ffb36f27ff5dfa9882052e01f9
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "[iec] Multiple operating systems support"

Enabling local environment

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ide197d8461290299555e71010ab9b970ef924832

Merge "Job to publish binary for libvirt deploys"

[iec] Multiple operating systems support

Add an `os` matrix to our IEC CI jobs, preparing for enabling
CentOS7/Ubuntu18.04 jobs in parallel to existing Ubuntu16.04.

Change-Id: I1a76fa3a187331b079aa78b2cbe58bd6bdc118a3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Job to publish binary for libvirt deploys

  This job will be only triggered with the keyword
  `build-binary` located in any comment. This job will be
  usually triggered when there is a version bump.

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Iaf06365b44e3853ebbe524afb8b7ef39dc902cb7

Remove useless software when installing OS

In k8-nosdn-nofeature-noha.yml files, there is a list
of software which are not essential for IEC prjects,
it was removed for accelerating VM deployment speed.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ie74a63e565bd560deea4f2bb6e70d7384d65d476

Add JJB for remote-installer docker build

Signed-off-by: re2429 <re2429@att.com>
Change-Id: Ibdf575c229aa584119657bbd0759c00e367840a0

Enable docker daemon experimental features

`docker build --squash` requires docker daemon experimental mode enabled.
(This is valid for builder systems only, the product remains intact.)

Signed-off-by: Ferenc Tóth <ferenc.2.toth@nokia.com>
Change-Id: I130832123d460716e938c0dbcec6cdbfdd4ab7e6

Fix bug & Modify VM configuration

1. The "docker ps" command without sudo privilege causes getting wrong
 docker id.
2. Modify the virtual cpu number and virtual memory capacity up to
 12G

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ic3af4ef06fc32a8101d78257ce7d300826f1f7fc

Merge "Deploy SEBA on compass task"

Deploy SEBA on compass task

Deploy seba into community CI/CD platform

Signed-off-by: Jianlin Lv <Jianlin.Lv@arm.com>
Change-Id: I17fa9bae5a5a0b65ef5af790b4e1b8f75e9a6f7a

Remove the NODE_NAME judgement in compass scripts

Remove the NODE_NAME judgement in the scripts.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I348f09e961f75e534f69b9e34867bce011d6c531

Run StarlingX validation weekly

Change-Id: I0d5e0a84545c0add7eddc1f28aec5e383f7b3a52

Merge "Declare NODE_NAME environment variable"

Declare NODE_NAME environment variable

Undeclaring NODE_NAME parameter results in the wrong network
configuration used which will cause deploying failure when
deploying hosts. In this patch, "arm-virtual-host" will be
assigned to NODE_NAME for fixing this error.
At the same time, a bug in iec installation script was resolved.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I79b638cfa41e650e0c08e601a8efb7635922cca0

Merge "Fixes to run in node, and in workspace"

Fixes to run in node, and in workspace

Switched the deployment to 1-node, for less memory
requirements.
Also fix some issues with WORKSPACE and GOPATH

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I1f5b572f0be0dea69d9ffd78d2c4ff5b634a5144

Merge "[iec] Add Fuel uninstall script & build step"

Merge "Add new job for deploying libvirt"

Add new job for deploying libvirt

It includes verify and merge jobs, to execute a deploy
on libvirt on a third-party CI.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I0c331f36eb7461cceb6cfdab50bc54ae0a0b96c6

Merge "Change installer/binary jobs from merge to verify"

Change installer/binary jobs from merge to verify

The value of these jobs is to launch a brief test each time
a patch lands, they do not provide any value on merge. So changing
the naming and the behaviour to achieve that.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I4c2f42ecdac9abdb9c3696ce62d870f632529293

Merge "Try to fix "sudo pip xxx" problem on CI platform"

[iec] Add Fuel uninstall script & build step

- add iec-fuel-destroy.sh, responsible for uninstalling Fuel resources
  from the jumpserver;
- move Compass uninstall step after usecase(s) step(s);
- rework `deploy_type` matrix to be installer-agnostic and introduce
  a new `installer` matrix;
- add blocking threshold for usecase(s) step(s) so destroy step is
  always performed;

Change-Id: Ifaba336e436131a8ac9e871e706c0b8234b617ed
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Try to fix "sudo pip xxx" problem on CI platform

The main purpose of this patch is trying to fix the problem about
"sudo pip xxxx" error. In this patch, the following things will be
done.
1. Add a function which is used for checking pip environments in
   iec-compass-build.sh.
   The check_env function was added in iec-compass-build.sh file.
   It will be used for checking whether there is any error when
   running "sudo pip xxx" and "pip xxx" command. If error existed,
   the pip software will be reinstall.

2. Remove the "sed" command which is used for replaceing the "sudo
   pip xxx" command.
   Since the compass requires some software which need to be run on
   sudo mode, there is no need to replace those "sudo" command by
   "python -m pip install xxx". So the replace cmd was removed.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I384e8213926e86ec9aafbcf20c3586291f63e016

Add Jenkins job for StarlingX blueprint

Signed-off-by: Alex Kozyrev <alex.kozyrev@windriver.com>
Change-Id: Ic88e39fab56c9e6499469f75c6b706446a55e857

[validation] docker: Fix manifest push wildcard

The `make -C docker/*/. something` is expanded to
`make -C docker/firstsubdir/. docker/secondsubdir/. something`,
which leads to `make` interpreting the second directory as a
target name instead of running in that directory.
Switch to an explicit sh for loop to avoid this.

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Change-Id: I7ae64f37b27079994c150b7d98af683d89b5c173

Merge "Replace the root command with user mode"

Replace the root command with user mode

The "sudo pip install" command cause some error when deploying
compass. So replace the "sudo pip install" with the "python -m
 pip install pyyaml" command.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ia86e5a8b1c75e6367d044e94e356f7d1a855418e

[ta] Add "remerge" trigger to TA merge jobs

Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>
Change-Id: I61131d86bed58e1408015443aff50bedd64b23ce

[ta] Store more image build result artifacts

All image build result files are included except the big images.

Change-Id: Icf6ef47ec688bfbd9727a3851c3b09d569594746
Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>

Merge "[ta] Move image build job to a bigger build minion"

[ta] Install build time dependencies to slaves

These are required when building TA ISO image

Change-Id: Ib5405b4ccea13dc99f460200d29a432e9bd3cb18
Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>

Merge "Add new job for deploying kni on AWS"

Revert "Revert Add DOCKERHUB_REGISTRY global var"

This reverts commit 0971296e4eb80b08195fc7c28045c900908ff11f.

Change-Id: Ie7a2302c879b3512bff73d68d957bde3042182e9
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add new job for deploying kni on AWS

Change-Id: Ieae618b9dfe99880f218cb409d328106633419e8
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Add IEC Foundation Framework Deployment Work"

Merge "[ta] Increase slave size for selected components"

Revert "Add DOCKERHUB_REGISTRY global var to pro"

Revert "Add DOCKERHUB_REGISTRY global var to prod Jenkins"
This reverts commit f538ce85786c51fd6fbcd5e07e53d701c07e43a5.

The change is causing docker jobs to fail.
https://jira.linuxfoundation.org/browse/IT-16409

Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Change-Id: Ib30eefea1b74bf6e8bd9e8e7c98be185dd9af27c

Add IEC Foundation Framework Deployment Work

Add IEC foundation deployment working scripts for
IEC working environment and related verification to
the environment.

Signed-off-by: trevor tao <trevor.tao@arm.com>
Change-Id: I40b255cd9412b75deb052acd01932fddec06a826
Signed-off-by: trevor tao <trevor.tao@arm.com>

[ta] Move image build job to a bigger build minion

TA image build job runs out of memory when the executor
has 8 GB memory. It has been tested to work with 16 GB.

Change-Id: Idc7a5855f47c6c0e539677a71dd989627985c14d
Signed-off-by: Ossi Koivistoinen <ossi.koivistoinen@nokia.com>

[ta] Increase slave size for selected components

These components were either timing out or getting out-of-memory while
building the RPM.

Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>
Change-Id: I15c12fbf33ba2b74767dca48e0ff59687a19af6d

Merge "[iec] Trigger all usecases in parent jobs"

Merge "[ta] Moved RPMs to Nexus3"

Merge "Add DOCKERHUB_REGISTRY global var to prod Jenkins"