[iec, validation] verify: disable submodule clone

Both IEC and the validation projects have git submodules that should
not be evaluated during the verify steps.

Change-Id: Ia28bdb08c70209b97a5759f5fbb8ed86921ed913
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Update global-jjb to v0.39.1"

[validation] docker: Keep going after build fail

When building all validation docker images, if one of the image builds
fails, the next image builds are currently skipped.

Keep going through all the build steps, while still exiting with a non
zero return code in case one of the steps fails.

Change-Id: Ib983ec311caaa71c9429280aa9295568380e9387
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Fix the error when deploying VM by compass

When deploying the VM by compass, the absolute file path is too long
to find the correct file. It results in the deployment failure.
In this patch, we create a soft-link which pointed to the work file.
By this way, it could walk around this problem.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I74ef712d19cf5fe6161a58725b474421739777cb

Update global-jjb to v0.39.1

This includes changes required for compatibility, in the form of
adding "submodule-disable" definition to all instances of
lf-infra-gerrit-scm calls.

Change-Id: I27bc9c927166f1ffb36f27ff5dfa9882052e01f9
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "[iec] Multiple operating systems support"

Enabling local environment

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ide197d8461290299555e71010ab9b970ef924832

Merge "Job to publish binary for libvirt deploys"

[iec] Multiple operating systems support

Add an `os` matrix to our IEC CI jobs, preparing for enabling
CentOS7/Ubuntu18.04 jobs in parallel to existing Ubuntu16.04.

Change-Id: I1a76fa3a187331b079aa78b2cbe58bd6bdc118a3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Job to publish binary for libvirt deploys

  This job will be only triggered with the keyword
  `build-binary` located in any comment. This job will be
  usually triggered when there is a version bump.

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Iaf06365b44e3853ebbe524afb8b7ef39dc902cb7

Remove useless software when installing OS

In k8-nosdn-nofeature-noha.yml files, there is a list
of software which are not essential for IEC prjects,
it was removed for accelerating VM deployment speed.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ie74a63e565bd560deea4f2bb6e70d7384d65d476

Add JJB for remote-installer docker build

Signed-off-by: re2429 <re2429@att.com>
Change-Id: Ibdf575c229aa584119657bbd0759c00e367840a0

Enable docker daemon experimental features

`docker build --squash` requires docker daemon experimental mode enabled.
(This is valid for builder systems only, the product remains intact.)

Signed-off-by: Ferenc Tóth <ferenc.2.toth@nokia.com>
Change-Id: I130832123d460716e938c0dbcec6cdbfdd4ab7e6

Fix bug & Modify VM configuration

1. The "docker ps" command without sudo privilege causes getting wrong
 docker id.
2. Modify the virtual cpu number and virtual memory capacity up to
 12G

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ic3af4ef06fc32a8101d78257ce7d300826f1f7fc

Merge "Deploy SEBA on compass task"

Deploy SEBA on compass task

Deploy seba into community CI/CD platform

Signed-off-by: Jianlin Lv <Jianlin.Lv@arm.com>
Change-Id: I17fa9bae5a5a0b65ef5af790b4e1b8f75e9a6f7a

Remove the NODE_NAME judgement in compass scripts

Remove the NODE_NAME judgement in the scripts.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I348f09e961f75e534f69b9e34867bce011d6c531

Run StarlingX validation weekly

Change-Id: I0d5e0a84545c0add7eddc1f28aec5e383f7b3a52

Merge "Declare NODE_NAME environment variable"

Declare NODE_NAME environment variable

Undeclaring NODE_NAME parameter results in the wrong network
configuration used which will cause deploying failure when
deploying hosts. In this patch, "arm-virtual-host" will be
assigned to NODE_NAME for fixing this error.
At the same time, a bug in iec installation script was resolved.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I79b638cfa41e650e0c08e601a8efb7635922cca0

Merge "Fixes to run in node, and in workspace"

Fixes to run in node, and in workspace

Switched the deployment to 1-node, for less memory
requirements.
Also fix some issues with WORKSPACE and GOPATH

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I1f5b572f0be0dea69d9ffd78d2c4ff5b634a5144

Merge "[iec] Add Fuel uninstall script & build step"

Merge "Add new job for deploying libvirt"

Add new job for deploying libvirt

It includes verify and merge jobs, to execute a deploy
on libvirt on a third-party CI.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I0c331f36eb7461cceb6cfdab50bc54ae0a0b96c6

Merge "Change installer/binary jobs from merge to verify"

Change installer/binary jobs from merge to verify

The value of these jobs is to launch a brief test each time
a patch lands, they do not provide any value on merge. So changing
the naming and the behaviour to achieve that.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I4c2f42ecdac9abdb9c3696ce62d870f632529293

Merge "Try to fix "sudo pip xxx" problem on CI platform"

[iec] Add Fuel uninstall script & build step

- add iec-fuel-destroy.sh, responsible for uninstalling Fuel resources
  from the jumpserver;
- move Compass uninstall step after usecase(s) step(s);
- rework `deploy_type` matrix to be installer-agnostic and introduce
  a new `installer` matrix;
- add blocking threshold for usecase(s) step(s) so destroy step is
  always performed;

Change-Id: Ifaba336e436131a8ac9e871e706c0b8234b617ed
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Try to fix "sudo pip xxx" problem on CI platform

The main purpose of this patch is trying to fix the problem about
"sudo pip xxxx" error. In this patch, the following things will be
done.
1. Add a function which is used for checking pip environments in
   iec-compass-build.sh.
   The check_env function was added in iec-compass-build.sh file.
   It will be used for checking whether there is any error when
   running "sudo pip xxx" and "pip xxx" command. If error existed,
   the pip software will be reinstall.

2. Remove the "sed" command which is used for replaceing the "sudo
   pip xxx" command.
   Since the compass requires some software which need to be run on
   sudo mode, there is no need to replace those "sudo" command by
   "python -m pip install xxx". So the replace cmd was removed.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I384e8213926e86ec9aafbcf20c3586291f63e016

Add Jenkins job for StarlingX blueprint

Signed-off-by: Alex Kozyrev <alex.kozyrev@windriver.com>
Change-Id: Ic88e39fab56c9e6499469f75c6b706446a55e857

[validation] docker: Fix manifest push wildcard

The `make -C docker/*/. something` is expanded to
`make -C docker/firstsubdir/. docker/secondsubdir/. something`,
which leads to `make` interpreting the second directory as a
target name instead of running in that directory.
Switch to an explicit sh for loop to avoid this.

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Change-Id: I7ae64f37b27079994c150b7d98af683d89b5c173

Merge "Replace the root command with user mode"

Replace the root command with user mode

The "sudo pip install" command cause some error when deploying
compass. So replace the "sudo pip install" with the "python -m
 pip install pyyaml" command.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ia86e5a8b1c75e6367d044e94e356f7d1a855418e

[ta] Add "remerge" trigger to TA merge jobs

Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>
Change-Id: I61131d86bed58e1408015443aff50bedd64b23ce

[ta] Store more image build result artifacts

All image build result files are included except the big images.

Change-Id: Icf6ef47ec688bfbd9727a3851c3b09d569594746
Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>

Merge "[ta] Move image build job to a bigger build minion"

[ta] Install build time dependencies to slaves

These are required when building TA ISO image

Change-Id: Ib5405b4ccea13dc99f460200d29a432e9bd3cb18
Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>

Merge "Add new job for deploying kni on AWS"

Revert "Revert Add DOCKERHUB_REGISTRY global var"

This reverts commit 0971296e4eb80b08195fc7c28045c900908ff11f.

Change-Id: Ie7a2302c879b3512bff73d68d957bde3042182e9
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add new job for deploying kni on AWS

Change-Id: Ieae618b9dfe99880f218cb409d328106633419e8
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Add IEC Foundation Framework Deployment Work"

Merge "[ta] Increase slave size for selected components"

Revert "Add DOCKERHUB_REGISTRY global var to pro"

Revert "Add DOCKERHUB_REGISTRY global var to prod Jenkins"
This reverts commit f538ce85786c51fd6fbcd5e07e53d701c07e43a5.

The change is causing docker jobs to fail.
https://jira.linuxfoundation.org/browse/IT-16409

Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Change-Id: Ib30eefea1b74bf6e8bd9e8e7c98be185dd9af27c

Add IEC Foundation Framework Deployment Work

Add IEC foundation deployment working scripts for
IEC working environment and related verification to
the environment.

Signed-off-by: trevor tao <trevor.tao@arm.com>
Change-Id: I40b255cd9412b75deb052acd01932fddec06a826
Signed-off-by: trevor tao <trevor.tao@arm.com>

[ta] Move image build job to a bigger build minion

TA image build job runs out of memory when the executor
has 8 GB memory. It has been tested to work with 16 GB.

Change-Id: Idc7a5855f47c6c0e539677a71dd989627985c14d
Signed-off-by: Ossi Koivistoinen <ossi.koivistoinen@nokia.com>

[ta] Increase slave size for selected components

These components were either timing out or getting out-of-memory while
building the RPM.

Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>
Change-Id: I15c12fbf33ba2b74767dca48e0ff59687a19af6d

Merge "[iec] Trigger all usecases in parent jobs"

Merge "[ta] Moved RPMs to Nexus3"

Merge "Add DOCKERHUB_REGISTRY global var to prod Jenkins"

[ta] Moved RPMs to Nexus3

Includes:
- TA RPMs moved from Nexus2 to Nexus3
- "ta-settings" used instead of "images-snapshots-settings"

Change-Id: I07cd86f09ec8fc0aa43c0f0b8eb328dfa8102edf
Signed-off-by: raghuramamendru <raghurama.mendru@nokia.com>

Merge "Add 3 virtual hosts into IEC CI/CD platform"

Merge "[iec] Publish logs to LF Nexus"

Add 3 virtual hosts into IEC CI/CD platform

In this patch, the 3 virtual host was deployed on CI platform.
Firstly, it add the 3rd host into k8-nosdn-nofeature-noha.yml
confiugration file.
Secondly, it modifies the confiugration file for avoiding install
K8s by compass.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I5b1b6d4140a37182137325668b4bc7076c8b4f1d

Add DOCKERHUB_REGISTRY global var to prod Jenkins

Change-Id: I5d16e3fe8bce4e0ec5105a020cf23b55d49595a2
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "[ta] Add TA verify and merge jobs"

[ta] Add TA verify and merge jobs

Includes:

    - TA-specific macros and templates to akraino_templates/

    - Verify and merge jobs for all the "ta/*" git repositories that
      produce RPMs. Merge jobs will upload RPMs to Nexus repository
      "images-snapshots".

    - Verify jobs for the three supporting tool and configuration git
      repositories ta/{manifest|build-tools|rpmbuilder}

    - Image build job to produce the TA end product: ISO image

    - Publish ISO images to Nexus

    - Moved shell scripts to jjb/shell

Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>
Change-Id: I2b1ecd6f34c2dd5f5c8fbb9ff09ab180d943a3d9

[iec] Publish logs to LF Nexus

Push job output and any files matching the '**/*.log' ANT pattern
to LF Nexus for:
- IEC install jobs;
- IEC usecase jobs;

Change-Id: I025e004d4e5567254a088754aa852966b511a7a6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[iec] Trigger all usecases in parent jobs

This should fix the unresolved job reference for seba_on_arm by
using j2 templates to create triggers for all usecases defined.

While at it, fix missing {deploy-type} in trigger name and rename
all occurences of s/deploy-type/deploy_type/g since jinja2 does
not allow dashes ('-') in variable names.

Change-Id: Ibeffa1fde45d7be498301d084b07f1577b992bae
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

New Jenkins jobs to build the RC api server

Signed-off-by: re2429 <re2429@att.com>
Change-Id: I08c010d960c409d9191c53de3c0977ae5116c34e

Initial job for deploying SEBA on ARM

Change-Id: Ic84813596cdc3343d4dc414e480610e46d25526e
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

[validation] Add job timeout

Currently when the jobs fail to execute (e.g jenkins slave is offline)
the job hangs indefinetly. Added a timeout for each job to prevent
this type of situation.

Change-Id: Ia3b824f92fbeea644033196599d1f20b963452bc
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Add compass task for iec CI/CD in community

For integrating the compass into IEC CI platform, the
task about it in CI scripts was added.
Then, the compass will deploy 3 virtual hosts on the
host. And for function checking, it will be updated
 in the future.

Change-Id: I57472de5c0eacf5134d7fa9152993bb9475b413d
Signed-off-by: Jingzhao <Jingzhao.Ni@arm.com>

Merge "Adjust kni gerrit trigger to pick up merges"

[validation] Fix the slave-label

Change the plugin used for docker build jobs. The jobs weren't
scheduled properly when using the slave-label parameter.

Also reduce the size of the slave for validation-{stream}-docker
job as we don't need docker to be on the slave

Change-Id: Ied06773d28fb8706a6072e744aa3c64cfba602f7
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Adjust kni gerrit trigger to pick up merges

The original trigger appears to have been pulled from a verify job
rather than a merge job. This should fix build-on-merge function.

Change-Id: I77ba8479801a82a5d1d3e670ba8822cb773cfdb9
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Update JJB binary version to 2.9.1

2.2.1 is extremely outdated now. 2.9.1 has been out for ~6 months,
and appears to be very stable. Sandbox testing does not show any
issues with using this version.

Change-Id: I670540838b513f84a820002139514c6d6485d844
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "[validation] Disable 'parallel' for verify jobs"

Merge "[validation] Add jobs to build the docker images"

[validation] Add jobs to build the docker images

JIRA: VAL-11

This patch creates a multi-job that builds the docker images for both
x86 and arm in parrallel. At the end a manifest list is created for both
images.

Change-Id: Ib50c41d7bad6d61e637dcd1994a3ea9065cd0378
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[validation] Disable 'parallel' for verify jobs

JIRA: VAL-10

Port https://gerrit.akraino.org/r/#/c/608/ to validation project

Change-Id: I2728333297b0820c9550a0ad66ce7390d8af5f16
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[iec] Disable 'parallel' for verify jobs

Switch from `detox` to `tox` when running IEC verify jobs, as
`detox` seems to silently return success without actually running
the tests.

Change-Id: I742c5b67352f01ebbe1299094d5484cb597656e5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add nc/ovs-dpdk-unicycle jobs to Jenkins

Change-Id: I4a480d8168c2fc8c5587260d528eea3e10ca7c74
Signed-off-by: Indumathi <indumathi.buddi@ericsson.com>

[iec] Add job to verify patches

JIRA: IEC-2
Add a jenkins job to verify the code for the iec project
Also see https://gerrit.akraino.org/r/#/c/571/

Change-Id: I918739eecfaa6b43f1affcc0a42f272722a9b304
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "[iec] deploy: Disable git submodule cloning"

[iec] deploy: Disable git submodule cloning

IEC deploy jobs do not require cloning git submodules, which got
pretty heavy (more than 1GB), so at least for these jobs, disable
git submodules via JJB scm configuration.

Since `lf-infra-gerrit-scm` macro from lf-macros does not allow
configuration of submodule.disable, stop using said wrapper macro.

Change-Id: If6b41bf213a3cea095fabc03f8efbd3bda7d1723
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[validation] Add job to verify patches

JIRA: VAL-10
Add a jenkins job to verify the code for the validation project
This patch needs to be merged after https://gerrit.akraino.org/r/#/c/566/

Change-Id: Id2453d706efd4f1c629f4715d1198eca2130ef1c
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Add new job to build kni binary"

Add new job to build kni binary

Change-Id: Id504c6b79b7e3e34eea9b84a26df0273a2e4a668

Merge "Add initial job to produce kni installer binary"

Merge "Update images for all build nodes"

Update job-template names

Update job-template names from {project} to {project-name} variable.
The changes are being made because  the "project" variable allows
slashes, and the job names can't have slashes in them.

Issue: CIMAN-1
Change-Id: Ieeccbde889053cfd5d50de9673a52bb327652f97
Signed-off-by: Milin <mjaiswal@contractor.linuxfoundation.org>

Update images for all build nodes

Change-Id: I8f8861631cb160f973d4296cd62deb90caf782a4
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add initial job to produce kni installer binary

Change-Id: Ib37080d6b4815c32fe7dd941397000cf9e03d4ed
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

New JJB file for validation project

Change-Id: I73b923bd9cfcc36c847338c77057a4c55029aa06

Merge "[iec] Add deploy jobs"

[iec] Add deploy jobs

Change-Id: I8ea94a17c06e75ce222535685ca6b132817414ac
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Change choosing-strategy

Eliot project still connot checkout to correct commit id
In the patch I change choosing-strategy to 'gerrit',
because choosing-strategy select what to build.

Change-Id: If53740e7b99464a6388f9f0c1a2e30f0f8644ffc
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "fix verify cann't fetch correct refs"

Merge "Add CentOS 7 8c-8g builder"

Add CentOS 7 8c-8g builder

The file is being added so 8G VMS can be available and configured
for the OS.

Issue: RT-69932
Change-Id: Ia00f567cc5428f4c25bb9c624985f72cd935f585
Signed-off-by: Milin <mjaiswal@contractor.linuxfoundation.org>

fix verify cann't fetch correct refs

When trigger the verify job, it cannot fetch the correct.
It fetch the refs/heads/master instead of my changes.

Change-Id: I6ec4c3262b48d13e39620f83b828df7d612f6044
Signed-off-by: wutianwei <wutianwei1@huawei.com>

use path for maven -f until scripts are updated

Change-Id: I6e129257425a566a69eda5fa66f2e3ccce8e32fc
Signed-off-by: davidplunkett <dp7642@att.com>

Merge "Add script for connecting static jenkins slaves"

Merge "Correct verify job branch selection"

Add script for connecting static jenkins slaves

Script from [1] adapted for akraino, both for production and for
sandbox. It configures monit and connects the slave to the LF master

Usage for production:
sudo akraino/repos/ci-management/utils/jenkins-jnlp-connect.sh \
-j /home/jenkins -u jenkins -n <slave_name> -s <secret>

Usage for sandbox:
sudo akraino/repos/ci-management/utils/jenkins-jnlp-connect.sh \
-j /home/jenkins -u jenkins -n <slave_name> -s <secret> -b

[1] https://github.com/opnfv/releng/blob/master/utils/jenkins-jnlp-connect.sh

Change-Id: I7289a06a13deb3626a4c37147d6fb8b5fdd0e5ff
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Update global-jjb to v0.31.0

This fixes an issue causing failures in jobs using deploy-maven-files
script.

Change-Id: I56519b2c242bab817a26979bf167044b8d6c2eaf
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Correct verify job branch selection

The verify job was not picking up the correct branch, as it had been
modeled after the merge jobs, which are single-branch. Also made the
verify jobs more generic, as they had been designed specific to the
eliot project.

Change-Id: I3bacc22bffb89c4b7378c1ada7bd0af988c75a15
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

[ELIOT] fix the git branch and refspec

Change branch to $GERRIT_BRANCH and refspec to $GERRIT_REFSPEC,
otherwise it always fetchs the master instead of my change

Change-Id: Id25e7e5edced5ed658df3ea655590604ce71e19d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

[ELIOT]Add verify job

Add a job to verify the eliot python code

Change-Id: I2bc4c329a6b51ddae25907194a8377e5644341d0
Signed-off-by: wutianwei <wutianwei1@huawei.com>