Merge "Try to fix "sudo pip xxx" problem on CI platform"

Try to fix "sudo pip xxx" problem on CI platform

The main purpose of this patch is trying to fix the problem about
"sudo pip xxxx" error. In this patch, the following things will be
done.
1. Add a function which is used for checking pip environments in
   iec-compass-build.sh.
   The check_env function was added in iec-compass-build.sh file.
   It will be used for checking whether there is any error when
   running "sudo pip xxx" and "pip xxx" command. If error existed,
   the pip software will be reinstall.

2. Remove the "sed" command which is used for replaceing the "sudo
   pip xxx" command.
   Since the compass requires some software which need to be run on
   sudo mode, there is no need to replace those "sudo" command by
   "python -m pip install xxx". So the replace cmd was removed.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I384e8213926e86ec9aafbcf20c3586291f63e016

Add Jenkins job for StarlingX blueprint

Signed-off-by: Alex Kozyrev <alex.kozyrev@windriver.com>
Change-Id: Ic88e39fab56c9e6499469f75c6b706446a55e857

[validation] docker: Fix manifest push wildcard

The `make -C docker/*/. something` is expanded to
`make -C docker/firstsubdir/. docker/secondsubdir/. something`,
which leads to `make` interpreting the second directory as a
target name instead of running in that directory.
Switch to an explicit sh for loop to avoid this.

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Change-Id: I7ae64f37b27079994c150b7d98af683d89b5c173

Merge "Replace the root command with user mode"

Replace the root command with user mode

The "sudo pip install" command cause some error when deploying
compass. So replace the "sudo pip install" with the "python -m
 pip install pyyaml" command.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: Ia86e5a8b1c75e6367d044e94e356f7d1a855418e

[ta] Add "remerge" trigger to TA merge jobs

Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>
Change-Id: I61131d86bed58e1408015443aff50bedd64b23ce

[ta] Store more image build result artifacts

All image build result files are included except the big images.

Change-Id: Icf6ef47ec688bfbd9727a3851c3b09d569594746
Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>

Merge "[ta] Move image build job to a bigger build minion"

[ta] Install build time dependencies to slaves

These are required when building TA ISO image

Change-Id: Ib5405b4ccea13dc99f460200d29a432e9bd3cb18
Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>

Merge "Add new job for deploying kni on AWS"

Revert "Revert Add DOCKERHUB_REGISTRY global var"

This reverts commit 0971296e4eb80b08195fc7c28045c900908ff11f.

Change-Id: Ie7a2302c879b3512bff73d68d957bde3042182e9
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add new job for deploying kni on AWS

Change-Id: Ieae618b9dfe99880f218cb409d328106633419e8
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Add IEC Foundation Framework Deployment Work"

Merge "[ta] Increase slave size for selected components"

Revert "Add DOCKERHUB_REGISTRY global var to pro"

Revert "Add DOCKERHUB_REGISTRY global var to prod Jenkins"
This reverts commit f538ce85786c51fd6fbcd5e07e53d701c07e43a5.

The change is causing docker jobs to fail.
https://jira.linuxfoundation.org/browse/IT-16409

Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Change-Id: Ib30eefea1b74bf6e8bd9e8e7c98be185dd9af27c

Add IEC Foundation Framework Deployment Work

Add IEC foundation deployment working scripts for
IEC working environment and related verification to
the environment.

Signed-off-by: trevor tao <trevor.tao@arm.com>
Change-Id: I40b255cd9412b75deb052acd01932fddec06a826
Signed-off-by: trevor tao <trevor.tao@arm.com>

[ta] Move image build job to a bigger build minion

TA image build job runs out of memory when the executor
has 8 GB memory. It has been tested to work with 16 GB.

Change-Id: Idc7a5855f47c6c0e539677a71dd989627985c14d
Signed-off-by: Ossi Koivistoinen <ossi.koivistoinen@nokia.com>

[ta] Increase slave size for selected components

These components were either timing out or getting out-of-memory while
building the RPM.

Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>
Change-Id: I15c12fbf33ba2b74767dca48e0ff59687a19af6d

Merge "[iec] Trigger all usecases in parent jobs"

Merge "[ta] Moved RPMs to Nexus3"

Merge "Add DOCKERHUB_REGISTRY global var to prod Jenkins"

[ta] Moved RPMs to Nexus3

Includes:
- TA RPMs moved from Nexus2 to Nexus3
- "ta-settings" used instead of "images-snapshots-settings"

Change-Id: I07cd86f09ec8fc0aa43c0f0b8eb328dfa8102edf
Signed-off-by: raghuramamendru <raghurama.mendru@nokia.com>

Merge "Add 3 virtual hosts into IEC CI/CD platform"

Merge "[iec] Publish logs to LF Nexus"

Add 3 virtual hosts into IEC CI/CD platform

In this patch, the 3 virtual host was deployed on CI platform.
Firstly, it add the 3rd host into k8-nosdn-nofeature-noha.yml
confiugration file.
Secondly, it modifies the confiugration file for avoiding install
K8s by compass.

Signed-off-by: Jingzhao.Ni <Jingzhao.Ni@arm.com>
Change-Id: I5b1b6d4140a37182137325668b4bc7076c8b4f1d

Add DOCKERHUB_REGISTRY global var to prod Jenkins

Change-Id: I5d16e3fe8bce4e0ec5105a020cf23b55d49595a2
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "[ta] Add TA verify and merge jobs"

[ta] Add TA verify and merge jobs

Includes:

    - TA-specific macros and templates to akraino_templates/

    - Verify and merge jobs for all the "ta/*" git repositories that
      produce RPMs. Merge jobs will upload RPMs to Nexus repository
      "images-snapshots".

    - Verify jobs for the three supporting tool and configuration git
      repositories ta/{manifest|build-tools|rpmbuilder}

    - Image build job to produce the TA end product: ISO image

    - Publish ISO images to Nexus

    - Moved shell scripts to jjb/shell

Signed-off-by: Saku Chydenius <saku.chydenius@nokia.com>
Change-Id: I2b1ecd6f34c2dd5f5c8fbb9ff09ab180d943a3d9

[iec] Publish logs to LF Nexus

Push job output and any files matching the '**/*.log' ANT pattern
to LF Nexus for:
- IEC install jobs;
- IEC usecase jobs;

Change-Id: I025e004d4e5567254a088754aa852966b511a7a6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[iec] Trigger all usecases in parent jobs

This should fix the unresolved job reference for seba_on_arm by
using j2 templates to create triggers for all usecases defined.

While at it, fix missing {deploy-type} in trigger name and rename
all occurences of s/deploy-type/deploy_type/g since jinja2 does
not allow dashes ('-') in variable names.

Change-Id: Ibeffa1fde45d7be498301d084b07f1577b992bae
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

New Jenkins jobs to build the RC api server

Signed-off-by: re2429 <re2429@att.com>
Change-Id: I08c010d960c409d9191c53de3c0977ae5116c34e

Initial job for deploying SEBA on ARM

Change-Id: Ic84813596cdc3343d4dc414e480610e46d25526e
Signed-off-by: Ciprian Barbu <ciprian.barbu@enea.com>

[validation] Add job timeout

Currently when the jobs fail to execute (e.g jenkins slave is offline)
the job hangs indefinetly. Added a timeout for each job to prevent
this type of situation.

Change-Id: Ia3b824f92fbeea644033196599d1f20b963452bc
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Add compass task for iec CI/CD in community

For integrating the compass into IEC CI platform, the
task about it in CI scripts was added.
Then, the compass will deploy 3 virtual hosts on the
host. And for function checking, it will be updated
 in the future.

Change-Id: I57472de5c0eacf5134d7fa9152993bb9475b413d
Signed-off-by: Jingzhao <Jingzhao.Ni@arm.com>

Merge "Adjust kni gerrit trigger to pick up merges"

[validation] Fix the slave-label

Change the plugin used for docker build jobs. The jobs weren't
scheduled properly when using the slave-label parameter.

Also reduce the size of the slave for validation-{stream}-docker
job as we don't need docker to be on the slave

Change-Id: Ied06773d28fb8706a6072e744aa3c64cfba602f7
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Adjust kni gerrit trigger to pick up merges

The original trigger appears to have been pulled from a verify job
rather than a merge job. This should fix build-on-merge function.

Change-Id: I77ba8479801a82a5d1d3e670ba8822cb773cfdb9
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Update JJB binary version to 2.9.1

2.2.1 is extremely outdated now. 2.9.1 has been out for ~6 months,
and appears to be very stable. Sandbox testing does not show any
issues with using this version.

Change-Id: I670540838b513f84a820002139514c6d6485d844
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "[validation] Disable 'parallel' for verify jobs"

Merge "[validation] Add jobs to build the docker images"

[validation] Add jobs to build the docker images

JIRA: VAL-11

This patch creates a multi-job that builds the docker images for both
x86 and arm in parrallel. At the end a manifest list is created for both
images.

Change-Id: Ib50c41d7bad6d61e637dcd1994a3ea9065cd0378
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[validation] Disable 'parallel' for verify jobs

JIRA: VAL-10

Port https://gerrit.akraino.org/r/#/c/608/ to validation project

Change-Id: I2728333297b0820c9550a0ad66ce7390d8af5f16
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

[iec] Disable 'parallel' for verify jobs

Switch from `detox` to `tox` when running IEC verify jobs, as
`detox` seems to silently return success without actually running
the tests.

Change-Id: I742c5b67352f01ebbe1299094d5484cb597656e5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Add nc/ovs-dpdk-unicycle jobs to Jenkins

Change-Id: I4a480d8168c2fc8c5587260d528eea3e10ca7c74
Signed-off-by: Indumathi <indumathi.buddi@ericsson.com>

[iec] Add job to verify patches

JIRA: IEC-2
Add a jenkins job to verify the code for the iec project
Also see https://gerrit.akraino.org/r/#/c/571/

Change-Id: I918739eecfaa6b43f1affcc0a42f272722a9b304
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "[iec] deploy: Disable git submodule cloning"

[iec] deploy: Disable git submodule cloning

IEC deploy jobs do not require cloning git submodules, which got
pretty heavy (more than 1GB), so at least for these jobs, disable
git submodules via JJB scm configuration.

Since `lf-infra-gerrit-scm` macro from lf-macros does not allow
configuration of submodule.disable, stop using said wrapper macro.

Change-Id: If6b41bf213a3cea095fabc03f8efbd3bda7d1723
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[validation] Add job to verify patches

JIRA: VAL-10
Add a jenkins job to verify the code for the validation project
This patch needs to be merged after https://gerrit.akraino.org/r/#/c/566/

Change-Id: Id2453d706efd4f1c629f4715d1198eca2130ef1c
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Add new job to build kni binary"

Add new job to build kni binary

Change-Id: Id504c6b79b7e3e34eea9b84a26df0273a2e4a668

Merge "Add initial job to produce kni installer binary"

Merge "Update images for all build nodes"

Update job-template names

Update job-template names from {project} to {project-name} variable.
The changes are being made because  the "project" variable allows
slashes, and the job names can't have slashes in them.

Issue: CIMAN-1
Change-Id: Ieeccbde889053cfd5d50de9673a52bb327652f97
Signed-off-by: Milin <mjaiswal@contractor.linuxfoundation.org>

Update images for all build nodes

Change-Id: I8f8861631cb160f973d4296cd62deb90caf782a4
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add initial job to produce kni installer binary

Change-Id: Ib37080d6b4815c32fe7dd941397000cf9e03d4ed
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

New JJB file for validation project

Change-Id: I73b923bd9cfcc36c847338c77057a4c55029aa06

Merge "[iec] Add deploy jobs"

[iec] Add deploy jobs

Change-Id: I8ea94a17c06e75ce222535685ca6b132817414ac
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Change choosing-strategy

Eliot project still connot checkout to correct commit id
In the patch I change choosing-strategy to 'gerrit',
because choosing-strategy select what to build.

Change-Id: If53740e7b99464a6388f9f0c1a2e30f0f8644ffc
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Merge "fix verify cann't fetch correct refs"

Merge "Add CentOS 7 8c-8g builder"

Add CentOS 7 8c-8g builder

The file is being added so 8G VMS can be available and configured
for the OS.

Issue: RT-69932
Change-Id: Ia00f567cc5428f4c25bb9c624985f72cd935f585
Signed-off-by: Milin <mjaiswal@contractor.linuxfoundation.org>

fix verify cann't fetch correct refs

When trigger the verify job, it cannot fetch the correct.
It fetch the refs/heads/master instead of my changes.

Change-Id: I6ec4c3262b48d13e39620f83b828df7d612f6044
Signed-off-by: wutianwei <wutianwei1@huawei.com>

use path for maven -f until scripts are updated

Change-Id: I6e129257425a566a69eda5fa66f2e3ccce8e32fc
Signed-off-by: davidplunkett <dp7642@att.com>

Merge "Add script for connecting static jenkins slaves"

Merge "Correct verify job branch selection"

Add script for connecting static jenkins slaves

Script from [1] adapted for akraino, both for production and for
sandbox. It configures monit and connects the slave to the LF master

Usage for production:
sudo akraino/repos/ci-management/utils/jenkins-jnlp-connect.sh \
-j /home/jenkins -u jenkins -n <slave_name> -s <secret>

Usage for sandbox:
sudo akraino/repos/ci-management/utils/jenkins-jnlp-connect.sh \
-j /home/jenkins -u jenkins -n <slave_name> -s <secret> -b

[1] https://github.com/opnfv/releng/blob/master/utils/jenkins-jnlp-connect.sh

Change-Id: I7289a06a13deb3626a4c37147d6fb8b5fdd0e5ff
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Update global-jjb to v0.31.0

This fixes an issue causing failures in jobs using deploy-maven-files
script.

Change-Id: I56519b2c242bab817a26979bf167044b8d6c2eaf
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Correct verify job branch selection

The verify job was not picking up the correct branch, as it had been
modeled after the merge jobs, which are single-branch. Also made the
verify jobs more generic, as they had been designed specific to the
eliot project.

Change-Id: I3bacc22bffb89c4b7378c1ada7bd0af988c75a15
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

[ELIOT] fix the git branch and refspec

Change branch to $GERRIT_BRANCH and refspec to $GERRIT_REFSPEC,
otherwise it always fetchs the master instead of my change

Change-Id: Id25e7e5edced5ed658df3ea655590604ce71e19d
Signed-off-by: wutianwei <wutianwei1@huawei.com>

[ELIOT]Add verify job

Add a job to verify the eliot python code

Change-Id: I2bc4c329a6b51ddae25907194a8377e5644341d0
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Add kni view in akraino jenkins

Change-Id: I43a92e328ec643175c5c99ba68f493b75f405a4b

Merge "Add Jenkins views for recently added projects"

Remove development branch builds

Change-Id: I0bd4e37dd32d804a8e093501a060149ee9adc73d
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Add Jenkins views for recently added projects

Change-Id: I5c9db97c8b1afaa765b1319da0130467a63385a6
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Make sure AUTOSTAGING has a value

Change-Id: Ib092aa5867ef57f85252542743aa7f8390c1dc20
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Removed apt since it will always fail.

Change-Id: I8d78dad5e8f4c180f8cc4fbad9938a9e64f68bfb
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Change yum to apt for Ubuntu

Change-Id: I841f5d9f7a6f69596ce891e52baacfe353e6bfa6
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Update for staging docker builds

Added new shell to check autostage directory
Updated triggers for staging docker builds

Change-Id: I9b9bfe4fb1b837016a0ab2d9fb7b6ec6e85be6e6
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Fixed error that broke release builds

Change-Id: I54aba7e13e20fcef582ba1450df89e65a11561b0
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Add nexus-iq-namespace for CLM jobs

Add nexus-iq-namespace variable for CLM jobs to use the
'akraino' prefix in Nexus IQ reports.
Having this prefix, will help in situations where two different
organizations have the same application names.

Change-Id: I1f2b998250a72c22eb1e567c2ab83d920d923dda
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Add staging builds to six projects

Change-Id: I7f2f6e72a725ce0ca2ef73fa07ce14fd25a1c1e8
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Fix path snafu for relative paths

Change-Id: Ibf957ab636e209db52da145dfb746ee2f38c055a
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Fixup new templates to support global-jjb v0.27
`

Change-Id: I65700eded9fd2337bd075b1e47856d6b9bb6febe
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Added staging build steps for tar files"

Upgrade to global-jjb v0.27.0

* Upgrade to global-jjb v0.27.0
* Make needed changes according to the release notes to do the upgrade
* This switches from localized view definitions to global-jjb view
  definitions

Change-Id: I1c6d9a3a4667485b579a22c872d390c2a4441aaa
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Added staging build steps for tar files

This is needed to allow staging builds of tar files
(without using maven for the build).

Change-Id: Ia54878aadca377b86281f07166fa7e84842a0cb9
Signed-off-by: Eby, Robert (re2429) <re2429@att.com>

Upgrade to global-jjb v0.26.1

Change-Id: Iead5a673b94dec7fcd6ced031cfa8aa44bfe7809
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Upgrade common-packer

Upgrade to first "official" release of common-packer

Change-Id: Icc5468b21551991f2f61f9d597d9cebdfe7e8dbc
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Upgrade to global-jjb v0.26.0

* Upgrade to global-jjb v0.26.0
* Prepare for global-jjb v0.27.0 with new macro variables

Change-Id: I094a083b56119f0ce881648dd0bbbe296ddd9855
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Configure global ENV vars for sigul

Prepare Jenkins to be able to make use of Sigul artifact signing

Change-Id: I284e908b97058e9c7c3ceb9dcdc127447a8d107b
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Added Docker build for redfish

Change-Id: Ieac99c270a155bd2d141ce4c44588f4fe4c989da
Signed-off-by: re2429 <re2429@att.com>

Add Ubuntu 18.04 as build option

Provide Ubuntu 18.04 as a possible builder option

Change-Id: I21562269db337f46c7879e8269a39a4a5517d3dc
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Fix release-config unstable jobs

Add lf-infra-pre-build build step in
akraino-project-stream-release-config template to successfully
install lftools and avoid unstable jobs.

Change-Id: I775c6d2b74ae2e1d04954596b2ec692393f97f8c
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Let user determine how the container is built

Change-Id: I84f4e9a0830f3282c48b586cc6353e2adcea9fdb
Signed-off-by: re2429 <re2429@att.com>

Merge "Update global-jjb to v0.25.1"

Update global-jjb to v0.25.1

Change-Id: I691ad2dceadade5b3d587206899e3a1f770cc19f
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Global-jjb requires version 1.2.5 of packer

Global-jjb now requires version 1.2.5 of packer for some packer builds,
but not all.

Change-Id: I541f29d15ef290b6b493fd16ef85f5f637ebef22
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Update to the latest common-packer

Common-packer is not currently versioned. Update to latest head

Change-Id: I3eb811e71242aee7db31c41fd684bd3d47ef9f66
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>