Fix: Rename workflow to correct default name

Issue-ID: RELENG-4799
Change-Id: I7127102ffe95ca8166c00cb11a818d6f0fe7aad2
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Chore: Update GHA versions

Issue-ID: RELENG-4799
Change-Id: I8a228dcff2d9aea5ca6d5bea7f44d3167558a00b
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Fix: Remove info-yaml-verify from vote's "needs"

Issue-ID: RELENG-4799
Change-Id: Ifa8f67c053d7e306305b795e57048c3458f5496a
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Fix: "Name" should be "name"

Issue-ID: RELENG-4799
Change-Id: I10d67277bfd77ca928fd8002b819de40ffd90c2f
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Fix: Remove info-verify from local workflow

This job will always run from the .github repo.
This also removes erroneous input TARGET_REPO, which should only be
used when running from the .github repository.

Issue-ID: LF-Jira RELENG-4799
Change-Id: I83c324eb79db1c419eeef0e7b8b8277dcfc4b74a
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

CI: Add Github Actions workflow

This will replace the "kni-installer-verify-installer" JJB job.

Issue-ID: LF-Jira RELENG-4799
Change-Id: I03a78f9de6eabb00b2d071064988148a2895e446
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Temporary fix of Kustomize plugin

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: I9ec8f7f26bb9c9c5a394eea4c8a92c17d47d4b11

Add fixes for Akraino Security checks:

  It includes Lynis and Kube-Hunter fixes

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ib08a41c03f3124ca6c5921081a3f32590de090cf

Run podman cleanup at start of baremetal CI job

The filesystem mounts for the containers running dnsmasq, etc,
in support of the virtual baremetal system can end up in the mounts
of the virtual machines, which means cleaning them all up needs to
be sequenced correctly: first the VMs should be removed, then the
containers.

There's an edge case where if a container is removed while the vm
is running, it will fail to remove the underlying storage, but no
longer appear in the list of containers.  This will prevent a
replacement with the same name from being created.  To handle this
case as well, we run 'podman rm --storage' after removal.  This
should allow us to clean up the host correctly even if an attempt
to clean up in the wrong order was made.

Signed-off-by: James E. Blair <jeblair@redhat.com>
Change-Id: Ie089ebab65f8a70732def5c882abf465561bebec

Pass sitename as argument

  This allows the script to be used by multiple jobs

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Idd00361b9325edeb3a0f72d1c036b8976e50f909

Revert "DNM: Testing passing site name..."

This reverts commit 4554c7d3293a128c852810998129a4777faa3839.

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ie319fd71cb70837e3e2c33cd7a0e82def439b655
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

DNM: Testing passing site name as arg for CI jobs

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: I6d1a89eeaf5321b6639ae0ea3ce9167590a63e33

Remove libvirt job and fix knictl paths

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ie0f822e57240fc6dad840be166268f3136b722d9

Modify path for knictl binary in GCP CI Job

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ie8b5c5e368ad9281ebcc48c49b74b1ee167d3cb2

Fix path to plugins

https://gerrit.akraino.org/r/c/kni/installer/+/3790 set the build
artifacts to be written to ./bin, which broke the relative path set in
ApplyKustomize to the kustomize plugins.  This patch adjusts the
relative path appropriately.

Signed-off-by: jcope <jcope@redhat.com>
Change-Id: Ic55f97baf7a95a48f09053a1a1c12d9e0d3e08d9

build output to appropriate dir

GOBIN is defined but overridden in go build command.  This fix corrects
the bug and builds binaries to ./bin.  Includes a .gitignore file in ./bin
to exclude build artifacts.

Replaces hardcoded ./bin paths in other commands with $(GOBIN), else
other make targets may not reference the most recent binary.

Change-Id: Icc7e0e23fef9ec4f41e5a9660bbf3d21d056deb4
Signed-off-by: jcope <jcope@redhat.com>

Clean logging and fatal calls

log.Fatal() calls os.Exit(1), making the explicit os.Exit() calls in source unreachable
condense string formatting and loging calls to single log.*f(...)

Change-Id: Ied2fadcfd878e7cf4021b2f183af1edca083e165
Signed-off-by: jcope <jcope@redhat.com>

Add Github vars in kustomize plugin

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: I4f4083974dfed89b08199b59caf48c5c0768e351

Do not abort on errors for oc get nodes

We need to iterate across this call without
exiting the loop, so we need to disable
the exit flag

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I8f140be4cfab5159b039e9bbde272c9d8a990e0e

Parameterize the number of retries

Signed-off-by: sheetalsingala <ssingala@redhat.com>
Change-Id: I4eccf49258b60a76b45d38712a5d2b6934215f5c

Fix setlocale warnings

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I5a4fe54cc43bb77bb4f50cb9771444754d323973

Catch STATUS without exit CI job

Change-Id: I596172a02cb710a153965bee18dd8d29b176cfc7
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Add destroy cluster per status check

Change-Id: I6a170e6a5a3f8c8d29e9407a7a3a3e243864ad20
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Add message to destroy bootstrap VM

Signed-off-by: sheetalsingala <ssingala@redhat.com>
Change-Id: If351f1a282c6f47e3bc3c21631a6ff46d0786bd8
Signed-off-by: sheetalsingala <ssingala@redhat.com>

Add || true so we don't break on error

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I73be752eafaf2f579ddf8838f478d9cd476801f2

Remove bootstrap vm after deploying workers

Due to https://github.com/openshift/okd/issues/209, the
worker nodes cannot fetch ignition properly when bootstrap
vm is up. So we need to destroy the vm after the worker
creation, so they can get ign properly.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I5e2c74db201825c2375d86af5c621f452d788672

Do not stop loop on error

It can be the case that the oc get nodes api is returning EOF,
which is causing an error and is breaking the loop befor time.
Change the way we capture the nodes, by allowing failure, then
compute the ready nodes.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I176682c2206075c221ab8d3e634a11cfc4c539d0

Remove wait-for-bootstrap call

It is not currently working in the case of UPI. So instead,
query for at least one master node to be ready, that will be
enough to start adding worker nodes.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I1d4a2ec2f1df0dbb40d9a80648ea8a12559c429e

Remove CentOS node bits

Signed-off-by: sheetalsingala <ssingala@redhat.com>
Change-Id: I9d44eca38b961397e6c1336c63434f569898c212

Add missing PRESERVE_CLUSTER var

When this is not set, CI is crashing when
cleaning the cluster.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Icfa5d282c9147c05000be0a0adde885e77dc6bf5

Fix kustomize SiteConfig plugin

Change-Id: I77a998ae710bfb0d343ec66881f60b4b4a9c8965

Make dockerjson and kubeadminhub files optional

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ibf37f186778e9be670e5427ea95d1b7a7e5b38fb

Change in SiteConfig Kustomize Plugin

  This change allows to add a manifest with a
  dockerconfigjson type of Secret, so deployments
  can pull images from private registries and kubeconfig
  from a hub management site as secret.

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: Ic4a5b3ee3ea15a88e7d4f4318feea41a4e753800

Change path to use site from kni repo

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ib8bd17b8b22d07962fce6c60c8f2b6d1a1f85d87

Add default vars for baremetal job

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ica914adb5ecfbff334ef6e2b1dad71c11a41edca

Add virtual baremetal install option

Read the flag from site-config.yaml, and pass it to
common.sh to indicate kni-upi-lab that it needs a
virtual install.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ib52c5be39c56b873aa65d27e18600a04868f6b56

Allow skipping destroy cluster

Destroy the cluster only if PRESERVE_CLUSTER is not set

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I22f87c83c0d04c8e82d15fa57ca62e24be752260

Add missing kni on path

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ie4b6aa7cc11706dfe75752667ebcea5a2a7e85d6

Send build path to apply-workloads

We need to run it with sudo because previous commands
were also with sudo and there are permission problems if
not. But if we run with sudo installer tries to read
kubeconfig from /root/, not from /home/jenkins,
and it fails. So passing the build path pointing
to the right home.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I8aff76b7ece9e89258990c699b7fb36f8c70fb80

Add missing sudo

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ib0be47493ce07dc8ccca26d916dd1335d8ad6ea0

Pop from the previous directory

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I84c4dfa4ef662fb615b6b267cf1b836c50fc359e

Properly check status of the deployed cluster

The status was not captured properly, move
the comparison after wait-for-install

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ieaad4c81353359215d56f6bc23169c47aa5c89be

Query metadata.json with sudo

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I1c3ad3ada7ca64be8622296e836ea63a927b3c60

Retry wait for install a max of 3 times

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I79a87f35cbd907dc6d34366fd1d58774f797fca7

Merge "Add extra wait-for installer in libvirt"

Add extra wait-for installer in libvirt

It is not ready when we finish create cluster, so add extra call
to wait for installer to finish.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ic3a453b104fba0d433a610fd25d7e581a34b8fe9

Merge "Remove whole site folder before deploying"

Remove whole site folder before deploying

In some jobs the $HOME/.kni/$SITE_NAME folder
was not being cleaned, just the final_manifests one.
This was causing existing requirements to be reused,
instead of picking the new ones. Remove all the times
to avoid problems when new requirements need to be
pulled.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I9206846aa78f507d455f65a1c7bc71331c0c5d22

Merge "Remove the copy of pull-secret.json"

Add CI job for GCP footprint

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: I9fa553ccc0477f6fba7fa9205a4a5688c7f3d1f8

Add support for Google Cloud Platform deploys

Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>
Change-Id: I98755a45b8f07111938a692bfbfccb6ad05b3358

Merge "Support for automated scaling-up of BM workers"

Support for automated scaling-up of BM workers

Change-Id: I1fb3a02976cfaaf24f366a316c6111e22c326e3c

Remove the copy of pull-secret.json

As we always use the same server, we have the
secret already there. It's also a secret that
cannot be shared outside, so we keep that installed
on the server and use it.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I32b1a43b16e260e80c3efb3520c59d66458f0fec

Run installer from /usr/bin directory

It is a current limitation of openshift libvirt
installer

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I954d07da42670c225fe499733d0b90531d8eca9c

Override two extra settings on settings_upi.env

For a full automation we also need to override
the site name and domain

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I8a74dbf1f14d932ba3fbfa252175a0810d89422a

Add libvirt cleanup before starting the deploy

In case some old clusters are there, it is possible
that old bootstrap vms are still up. This script
will clean all the previous contents of libvirt, ensuring
a clean install.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I95137fd798ab8c5f87f84280c1f7426326c46c86

Add exec perms to deploy script

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ic5f2b20943e0b8c433e2e3fa077d53061423b9fa

Add new script for adding baremetal to CI

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I88595855023af9bfa7a10522c50d1e0a2b4b078a

Automation skips OCP binary download if not needed

Change-Id: I189df174b2eb6da4db3c943d9acbcbf2346f5536

Add missing requirements directory to automation

Change-Id: Ic4ca3768ada3a794849f898ff1525e14fd9d956a

Change texts to reflect baremetal deployment

When using the automated baremetal deploy, masters and
workers are deployed using knictl commands, and
destroying cluster as well. Modify the texts to
reflect it.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I925ce5c2a5af4ba77440f8fc841d88fe906105da

Add error-checking for automated cluster teardown

Change-Id: I4c7a056da929cd03e0cdbfb4d2a5469850e5631d

Make automation use default 'cluster' dir

Change-Id: I0c6c794a172181a58f84a0d1b607c402cb2419d0

Make sure to copy site yamls to automation repo

Change-Id: I9cba91b07acba4cbd98346f58ce0a023f19e0c5d

Move automation prep call to prepare_manifests

Change-Id: I8c74cc4c1ef60d23e34cc00dd32f765c29f3187c

Merge "Version-selection for automated baremetal"

Version-selection for automated baremetal

Change-Id: I1f46fa879a805800916dec97b5cd147593e03332

Parameterize the name of the blueprint

Now we don't have a single blueprint, but two.
So we cannot have the name of the blueprint hardcoded
anymore. By looking at the env vars provided by
jenkins, we can reuse the GIT_CHECKOUT_DIR env var
instead, that will contain the name of the blueprint.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I3a0e517d64268f2287bb19ca50d2e5f7431ded22

Automated cluster teardown command

Change-Id: Id4d4df957b08a1b38b50fbe8bd948904f82a936f

Automated masters and workers deploy

Change-Id: I9ed643e4fee34fef6c73bbf0a5266c9cfba401db

Framework for automation support

Change-Id: Ida577033f8906cb00fb3cbe340272d8984621d3d

Merge "Revert "Retrieve original source for kustomize""

Revert "Retrieve original source for kustomize"

This reverts commit 59ce04c30e7c3249cf6a721b6673f9eebaa2f7bf.

We don't need it as we can inject cluster modifications on initial steps

Reason for revert: <INSERT REASONING HERE>

Change-Id: Icb4ce87355bca87d5b2c860ec373b5d90e18ba00

'fetch_reqs' integration with bm automation

Change-Id: I8ec51432cf9f50e5793209932d72e76aa2d2e4c2

Staging for getting site profile type

Change-Id: Ieaccf5b2ea962f3f179cf19e1e85dea93118e6d4

Merge "Retrieve original source for kustomize"

Add fixes on apply_workloads for kustomize path

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I0c5f5d42448afa5e5d70de4ede2ccfab33109afa

Retrieve original source for kustomize

When patching content that is dynamically generated
and not being in kustomize, it cannot be done as it
misses the original source. Add a pre-processing in
apply_workloads, so it will retrieve all the original
data from cluster deploy, to make it available
to kustomize.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ibd37801768fa2c45b89bdfa161838d843dd2c436

Replace kubectl with oc for apply

When applying certain manifests, kubectl could
throw an error because it is not dealing properly
with openshift manifests. Switch to oc client that
is totally matching the installer version.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I4de5e230577e7f10f1c181b166770d14cb7f3465

Add dockerfile to build an image with knictl

In order to run it inside a pod, we need
to have the knictl binary. Create an image that
contains the latest version of it, ready to
use.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I5430699c041f7afc51b74040803e841b29adf608

Download the blueprint on apply_workloads

If we assume that apply_workloads can run
from anywhere, there is no need for blueprint
to be present. So download it as we do
for prepare_manifests

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I93578ec1fb1bc2837a07d9648eefa5b8f35c899a

Allow to specify the kubeconfig file

In order to apply from any place, we need to
parameterize the kubeconfig path. Accept a
kubeconfig parameter, that defaults to the one
from prepare_manifests is not set, or add the
ability to specify "local" to deploy to a
local cluster without kubeconfig file.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I9fffeeae28369f0fbe4dd2de127a61e99e35e62e

Allow to just fetch individual requirements

If we want to download requirements just for workloads
we will just need kustomize and kubectl. Allow to pass
a list of requirements to download (optional), so we
avoid downloading not needed requirements

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I84d552a49eb82b0883faccfbf797afc1a4b23412

Decrease time and repeats on kubectl

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ibb28da9017a7828011443f67c014c0f0300db1e8

Remove extra popd

This is causing libvirt test to fail, as
just one popd is needed.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ie8c7b613ad41dd5f6fe0965d6cc978a34abb0c74

Generate env vars from siteconfig

Just accept any env var in siteConfig, to be populated
into profile.env.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I7436d138d7a3c97aa8112c50cca5f21187f42e35

Increase memory of masters to test

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I4115a71a9fae955a992054ef4dbbc00f2a53146f

Add a comment about ignition and UPI

When manifests are generated, there is a comment
explaining on how to create the cluster. Add also the
comment for using UPI and ignition files.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I6fcd3850894c4939926935aee255fca06da50124

Use sudo when removing openshift.conf file

Otherwise it cannot be removed when ran with
jenkins user

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I94b827dbf5c1de8bb6c62a6d5fc2fec1da3176b6

Modify AWS job to run from internal repo

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I4a9224cf4d35d8cbe6b7aea19718c24a2c7c541d

Include changes to pick local repo

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ia493bdcfae73096ff4113c680ec7e49b00ed1273

Remove the approval of certs call

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I68623e2f0b8e8e97dd16ddc794640e27a8c97db2

Modify libvirt deploy to run from internal repo

Adapt some of the clones and references to folder,
to use this internal repo instead of relying
on ci-management.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Ic8df9ef32536793a873fe8c14b994b7259b742ed

Create new ci folder to store the testing scripts

Instead of having the shell scripts contained
in akraino ci, move it to our project so we can
have control of the reviews and merges

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I15a2dc1fb8f38881c3495f0be2cab070b5f7c551

Add support to deploy from local directory

In order to use CI, or for local testing, add the
possibility of using a local directory for the
site in kustomization.yaml

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: Iab9035501168c80377c59780d221f1ef99b2e445

Add the possibility to specify ref for a site

Currently all references for a site are set to
master. Add the possibility to specify a ref, like
git::repo?ref=commit_id, to support using different
branches and commits for the site.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I9ab5ca8f31c3382730d7318b94a99f2f52d0e3f8

Add instructions for baremetal

While we have automation for baremetal, add documentation on
how to execute UPI manually.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I4c764f6844c2eee278478e862f3474461de2e87b

Remove not used endpoints

With the new workflow, some of the endpoints
for knictl are not longer being used. So remove
those.

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I067f6feb1d249d725bd337a4b5b3805e209fb2af

Fix typo in apply workloads

The env var is not KUBECONFIG_PATH but KUBECONFIG

Signed-off-by: Yolanda Robla <yroblamo@redhat.com>
Change-Id: I43b29d5dc0e3cf9565a6fc5bedc5226f78a9045c