Add sync-obs job

This job syncs content of git tree scm/meta/obs to OBS.

Refs: #1887

Change-Id: Ic182840f38dfff91a1170e350d1aab548276bdfa
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Set rpm-build-log is lower priority than other

Change-Id: Ia535065953cfc402487fe4e8063d16284752e557
Signed-off-by: Xu Chang <changx.xu@intel.com>

Save more log for create-snapshot job

Make it keep latest 1000 build logs to facilitate debug.

Change-Id: If9bd966c1bf600e5b19628a1da8c5da8d200c977
Fixes: #2206

Save also log from tester.

Change-Id: Ic1012b745efcd2fe732156e8d35eec309cb30012

Remove obsolete parameter.

The tester itself will tell if it can test an image or not.

Change-Id: I8fdf21d93b2210d485bf9379d218dfff3ef7aa8b

Support release snapshot for milestone projects

Make the 'profile' choice parameter to be editable, so release engineer can
input any profile name. Backend script will check this input name whether exist
on repos.yaml setting.

Fixes: #2178

Change-Id: I4680790ff01f5b7a5f73ca6102c2c42ad08271ba
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Block prerelease when create-snapshot is running

And set create-snapshot is high priority than prerelease.

Fixes: #2145

Change-Id: I108266fe717d9d45b6ff10ed1a8d8e96271ac0cd
Signed-off-by: Xu Chang <changx.xu@intel.com>

Update jenkins-jobs configuration version

Change-Id: I58a5c67e7bde1a12b39dbd9aae018ceb901a351f

Set the timeout plugins in pre-prereleae job.

Change-Id: I9607d25e2d6a415fd5ac42a11c5f22a3254d0cdd

Rename requests to obs_reqeuest

Eg: /jenkins-scripts/requests/email_templates/
     ----> /jenkins-scripts/obs_requests/email_templates/

Change-Id: Ifddc79e389cdc8d578d77a47155c84ab80d69638

Add parameter for IRIS event publish switch

Change-Id: Ib0ea0a840bbbd49f4b9537ba96a0abaebf2139c5
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Change the conditions of triggering downstream.

Always trigger post-image-creation after image-creator.

Change-Id: I84f50f6afb87f11b5792ae4c660a37368dd5fae5

Add new build to trigger 'rpm-build-log' job.

Change-Id: Ib076ad8c9c78cdae358c5f165ba350e595f21865

Add a job to get the rpm building result.

Change-Id: Ibcff5ba0dc2225e706b87be9d10fa9e308ae0121

Added new job accept-or-reject-submission

This job will be run by RE. It doesn't require RE to be maintainer
of the target project as it uses maintainer account for its operations.

Fixes: #1886

Change-Id: Ia7c4555ccf9b11ee425b5d576eca276e26399b5d
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Use localhost as the default value of REDIS_HOST

Change-Id: I26e88edc98df622aa99d30c233fb4e88766e635e
Signed-off-by: JF Ding <jian-feng.ding@intel.com>

Change monitor_scm_meta_git to silent mode

It will automatically send two comments back to gerrit,
one is sent by jenkins-script, another one is gerrit plugin.
The gerrit plugin is needless, so change it to silent mode

Change-Id: I19ecb8eb09476a4235425a2c114f4560357533cc
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

Delete the config info about buildcheck.

The job of buildcheck has been deleted.
Don't need to trigger it.

Change-Id: Iec067e7a0d9cebc3df1978dbf63c65f5bef25eca

Add job monitor_scm_meta_git

Using this job to check data of scm/meta/git project and update data to IRIS

Change-Id: I1dba20b7b6e8deef545024577fa1704c47fd8860
Signed-off-by: gaoxuesx <xuesongx.gao@intel.com>

Add a plugin for the jobs maximum time limit

Change-Id: I429d17cb9fe7b8f8030eb3283d6a9b57f4629991
Fixes: #1937

delete no use parameter 'project'

Change-Id: I8480e480d536c2edf41a26498d230e092e9ed7e0

Get rid of dependency of 'gbs'.

Jenkins scripts job_buildcheck_post.py job_policycheck.py
is unused for us. They should be removed.

Fixes: #1546

Change-Id: Ia553eeaeb07b1f4849f15c8b6994563472c128dc

Enable access of all OBS projects for repo creation.

Change-Id: Iac111fc70cbf1a9c32376d9fc7be5ba8fd022a6c

Show test results in Jenkins

Change-Id: I2e6ba7223184b30f828d54f23abd893f392260f5

Trigger the publication of testing results to OBS.

Change-Id: Idea542208a1315bd120dc37811fcf75e3d9fea92

Job publishing test results to OBS

Change-Id: I3f842f551bada790b2cdb096cff0eebafad86d2c

Fail the execution unless all the tests PASS

Change-Id: Iaafab2ce248701bbd1910177e2f493b814502b8a

Filter defining paramters of the testable image.

Currently images are of *.bz2 type and require a
.bmap companion file.
Should this change in the future, these are the
parameters to adjust.

Change-Id: I96ac2d36960c2304e910e6c77c4629600c54d4e1

Fix error in regex: remove quotes.

The quotes around the regex are not needed and will cause
an erroneous match.

Change-Id: Iddff3aee3262181d16067110541cff7b4788c50c

Jenkins job for running tests of images on real HW

Change-Id: Id86edcdcb9d21574817a7e56e649494305fa86d4

Test only supported Tizen IVI images (mbr i586).

Change-Id: I5a4f377eef1ad703596ebdf44827879ca22a197a

Triggering of testing job - PART 2

This commit is the functional part of the changes made through the
jenkins UI, to trigger the automated testing of images that both
build successfully and target supported HW.

Change-Id: Ieda3d40b20a390c0c3d9a1eaff4e5c5352553aca

Triggering of testing job - PART 1

This commit is purely cosmetic and contains non-functional parts
of the atomic change obtained when modifying the job from the
jenkins UI.

Change-Id: I6534bce70afbf2188e7005ba527ef335ea477b94

Add new job to make release from snapshot

Change-Id: I8f9de8da7083e3f4c058f451f44c091d093273cf
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Trigger requests job with all OBS request events

The OBS evnet dispatch job will insert 'sourceproject' into the trigger file
name. The * added means the request event from all project should trigger
request job.

Change-Id: Ie6d0dc050f225aa282da5a5e4b6eb93b9ec09623
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Disable concurrent builds for pre-release-gerrit

As pre-release-gerrit job updates metadata in OBS concurrent builds
cause raise conditions for group submissions.
If group submission(multiple git trees tagged with the same submit/ tag)
is used several pre-release-gerrit builds can update meta in OBS projects
at the same time. This causes breakages like this:
Traceback (most recent call last):
  File "job_pre_release_gerrit.py", line 154, in <module>
    sys.exit(main(os.path.basename(sys.argv[0])))
  File "job_pre_release_gerrit.py", line 148, in main
    build, obs_target_prj, project)
  File "job_pre_release_gerrit.py", line 66, in create
    build.unlink_project(obs_project)
  File "common/buildservice.py", line 516, in unlink_project
    raise ObsError('project: %s has not links' %(project))

This happens whtn one job-pre-release-gerrit build disables the linking of
prerelease project and another build tries to also disable it.

Fixes: #1845

Change-Id: I50e1e7fdf6a9d6afa8e03b053f1135aa96553648
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add gerrit fetch and review url

When repomaker generate manifest, it will try to get gerrit fetch and review
url from enironment variables. So add these two into jobs/configuration, and
set default value to tizen.org.

Change-Id: I3c0c3a579c3da63eec714eb857feead7a69201a6
Signed-off-by: Yang Lin <lin.a.yang@intel.com>

Trigger multiply snapdiff after snapshot creation

After updated repomaker to support multiply repos into one single snapshot, it
should trigger multiply snapdiff build for the corresponding repo, because one
snapdiff build can only generate diff report for one repo.

Change-Id: I322f9e8a8a8287a2bf1d7aee7cb58f1476be3d87
Signed-off-by: Yang Lin <lin.a.yang@intel.com>

Changed version in devel to 0.16

Change-Id: I33d95ff62305ce1d800b41044efd2061ab3e2968
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Trigger the post-image-creation job in post-build actions
Clean the workspace before every build

Fixes: #1650

Change-Id: I72ddbd6588d59f095fd251c9aeb72dd8b9aec336
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Added label to requests builds

Label consists of target project, target package, SR status and SR
number.

Change-Id: I90c0c3d64c2d6f904f4900edcdd23d92b05e2ea4
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added TRIGGER_INFO parameter to requests job

Without this parameter it's not possible to restart the job.

Change-Id: I868023b6379628402ed8dd59af071a567d1b7bc2
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Disabled policy-check and build-check jobs

Disabled by Alexander Kanevskiy on tizen.org infra as they generate a
lot of noise and developers were complaining.

Change-Id: I9fc964b5359d093e46d53d9357ecd3283072b3c6
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

No need to limit project type in requests filter

Since we have limited it in our scripts

Change-Id: I0ad001093a008eb7ac89e668401c3ae1df030a4b

Added TRIGGER_INFO parameter to pre-release-cleanup job

Without this parameter it's not possible to restart the job.

Change-Id: I121d36dcfef5f8e1eb5d733bcbf1ee7a09385eaf
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add templates copy

Change-Id: I3fc73c06916d7e8d24eed431360e1bc430609a2e

Typo fix

Change-Id: I9c3590032a562cce811e31521a4f8b460ef2c9f5

Disable concurrent build for requests job

To avoid conflict on tag name of multiply builds, and because generally requests
job will only consume 2~3 seconds, no need to build concurrently, so disable it.

Fixes: #1525

Change-Id: I14906793cac85e716091949d744912d9d076d477
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Add the missed definition in jobs/configuration

Fixes: #1610

Change-Id: I1ed6e996618e599423983f2d49aed470d366cf26
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Add snapdiff-sync job

Change-Id: I0d1d528b3a8c34c68ed4b04deb3de5d149ce5502

Pre-release-create: fixed labeling

Parse project from the log right way. Get rid of hardcoded
'home:prerelease'.

Change-Id: Id81bc680bba12e3982e56f5684de318a32569a88
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added TRIGGER_INFO parameter to pre-release-create job

Adding this parameter helps a lot to investigate and debug job
failures as it allows to restart builds.

Change-Id: I6cd66f0e67081689c36f54778b01dfa6c3e1388a
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add label to imager builds

Added build id and image name as a label.

Fixes: #1514

Change-Id: I2359425920cd9cd935e2f314d9592b0ba50df0ee

Run post-image-creation job on master

There is no point of running it on workers as it requires installing gbs
with tons of dependencies there, which is quite dangerous.

Another point is security issues. To be able to run this job, workers
must have OBS user credentials installed. Distributing credentials
through all workers is insecure.

Change-Id: Iddf5dfb1f20b810ca2603d4e47aceacbca069f98
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added TRIGGER_INFO parameter to post-image-creation job

Adding this parameter helps a lot to investigate and debug job failures
as it allows to restart builds.

Change-Id: Ic86c613507c265ef711059e026c6959dff4b910f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

add the jobs to generate buildlogs directory in repository

Change-Id: Ib9afc53dad70559f470c3fec35ffb47235828fac
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Update comments for more flexible sync pattern

Change-Id: I261a5104ac5fc85f3e3850d6f589d784af9d27c3
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Disable concurrent build for submit-obs job

Because several builds of submit-obs job may touch the same obs project, disable
concurrent build to avoid potential conflict.

Change-Id: I5dd15dd838522a4d1c59a49ad2279927e29630ea
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

trigger the next jobs with project name info

Change-Id: Ic07f58e68b0c17ffb00f40987854338278ac2881
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Restore mail sender releated configuration

Change-Id: I977ff03c39725e4f0f1aa039a67e85fc1ce30469
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Start to create reuglar snapshot by create-snapshot job

Fixes: #1461

Change-Id: I434ed5f37c904cdfa25b6e5e633d9d2dc73bc5be
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Only delete symlink when uninstall package

Change-Id: I89abe444318c5743f71ffd38dcf421ce2817ae59
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Removed sync package

Since jenkins-scripts-sync was removed this job has to be removed.

Change-Id: I0a8dfe9de7969b2137ca49b45f481300add19f28
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Listen all gerrit projects event in sync-git job

Because the configuration to control which project has been moved to
jobs/configuration, gerrit-plugin should listen all projects event.

Fixes: #1426

Change-Id: I6184e3c489966ea470be8111a0e2123d72530169
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Update sync-git config.xml to latest plugins

Change-Id: I7bdf36b8397e4a62ce91094b2f67ba77bd1e55e9
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Fix create symlinks under userContent failure

Safer way to rewrite the symlink when install and upgrade package.

Fixes: #1433

Change-Id: Iff7a7b3b134bd4b98990ee0ee27249a8813d3a06
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Move update-local-git job to common package

The job update-local-git should exist both normal and sync instance to update
remote gerrit project to local cache.

Change-Id: Id73a8718e917a61b7dc2e6a4fa3e0d40928a8545
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Moved userContent/configuration symlink to -common

userContent/configuration symlink should be in -common for two reasons:
 - it's used by also by -sync instances.
 - jobs/configuration file is in -common package

Change-Id: I986a142ce6cbdfa07f3d0a66dcad0c21950c0068
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Auto create symlinks to jobs/configuration

In %post section, automatically create symlinks /var/lib/jenkins/userContent/
configuration to /var/lib/jenkins/jobs/configuration.

Fixes: #1356

Change-Id: Ic2e45eb14b647b9a57c94b908f7ce8d3aa5aed36
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Deleted delete-tag job

The reason is that we don't need to delete any tags. We may need another
job to delete old tags, but we don't need to delete them just because
the change was rejected like delete-tag does.

Moreover job_deletetag.py has bugs. It may end up in infinite loop if it
can't force push to git repo. Removing the job automatically fixes this
issue.

Fixes: #1379

Change-Id: Ifa3e607bb3175851e250a17d1a5568674bfc09ca
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Run the load-repo-conf job on OBS server

Fixes: #1357

Change-Id: I7d702ffb15c2451c403834b8daa0c2450e907fec
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Added jenkins-job-tzs package

Package includes jobs, specific for tzs customer appliance.

Change-Id: I64992ab6d586486b0244cb460602de9d7d48ea44
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added create-snapshot job

This job creates new snapshot. It uses repomaker to convert target
project repo to snapshot directory structure.

Change-Id: I032a646ca431c06847c5eb490b04c535c9d6d827
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added submit job

Submit job is triggered by Gerrit trigger for submit/ tags. It uploads
packages to target projects using submit.py in snapshot mode.

For pre-release-gerrit job submit.py is run in prerelease mode. It
uploads packages to prerelease project, linked to taget.

Change-Id: Ib160b0afc9d815fbec612e3edae263f7d7c029e2
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

obs-event-dispatcher: clean up plugin config

Removed non-existing directories testprojects and gitbuildsys from c
copytoslave plugin configuration.

Change-Id: I842d2a2a0a3a3b243adf03350bf796b8c5e97774
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

obs-event-dispatcher: Make label more informative

Label now includes project, repository and event type.

Change-Id: Icfe01ec5d29d4ce0003678dcf9405fef72a178b3
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

image-creator: Make label more informative

Label now includes project, build id and image name.

Change-Id: I88a2e27d501d1778f22664c8f619e387b26c3213
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Enable mail_sender job

This job was disabled in internal testing farm to avoid duplicate email, which
should be enabled in production domain.

Change-Id: I11e8eba186935cd91ed87a6c70f21cd7b45abd0e
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Started work for 0.15

Update version and .changes

Change-Id: I73938596aee62447d46ded968ac0bed8ad610b28
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Release 0.14

Changed versioning. Updated changelog.

Change-Id: Ib8de9548a52e202cce579353886332dd8179b4c6
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Restrict more jobs only can be run on master

The job 'delete-tag' and 'requests' include several gerrit operation, which rely
on private ssh key on master server, so only can be run on master.

Change-Id: I5c417669d3a80271187abed2748281e69381ab09
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Removed references to 'package-build' label

Master and 'package-build' is the same node. This change is replacing
'package-build' with 'master' to avoid confusion.

Change-Id: Ifab5a284cf939fa9c51182af55940a63b32c3f30
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Activated ws_cleanup plugin for obs-event-dispatcher

Workspace Cleanup plugin was enabled during last testing round but
issue #1328 was not appeared. Let's give this plugin last chance.

Change-Id: I13fe6e560f15d329cc2c0d16026469ff533aa442
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Disabled ws cleanup for obs-event-dispatcher job

Workspace cleanup plugin doesn't work properly when job allows parallel
build execution. It removes workspaces for other builds, which causes
spectacular crashes like this:
[workspace@2] $ /bin/bash /tmp/hudson934458048082312142.sh
python: can't open file
'/var/lib/jenkins/jobs/obs-event-dispatcher/workspace@2/jenkins-scripts/job_jobs_dispatcher.py':
[Errno 2] No such file or directory
Build step 'Execute shell' marked build as failure

This change replaces buggy magic of workspace cleanup plugin with simple
deletion of *.env files.

Fixes: #1328

Change-Id: I7f9b59dcc10d11ba985f6ae58933d6d250e4b820
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added VM-related defaults to jobs/configuration

Change-Id: I1e322c031a68cf1b2e39e0b523af102571183c6f
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Adjusted deletion of image-creator workspaces

Without 'deleteDirs' enabled mic/ subdirectory letf untouched by
'delete workspace' plugin.

Change-Id: Iabd68652486d1ae8e504271b70b6d70698e0ed9c
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Removed http*_proxy unsetting

As imager runs mic in VM there is no need in proxy setting/unsetting.

Change-Id: Ia6735081fa126844cb47a18f5f19dd816015082d

Update repo project to scm/meta/snapshot-repo-conf

Finally the repo config project name in gerrit has been decided to be
scm/meta/snapshot-repo-conf. So update the project name in job conf.

Change-Id: I2a96309267379a500cd1e9f426e58b9cd64ff856
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Updated settings for keeping old builds

Without this settings Jenkins accumulates all old builds and for some
jobs it's really a lot. This makes Jenkins starting very slow as it
scans builds/ directories for every job on the start.

Change-Id: Ia9ca5c5171e9006a6506d5ecb7f50cdf9d8f17e6
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Added parameter TRIGGER_INFO to image-creator job

With this parameter it became possible to retrigger the job.

Change-Id: I7b9a9113062188d12fc2869eeab7ac1029b07e55
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add regular expression in jobs/configuration

Script will use this re to control which project should be synced to inside
gerrit when it update.

Fixes: #1124

Change-Id: I159a00c31422e021f3a7c35e9c34d30e685ebbe5
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Added Tools repository to .extra-repos

This change will hopefully allow us to remove gbs and its dependencies
from Services* OBS projects as we'll be able to install gbs from its own
repository.

Change-Id: I96760df29ae78278fbb61f8b4c715cb96d65fbb0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Returned back dependency to jenkins

This change adds jenkins repository to packaging/.extra-repos and
returns back dependency to Jenkins. Tester job should be able to install
jenkins from the repository for the installation check.

Change-Id: I1ef9646cec16dd5c4fa713172d8241c8de5a0830
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Show more information beside build history labels

Fixes: #1181

Change-Id: Ic9bdd20fb85ee4928f785c4ef803ac75ce78678e
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Cleanup and misc changes

Change-Id: I76fff9126c0da4bb7088a3f9bb452c3b4ae315ce
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Trigger the prereelease-cleanup job when project get deleted

Change-Id: I5cea1786173e6a8dde0af732589267e2a538d0dc
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Add post-image-creation into workflow

Change-Id: Ie0db9010c0765e797136da225b6f41e9f8a1dbe4
Signed-off-by: Hasan Wan <hasan.wan@intel.com>

Merge "Add new job post-image-creation" into devel

Add new job post-image-creation

This job updates image information to OBS, generate manifest files etc

Signed-off-by: Hasan Wan <hasan.wan@intel.com>

No need to linten changemerged event

Because submission process changed, the job don't need to listen changemerged
event to check whether the merged commit is already tagged.

Change-Id: Iefd835b229f9dee577686bfc8a180ead20ef4712
Signed-off-by: Lin Yang <lin.a.yang@intel.com>