Update scripts because scm/meta/git system is changed

Change-Id: I9477428527e899c967983badcdc2d767a5e375ff
Signed-off-by: Sehong Na <sehong.na@samsung.com>

ENABLED flag for git-ref-mapping update

Change-Id: If15e1bcfac222c7bf56ece8797b14790cf7590b0

Updating git-ref-mapping after release snapshot

Change-Id: I822f740afcbe5ed1e70a1e9ad884b75647b5160f

Add gitbuildstatus in Prerelease project

Change-Id: I6ed6e93182f732bbf9a5a033a27b88d5b82827d3

REPO_PUBLISHED event is generated only once when all repos are published. Delete chksnap option on prerelease project

Change-Id: Iecc5e89b4b7addebf956c3a3c2be4dded9d30392

Enable triggerring buildlogs even for prerelease projects.

Currently, creating a snapshot for prerelease projects (job_pre_release_obs.py)
does not trigger buildlogs unlike that for the main projects (job_create_snapshot.py).

To make a dependencey graph for prerelease projects, it is necessary to
include buildlogs job.

Change-Id: Iea5e1181a32e09efc8881aee02d8103b3587dca8
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "Modified to produce for the Prerelease Group SR." into devel

Trigger post-image-creation job with failed status if imager stucked
Problem: When image creation job stucked and aborted itself, post-image-creation job will not be called.
Fix: Prepare dummy failed trigger infomation. It will always trigger remaining job.

Change-Id: I8d73ff72ffdfd77f25133ac19b7d82b0db37bcfc

Modified to produce for the Prerelease
Group SR.

Normal operation
SR first build is complete, images created.
SR second build is complete, images created.

However, in the case of failure.
The problems do not stop with the first image produced does not create a second image.

Solution.
Modified to produce the first image and the second image can be generated.

Change-Id: Ibe3283040d56bed6e7ae68d682056edae012282e

Do not insert "CopyLinkedPackages: yes" multiple times.

Change-Id: I8d2f817c179596c780b1b0ff69d37f3f3fd820e2
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "Check existance of repo and image path for snapdiff" into devel

Check existance of repo and image path for snapdiff

Change-Id: Ic0d685c48cdd72847670a7950f14ca32a4b70a3e

disable check user in group

Change-Id: Ife810ce8740ec8d38b7bf2f73760ff9e1a61ef4e
Signed-off-by: Sehong Na <sehong.na@samsung.com>

Additional accepted action for re
Mismatch action parameter (accepted) between repa and re.

Change-Id: I0ed2656e4137545890a987df7ab8fa292c73c2f4

Add "\n" at the beginning of "CopyLinkedPackages: yes".

If "Rpmbuildstage: bb" does not have "\n" at the end of the string,
this could be possible "Rpmbuildstage: bbCopyLinkedPackages: yes".
Hence, just insert "\n" at the beginning.

Change-Id: I06fe5dba92c33c67b1f090503fd9d80a515e8765
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Preventing unnecessary package builds for prerelease projects.

For normal OBS projects, if the result binary for package PKG_A is not changed,
packages depending on PKG_A are not build due to build-compare package.

However, for prerelease projects, if a build is triggers for package PKG_A,
all packages depends on PKG_A are built in prerelease projects.

REASON
To perform build-compare, we need two rpms: oldrpm and newrpm.
However, for prerelease projects, there is no oldrpm since there is no rpms built for the prerelease project.

SOLUTION
Sym-link rpm files from the linked projects.
For example,
ln -s /srv/obs/build/Tizen:Mobile/arm-wayland/armv7l/libnl2/*.rpm /srv/obs/build/home:prerelease:Tizen:Mobile:submit:tizen:20160729.002907/arm-wayland/armv7l/libnl2

To do this, we have to change two things.
1. jenkins-script
To perform this functionality as an option, this functionality is performed only if "CopyLinkedPackages: yes" is in project config.
To do this, we have to change "job_submit.py" in jenkins-script.
"job_submit.py" adds "CopyLinkedPackages: yes" at the end of project config for prerelease projects.

2. bs_sched (OBS)
If "CopyLinkedPackages: yes" is found in project config, make a symbolic link for the package before this package is built.

Change-Id: I54ab531a8b8b73f1b7ea95cf0cd76c596954cc9a
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Revert: 4) 5) : Check Human Error about SR tag
    4) Check specfile exist under packaging
    5) Check parse specfile

Change-Id: I461480eaafd07b005fb1751cf262416c1740a3e3

fix for sending e-mail function error in job_submit.py

Change-Id: I032dd1534e1d6b29d7993e61fe5753056fa34d28

fix : fail to create daily,weekly reports file.

Change-Id: I0f3b7271e173c0b13a9d1b039fb6e71da7e1af79

Feature : Check Human Error about SR tag
1) check whether tag follow proper format : tag name format,date format
2) check whether tag is an annotated tag
3) Check if change is still under review
4) Check specfile exist under packaging
5) Check parse specfile
6) Report an e-mail message about the error to the submitter

Change-Id: Ibd722848e87c2148de730aa766c97883e842efca

Job : check_scm_meta_git
    Add new feature for using scm/meta/git.

Change-Id: I69a6e4de7a063e43645b009c963090b43d6f877e

Fix retrigger the images for the Group submit.
disable publish flag and default publish flag

Change-Id: I24ea9f4d74e30742c6cf300ab3922f2fb726e229

Prerelease - Get obs project info instead of request every packages

Change-Id: I8ee19c0860a0bf5654251f050df54da65b848965

exception images_count of the post image job

Change-Id: I65246df6be192ee62109fa9d92b83f9c975e1537

Fixed Notify email about reqeust author(Group submitter)
chage Build_id trigger to request_trigger_
change for jobs setting

Change-Id: I5d3c9d643665a83be7f16c49ed1f96733457ca01

update the info when images and images_count is same

Change-Id: I51d907c246c32ad769f8e8af22adc202c3b62c86

Merge "1) New workflow about Snapshot. 2) Add submitter on prorelease project. 3) Add chksnap option on prerelease project. 4) Unknown published status skipping prerelease repository creation as OBS" into devel

Job : check_scm_meta_git

Add new feature for using scm/meta/git.
It's submit type option in git-trees.
It's add checking syntax and applying to system related submit type option.

Change-Id: Iaeec73c57b30e4d47d8e3f901c0ed5c6ec3f32cf
Signed-off-by: Sehong Na <sehong.na@samsung.com>

1) New workflow about Snapshot.
2) Add submitter on prorelease project.
3) Add chksnap option on prerelease project.
4) Unknown published status skipping prerelease repository creation as OBS

Change-Id: Ie0a1b3fc43770b3c7e88f4747eb10d109027341d

Add new job 'check_scm_meta_git'. It's for using scm/meta/git.

- Synchronize meta data in scm/meta/git to gerrit system automatically.
- Check syntax & semantics about scm/meta/git.

Change-Id: I552f6a0011a7b977f6221e309d2127ef2d95905b
Signed-off-by: Sehong Na <sehong.na@samsung.com>

Add repo manifest file for ABS

Change-Id: Ib8aac2c21b06d8d3500446b9344754f67f792dab

exception to KeyError: linkedbuild of repo_element.attrib.pop()

Change-Id: Ic1dbbc2efdae235175810612249162c256aa62f1

1) Retry create_project(...) three times if it faild.
2) Merge person list then send meta update request only once. (instead of sending multiple requests)
Tested : Retry routine check OK.
Tested : Update meta for person check OK.

Change-Id: I7646b57dee077d3a2b2def4c0ef36e81c8eef04b

description : disable a build flag before upload service and enable a build flag after link project
    file : job_submit.py

Change-Id: Ic7052d4c01048c8693c28da5c19055b875fab5da

 Feature: Add rpmbuild stage options for prerelease job
Description : have to add PRERELEASE_RPMBUILD_STAGE in jobs/configuration
              PRERELEASE_RPMBUILD_STAGE = bb or PRERELEASE_RPMBUILD_STAGE = ba
            If you do not want to create the src.rpm file on OBS project, use a PRERELEASE_RPMBUILD_STAGE = bb

Change-Id: Ieb356b32dca5aa58526f1551a5184bf2efaa88ee

Merge "Revert "description : disable a build flag before upload service and enable a build flag after link project file : job_submit.py"" into devel

Revert "description : disable a build flag before upload service and enable a build flag after link project file : job_submit.py"

This reverts commit ec5ab866cd0621aed570ed9ef23cefbd21ddfb83.

Change-Id: I88fac5fc0ae3565746e08198f759498f88f63217

 modify to check sync_status value when Sync function doing

Change-Id: I6377d04cbeb651200064284c092926ad03ec4397

description : disable a build flag before upload service and enable a build flag after link project
file : job_submit.py

Change-Id: Icdbf9edac7da0cb31c6a4b7f7729cf1fb3dbff7a

retry sync function because of rsync error

Change-Id: I353a755c25105dbf3e3b0246748ad29233ff178e

Do not use 'Generates .files'
error : <urlopen error [Errno 101] Network is unreachable>

Change-Id: I28d1a0a6c955e54bab23cfdd01c1f80588fa558b

Feature : Generates .files which contains package name and its file list
make the images_files file.ex)tizen-3.0-tv_20160324.9_tv-emulator.files

Change-Id: I6477485b5ff7aeafb649e06c80ef8d483f4d81c9

1) add & update below funtion for the buildservice.py
----------------------------------------------------
update_buildstatus
update_info
link_projectDev
get_user_meta
create_copy_pac
get_dependson
show_upstream_rev
disable_build_flag
default_build_flag
2) Make file at packages depends & revision of OBS for the job_buildlog.py

Change-Id: I0d71f26ab270cd9ac54cdd48e2613963102856db

Delete Tizen older directories based on policy: modify to search all directory

Change-Id: Ia848a4ed16f0c3ed92079bed992e87017ecd8ad4

move project_src_rpm_cleanup in job_pre_release_obs.py

Change-Id: I2b9d7610b2e248ab53599ec2b9e791616c69695f

cleanup src.rpm files on Live repo. we don't used src.rpm files on prerelease project.

Change-Id: Idf8f79631fc79473f625cff3cc833084b315b42b

Release 1.1

Updated version, changelog and RELEASE_NOTES.

Change-Id: I3966f00d850ce941a48ab1862f6bf457d4731efb

provide a multi branch name for the git-obs-map xml file. ex) <branch name="tizen,tizen_mobile" ...

Change-Id: I8f5e4573fb5224a5f0c434feb2f7582c85b09e03

Merge "submitobs: Do not submit to projects using abs workflow" into devel

Merge "Update git_obs_map function" into devel

submitobs: Do not submit to projects using abs workflow

        Submitobs job should skip submission If staging project is set to
        abs in git-obs mapping

Change-Id: If1d8322d86d4fa2931db52bae28e85e06b36b878

Update git_obs_map function

Change-Id: Id772dbc2629ec5479e92f952387c4740c2ffcd41

prerelease: get package name from xml files.

Change-Id: I1c88b02ca5b4fd6a3e02f9f7551403b77233fad6

Release 1.0

Updated version, changelog and RELEASE_NOTES.

Change-Id: Icee3ff2a79d146a1dd115d580b2b4807783a0337

Pylinted jenkins-scripts

Fixes: #1855
Change-Id: I94114571322aed43bdfa083c1bc13a290e55974d

Added logs-collector script

This script copies,compresses Jenkins jobs logs aside to
JENKINS_HOME/logs-collected/ in order to save them
from Jenkins logs rotation which does not scale well

Change-Id: I0b46105db0ecb03e306512efde0b4f9da307683d

Remove Jenkins and OBS repos

Nothing in Services depends on Jenkins and OBS anymore, so it's safe to
remove their repos from .extra-repos.

Change-Id: I876fdcef4bac3b846db66f734743f293ff611a29
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Move dir-purge-tool script to base project from common

Change-Id: Icae81662e19be9677f39f2c5f232c04053b1a74e

Added directory purge tool

This shell script scans Tizen release directories, removes
entries old enough based on policy given by env.variables

Change-Id: I6ee22c578748d2f9ec1d93c5cdb4e119f978d812

Revert "Fix the aggregate packages are always broken state."

This reverts commit 0cc064af0bb38cb791c41cd621af0711788f0f8c.

Change-Id: I9e3139d7c6b4defcb2d3925626f8343be36f694d

Add OpenSUSE 13.1 repositories

Added OpenSUSE 13.1 repos to packaging/.extra-repos to support building
and testing for this distro with Jenkins.

Change-Id: Id5793ef7ff6f79224a8b464a95d1a87d1d0ec2ce
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Don't need import get_python_lib

Change-Id: I51b345d5c2d5452323d865054ae4b673becce797

job_re: Fix typo

Fixed typo in the otuput: rebuit->rebuilt

Change-Id: Id9b5c1694bb5983448f82265aa12d1a163e8d5cc
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Release 0.15.13

Updated version and changelog.

Change-Id: Ie3223001ac8a444979143c992969f93888e1aace

Rectify mistake that was allowing for GPLv3.

The code was always intended to be released under GPLv2 license, not GPLv3.
Removed the obscure part about GPL license version,
and make explicit statement to release under GPLv2.

Change-Id: I16c90f45d111675799fb38da76b6079664ff2062

Fix packages build/link issue in pre-project

For example
After crosswalk was split to two packages,
we always need to create the link manually
when there is a crosswalk submission.

Fixes: #2336

Change-Id: I2819f090d48fafdc2a649a8b38fcc692220a3786

Improve logging about image testablity.

Log also when the image is supported.
In both cases (supported/unsupported), log also the name of the image.

Change-Id: I3fde2a5525078810f4c65a5f916e3145b1d127d7

Make error message more explicative.

The paramters referred to in the error messsage are coming from
the environment, but it's not very evident.
Now it should be.

Change-Id: I1d61eed4d033e92ef44714ee970e212298fa492f

Fix check for name of folder with results.

Drops the old "tztestrobot" in favor of the new "aft".

Change-Id: I52c133485f2b639e81b549040f917cee0eb423e1

Fix checks and return values for image test.

In case of image either missing or not supported,
the test is wrong and the image name is not propagated.

Change-Id: Iff91d15c0e0c3ba5fe8b51c4a1299c6642a231a5

Explicitly return 0

Fixes one spurious semicolon and explicitly returns 0 on all the
exit paths.

Change-Id: I7b78d3cf5d65da8d9dacbc04a8aa35a66a5bdc84

Hack: add one empty test case to the empty results.

Jenkins will not consider the empty results.xml if it is
completely devoid of test results, so an empty test case is added.

Change-Id: I58cddf30ae5207be24fb751c9b373ae5846d4ffb

Provide empty test details when testing is not run.

The field for test details must be filled with an empty string,
when there are no details available, because the test was not
executed.

Change-Id: I2a0dc4d715942e622af88688cf642bfdc4a9989f

Fix the bug about accepting muliple packages.

When accept/reject group submission, jenkins will accepts/rejects
muliple packages. There are the different sourcepackages and targetpackages.
we shouldn't use the same sourcepackage and targetpackage to work,
when accept/reject. So add them into the matched project.

Change-Id: Ie2e17897a3548f750e12dd79fb8f75e11138c3bd

Copy maintainer to their prerelease projects

Fixes: #2297

Change-Id: Ibd006df0061a95f376d1130be4c18cf29bcceccb
Signed-off-by: Xu Chang <changx.xu@intel.com>

Fix comments formatting.

Change-Id: I91d94d3a27fc0d316fd199dca902947cb973ccb1

Improve Error handling.

In case some of the expected parameters is missing,
survive and report it.

Change-Id: I608947b2a387735911544cf6aa49d96ea74434f9

job_re: make output parseable

Output of job_re is parsed by post-build groovy script.

This change adds "Submission xxxx has been yyyy" to the output to make
the output always parseable.

Change-Id: I70ce4de990ffd076df068420f748e8da651bc516
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Implement locking and unlocking submissions

Implemented by disabling/enabling build globaly
for prerelease project.

Fixes: #2298

Change-Id: Ib7f072cd919b6495bb4a364fd9048031a7c8dddf
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

buildservice: Implement set_global_flag

Implemented enabling and disabling of global OBS flags
publish,build,useforbuild,debuginfo.

This functionality will be used in job_re for locking and
unlocking prerelease projects.

Change-Id: I272d77612515e944b7c5ef73af2c4998bdb3346c
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

job_re: implement rebuilding of submission

Implemented by triggering gbs service for specified package or
all packages found in submission.
This causes re-exporting of sources, which is detected by
OBS. OBS then rebuilds updated package(s).

Fixes: #2060

Change-Id: I05bbcadd0deee4f3a47d613b2bcb04b9e1dbd0b0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

job_re: implement removing submission

Implemented by removing prerelease project.

Fixes: #2307

Change-Id: I051f099f2f3cb859805e7b330934794cdc603f30
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add placehoders for new actions

Printed 'Not implemented' messages for 'rebuild' and 'remove' actions.
Raised exception for unsupported actions.

Change-Id: I1c5955030aa0fa9f8943dab33a41e9b6c3ee6fca

Rename job_accept_or_reject.py -> job_re.py

This script will be doing more than just accepting and rejecting
submissions. It will at least support rebuilding and removing
submissions. So it's better to give it more appropriate name.

Change-Id: I788c9acbcf3ae81fd2a7fd23c6acc00bd51a3ca8
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

buildservice: Add put_source_path API

Added new API put_source_path to put content using source OBS API.
This API will be used in job_sync_obs.

Change-Id: Ia4c7246b0f1e93c729bf9ced2c81aedbd4d5aa1e
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

buildservice: Add get_source_path API

Added new API get_source_path to get content from source OBS API.
This API will be used in job_sync_obs.

Modified get_src_file_content to use get_source_path
to avoid code duplication.

Change-Id: Ie2276c772544392e8b10d60813f54ffe287963b0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Add job_sync_obs script

Script syncs content of scm/meta/obs to OBS.
It's called from sync-obs job.

Script has a dry-run mode, which is turned on by configuration option
SYNC_OBS_DRYRUN=1 in jobs/configuration. In this mode it only prints
the difference, but does not sync it to OBS. This mode should be
turned on for first deployment.

Fixes: #1887

Change-Id: I1d6d0c3daa64b97f2bde9f9401b78a0aac65b777
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Use id of SR to get more info from OBS by osc api.

The upgraded OBS for 2.5 version will provide a few info,
it is less than previous version.But we need more info to
work in request job. We can request the osc api to
get more data by 'id'.

Fixes: #2075

Change-Id: I41b62a5a437a5fe375a1c19d9cfdb96c7fca1e78

Fix the bug about checking submit tag name.

If tag is 'submit/tizen/mobile/20141119.110835', we get the 'tizen' branch
by parsing the tag name. In fact, we should get 'tizen/mobile' branch.

Fixes: #2245

Change-Id: I89ba0ccef0ff823234c1604df7a828ac355453e9

Add a new doc about release note in JJ.

Fixes: #2259

Change-Id: I89797cf30a0da99bc0ee49546899a7a2830109e2

Fix the aggregate packages are always broken state.

In a prerelease project (not related to aggregate packages),
the aggregate packages linked from the main project are always
in broken state.Keep the meta of aggregate packages are the same
as the main project to solve it.

Change-Id: Iad5e7365150701fa832ed0b3f2de2d47c8acd927
Fixes: #2188

Catch GitRepositoryError exception.

When running git checkout is failed, it maybe raise a GitRepositoryError
in job_load_repos.yaml.py.It should be catched.

Fixes: #2144

Change-Id: I0e64a69c5dfe1ebc0e46d1007b7a6575a53959c5

Get csrftoken from login page

Since sign in form has been deleted from home page, and there is no
csrftoken on home page. So get it from login page.

Change-Id: Icedc51d8578f5a209089b43bfb9440640c95e42c

Add new function to replace the xml2obj

Change-Id: Id2d208fd2cfa9ab64e19827775bfdb852c650504

Add 2014 into the license title.

Change-Id: I9982b9f786e8f1b6b69411b7cd9160b0fe4d0b61

Add header of inbundle function xml2obj

Change-Id: I0190f83f571fc03e17800f371140871a139e4f6e
Signed-off-by: Lin Yang <lin.a.yang@intel.com>

Update the license to GPLv2

Change-Id: I905bb9e9baee9638a1daccd525d91c28144f3355
Fixes: #2231

Fix duplicate prefix on package version.

Duplicate prefix on package version on prerelease project.
Eg: The error prefix:
    Modello-Homescreen-0.0.2-20141111.000000.20141111.20141111.000000.1.1.noarch.rpm
    We should create the prefix, like this:
    Modello-Homescreen-0.0.2-20141111.000000.1.1.noarch.rpm

Fixes: #2218

Change-Id: Ie9d552628eefd799a4983c40b137585fba66cb40

Add download url, obs url to meta

Change-Id: If52205e06fd783debe3f780650d2ca3ddc26ffb3
Fixes: #1732

Make Pylint happier.

This patch removes a handful of pylint warning:
* indentations
* unused imports and variables

It also replace the error code with its symbolic counterpart,
to make the code more readable.

Change-Id: Ib4910068be77ca694632f7559bc105a012b7e68e