Merge remote-tracking branch 'origin/devel' into release-20161231

Fix decoding error for git-obs-mapping list

Cause: contents are differ between Mapping V1 and V2
Fix: hard code item counts

Change-Id: Id3b37911b3bf3a3147b9435aedf62f0d3a59567c

Revert " solve create ks file error"

This reverts commit 76c09eae02c8088cfa96dd5b73d0afd6053a5c1f.

Merge "Drop prerelease if build flag is no in the mapping" into devel

Merge "[BuildMonitor] (multi-env, etc) sync up with job_trbs_obs.py of [TRBS]" into devel

Merge "Use xml parser instead of string operation for git-ref-mapping" into devel

 solve create ks file error

Change-Id: I90c975e67ace3eef52854d44dbd5129dc367d179
Signed-off-by: shuai.fu <shuai01.fu@samsung.com>

Use xml parser instead of string operation for git-ref-mapping

Change-Id: Ie83b4139aa7613e9aaa39174a5a6c0805dc883b9

[BuildMonitor] (multi-env, etc) sync up with job_trbs_obs.py of [TRBS]

1. divide the huge packages and triggering the multi jobs
   to avoid "argument too big" error in [Pre_Snap_Packages] and [Post_Snap_Packages] stage
2. sync up with the rest part of [Pre_Snap_Packages] stage
3. fixed the build_image fail check bug in build_image table at [Image] stage
4. if at least one fails among bulid images
   then skip updating the sr_stage as 'C' at [Post_Image] stage
   (it needed to fix the code of job_buildmonitor)

* describe the each stage per jenkins-scripts
<buildmonitor stage>     < job_xxx.py >              < job name >
[Pre_Snap_Packages]   => job_pre_releae_obs.py    => pre-release-create
[Post_Snap_Packages]  => job_create_snapshot.py   => create-snapshot
[Image]               => job_imager.py            => image-creator
[Post_Image]          => job_post_imager.py       => post-image-creation

Change-Id: I72cedb0980fbf7440dcc4175dc29ebdb6f02a80b
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Drop prerelease if build flag is no in the mapping

mapping.xml would be; <configure enable="true" build="no" />

Change-Id: I9f9ac38a6f40f43a49939c383355543c175f7de2

Merge "Revert "Verify that the SR was created on the correct branch"" into devel

Revert "Verify that the SR was created on the correct branch"

This reverts commit 13fe3c9941a07d74ed6980e055950f45e879107f.

Change-Id: Ia816a153b1b9d4a537992dec6aade65e5ae5e674

Merge "dependency graph is changed to read both OBS and DB status." into devel

Merge "[BuildMonitor] sync up with job_buildmonitor.py of TRBS" into devel

Merge "Verify that the SR was created on the correct branch" into devel

[BuildMonitor] sync up with job_buildmonitor.py of TRBS

1. change the build fail check method from build_target status to build_project status
2. disable old check method (if stable then remove this)
3. clear the previous tables when entering the duplicated build_snapshot_id
4. when build failed in [Snap] stage, skip the next step in [BUILD-MONITOR] jobs
5. when build image failed write to 'F' status of build_image table
6. some bugfixes & remove useless log

Change-Id: Ifee89697ac0b2d408e191da06e33f2708a1dd74a
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

dependency graph is changed to read both OBS and DB status.

Change-Id: I5729301c97d2db1a9f700e8facf2dbfca8c0f926
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Fix snapdiff sync error when daily repo base is not present and weekly repo base is not present.

Change-Id: I4955082e1ee7b01c7854ad1e13ed79053e11a799

Fix download_num in prerelease

Change-Id: I23e995573229010943f8de34a1366c51b312ba39

Do not set download_num in post release process

Change-Id: Ia6c9a4bed82a153fad5c1b6a5f3022e1d43a4764

Merge "Fix download_num in prerelease, Block image creation if build failed" into devel

Fix download_num in prerelease, Block image creation if build failed

Change-Id: I135f79f7f7f6d6ada3028ff2b044257fa11311ee

Cleanup repo directory when have a previous directory

Change-Id: Ie69a78384c970f6a62b1377ed69c80be7ea0ffb8

add lock/unlock function for the re.job
cmd: unlock cmd: lock

Change-Id: I9e22dae616a8ff3023dbc9399a5340c65c5a95ea

[BuildMonitor] support the trbs project and enable the multi env

1. support the trbs project
2. enable the multi env and rearrange the job order
3. fixed the bm_img_size error at job_imager.py

Change-Id: I90b09d7e233f5f9a704992e2cceb536b6406889c
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Now supports the action "build_progress"." into devel

Add download_num in a obs description. Block build info update if download_num mismatch

Change-Id: I1e18c38ee53fdbc93fb777aad16493a262e6cfc8

Now supports the action "build_progress".

"HOME" is changed to "WORKSPACE"

Change-Id: I3963d57fa5e736b5a6d33ebca1bffab0a0dd019d
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[BuildMonitor] bugfixes

1. change the get bm_img_size routine
2. add build_project_id temporarily

Change-Id: I38cdf6685420dc5319c869f71fd4f721c28533d9
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

[BuildMonitor] fix the TypeError bug at Python 2.7.8

Change-Id: I8912017fd147ea9acca52a6fef99221564093b2a
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

[BuildMonitor] delete the buildmonitor.py in common folder

Change-Id: I62a1470a889da0ba961e0e97c06242629514a53a
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

[BuildMonitor] change the monitoring method

1. structure
Before : module import & function call directly
After  : add new jenkins job named "BUILD-MONITOR" & trigger the job

2. change the buildmonitor file
Before : buildmonitor.py     in ~/jenkins-scripts/common folder
After  : job_buildmonitor.py in ~/jenkins-scripts        folder

3. modify the related jenkins job & spec files

Change-Id: I78afb496e10730acba84ca7d70825e319d419c2f
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Verify that the SR was created on the correct branch

Change-Id: I2d5d4768084bfe92ae012ce4d3db2726a4d20ace

Merge "A dependency graph is generated automatically using the jenkins job "make_dep_graph"." into devel

A dependency graph is generated automatically using the jenkins job "make_dep_graph".

The graph is generated in the four cases below:
1. When prerelease project is created (triggered by pre_release_gerrit).
  At this time, a build_progress graph is generated.
2. When prerelease project is published (triggered by pre_release_create->buildlogs).
  At this time, a dependency graph including only packages triggered by the SR is generated.
3. When an SR is accepted (triggered by request).
  At this time, a build_progress graph is generated.
4. When main project(e.g., Tizen:Mobile) is published (triggered by create_snapshot->buildlogs).
  At this time, a dependency graph for the main project is generated.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>
Conflicts:
job_post_image.py
packaging/jenkins-scripts.spec

Change-Id: I6706ff2da55d66f49afb56b14ae2107f67c1fca0
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[Buildmonitor] Added the build data logging parts for BuildMonitor

1. Added the build data logging parts in for BuildMonitor dashboard
   which can show the status of each build steps from beginning to the end

2. The related actions and python files are as below
  (1) gbs submit --------------- [job_submit.py]
  (2) [pre] packae build ------- [on OBS]
  (3) [pre] snapshot create ---- [job_pre_release_obs.py]
  (4) [pre] image creation  ---- [job_imager.py][job_post_imager.py]
  (5) SR accept or reject ------ [job_request.py]
  (6) [post] package build ----- [on OBS]
  (7) [post] snapshot creation - [job_create_snapshot.py]
  (8) [post] image creation ---- [job_imager.py]
  (9) Completed
  * pre : pre build / post : post build

3. The buildmonitor.py is the common interface file

Change-Id: Id97e8c5e131dc11713fdf58bbb0b794907cedaa1
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Update scripts because scm/meta/git system is changed" into devel

Skip updating ref-snapshot-info if no mapping exist

Change-Id: If95da95182bb601076d3a0f7a2a692c7e1d4fed3

Update scripts because scm/meta/git system is changed

Change-Id: I9477428527e899c967983badcdc2d767a5e375ff
Signed-off-by: Sehong Na <sehong.na@samsung.com>

ENABLED flag for git-ref-mapping update

Change-Id: If15e1bcfac222c7bf56ece8797b14790cf7590b0

Updating git-ref-mapping after release snapshot

Change-Id: I822f740afcbe5ed1e70a1e9ad884b75647b5160f

Add gitbuildstatus in Prerelease project

Change-Id: I6ed6e93182f732bbf9a5a033a27b88d5b82827d3

REPO_PUBLISHED event is generated only once when all repos are published. Delete chksnap option on prerelease project

Change-Id: Iecc5e89b4b7addebf956c3a3c2be4dded9d30392

Enable triggerring buildlogs even for prerelease projects.

Currently, creating a snapshot for prerelease projects (job_pre_release_obs.py)
does not trigger buildlogs unlike that for the main projects (job_create_snapshot.py).

To make a dependencey graph for prerelease projects, it is necessary to
include buildlogs job.

Change-Id: Iea5e1181a32e09efc8881aee02d8103b3587dca8
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Release 1.2

Change-Id: Ieeece29f354009bf4379e0820d1f45e90aecb5af

Merge "Modified to produce for the Prerelease Group SR." into devel

Trigger post-image-creation job with failed status if imager stucked
Problem: When image creation job stucked and aborted itself, post-image-creation job will not be called.
Fix: Prepare dummy failed trigger infomation. It will always trigger remaining job.

Change-Id: I8d73ff72ffdfd77f25133ac19b7d82b0db37bcfc

Modified to produce for the Prerelease
Group SR.

Normal operation
SR first build is complete, images created.
SR second build is complete, images created.

However, in the case of failure.
The problems do not stop with the first image produced does not create a second image.

Solution.
Modified to produce the first image and the second image can be generated.

Change-Id: Ibe3283040d56bed6e7ae68d682056edae012282e

Merge patches from devel branch

Change-Id: I781c26760af0e4b10e79df2e96a25cee30792754

Do not insert "CopyLinkedPackages: yes" multiple times.

Change-Id: I8d2f817c179596c780b1b0ff69d37f3f3fd820e2
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "Check existance of repo and image path for snapdiff" into devel

Check existance of repo and image path for snapdiff

Change-Id: Ic0d685c48cdd72847670a7950f14ca32a4b70a3e

disable check user in group

Change-Id: Ife810ce8740ec8d38b7bf2f73760ff9e1a61ef4e
Signed-off-by: Sehong Na <sehong.na@samsung.com>

Additional accepted action for re
Mismatch action parameter (accepted) between repa and re.

Change-Id: I0ed2656e4137545890a987df7ab8fa292c73c2f4

Add "\n" at the beginning of "CopyLinkedPackages: yes".

If "Rpmbuildstage: bb" does not have "\n" at the end of the string,
this could be possible "Rpmbuildstage: bbCopyLinkedPackages: yes".
Hence, just insert "\n" at the beginning.

Change-Id: I06fe5dba92c33c67b1f090503fd9d80a515e8765
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Preventing unnecessary package builds for prerelease projects.

For normal OBS projects, if the result binary for package PKG_A is not changed,
packages depending on PKG_A are not build due to build-compare package.

However, for prerelease projects, if a build is triggers for package PKG_A,
all packages depends on PKG_A are built in prerelease projects.

REASON
To perform build-compare, we need two rpms: oldrpm and newrpm.
However, for prerelease projects, there is no oldrpm since there is no rpms built for the prerelease project.

SOLUTION
Sym-link rpm files from the linked projects.
For example,
ln -s /srv/obs/build/Tizen:Mobile/arm-wayland/armv7l/libnl2/*.rpm /srv/obs/build/home:prerelease:Tizen:Mobile:submit:tizen:20160729.002907/arm-wayland/armv7l/libnl2

To do this, we have to change two things.
1. jenkins-script
To perform this functionality as an option, this functionality is performed only if "CopyLinkedPackages: yes" is in project config.
To do this, we have to change "job_submit.py" in jenkins-script.
"job_submit.py" adds "CopyLinkedPackages: yes" at the end of project config for prerelease projects.

2. bs_sched (OBS)
If "CopyLinkedPackages: yes" is found in project config, make a symbolic link for the package before this package is built.

Change-Id: I54ab531a8b8b73f1b7ea95cf0cd76c596954cc9a
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Revert: 4) 5) : Check Human Error about SR tag
    4) Check specfile exist under packaging
    5) Check parse specfile

Change-Id: I461480eaafd07b005fb1751cf262416c1740a3e3

fix for sending e-mail function error in job_submit.py

Change-Id: I032dd1534e1d6b29d7993e61fe5753056fa34d28

fix : fail to create daily,weekly reports file.

Change-Id: I0f3b7271e173c0b13a9d1b039fb6e71da7e1af79

Feature : Check Human Error about SR tag
1) check whether tag follow proper format : tag name format,date format
2) check whether tag is an annotated tag
3) Check if change is still under review
4) Check specfile exist under packaging
5) Check parse specfile
6) Report an e-mail message about the error to the submitter

Change-Id: Ibd722848e87c2148de730aa766c97883e842efca

Job : check_scm_meta_git
    Add new feature for using scm/meta/git.

Change-Id: I69a6e4de7a063e43645b009c963090b43d6f877e

Fix retrigger the images for the Group submit.
disable publish flag and default publish flag

Change-Id: I24ea9f4d74e30742c6cf300ab3922f2fb726e229

Prerelease - Get obs project info instead of request every packages

Change-Id: I8ee19c0860a0bf5654251f050df54da65b848965

exception images_count of the post image job

Change-Id: I65246df6be192ee62109fa9d92b83f9c975e1537

Fixed Notify email about reqeust author(Group submitter)
chage Build_id trigger to request_trigger_
change for jobs setting

Change-Id: I5d3c9d643665a83be7f16c49ed1f96733457ca01

update the info when images and images_count is same

Change-Id: I51d907c246c32ad769f8e8af22adc202c3b62c86

Merge "1) New workflow about Snapshot. 2) Add submitter on prorelease project. 3) Add chksnap option on prerelease project. 4) Unknown published status skipping prerelease repository creation as OBS" into devel

Job : check_scm_meta_git

Add new feature for using scm/meta/git.
It's submit type option in git-trees.
It's add checking syntax and applying to system related submit type option.

Change-Id: Iaeec73c57b30e4d47d8e3f901c0ed5c6ec3f32cf
Signed-off-by: Sehong Na <sehong.na@samsung.com>

1) New workflow about Snapshot.
2) Add submitter on prorelease project.
3) Add chksnap option on prerelease project.
4) Unknown published status skipping prerelease repository creation as OBS

Change-Id: Ie0a1b3fc43770b3c7e88f4747eb10d109027341d

Add new job 'check_scm_meta_git'. It's for using scm/meta/git.

- Synchronize meta data in scm/meta/git to gerrit system automatically.
- Check syntax & semantics about scm/meta/git.

Change-Id: I552f6a0011a7b977f6221e309d2127ef2d95905b
Signed-off-by: Sehong Na <sehong.na@samsung.com>

Add repo manifest file for ABS

Change-Id: Ib8aac2c21b06d8d3500446b9344754f67f792dab

exception to KeyError: linkedbuild of repo_element.attrib.pop()

Change-Id: Ic1dbbc2efdae235175810612249162c256aa62f1

1) Retry create_project(...) three times if it faild.
2) Merge person list then send meta update request only once. (instead of sending multiple requests)
Tested : Retry routine check OK.
Tested : Update meta for person check OK.

Change-Id: I7646b57dee077d3a2b2def4c0ef36e81c8eef04b

description : disable a build flag before upload service and enable a build flag after link project
    file : job_submit.py

Change-Id: Ic7052d4c01048c8693c28da5c19055b875fab5da

 Feature: Add rpmbuild stage options for prerelease job
Description : have to add PRERELEASE_RPMBUILD_STAGE in jobs/configuration
              PRERELEASE_RPMBUILD_STAGE = bb or PRERELEASE_RPMBUILD_STAGE = ba
            If you do not want to create the src.rpm file on OBS project, use a PRERELEASE_RPMBUILD_STAGE = bb

Change-Id: Ieb356b32dca5aa58526f1551a5184bf2efaa88ee

Merge "Revert "description : disable a build flag before upload service and enable a build flag after link project file : job_submit.py"" into devel

Revert "description : disable a build flag before upload service and enable a build flag after link project file : job_submit.py"

This reverts commit ec5ab866cd0621aed570ed9ef23cefbd21ddfb83.

Change-Id: I88fac5fc0ae3565746e08198f759498f88f63217

 modify to check sync_status value when Sync function doing

Change-Id: I6377d04cbeb651200064284c092926ad03ec4397

description : disable a build flag before upload service and enable a build flag after link project
file : job_submit.py

Change-Id: Icdbf9edac7da0cb31c6a4b7f7729cf1fb3dbff7a

retry sync function because of rsync error

Change-Id: I353a755c25105dbf3e3b0246748ad29233ff178e

Do not use 'Generates .files'
error : <urlopen error [Errno 101] Network is unreachable>

Change-Id: I28d1a0a6c955e54bab23cfdd01c1f80588fa558b

Feature : Generates .files which contains package name and its file list
make the images_files file.ex)tizen-3.0-tv_20160324.9_tv-emulator.files

Change-Id: I6477485b5ff7aeafb649e06c80ef8d483f4d81c9

1) add & update below funtion for the buildservice.py
----------------------------------------------------
update_buildstatus
update_info
link_projectDev
get_user_meta
create_copy_pac
get_dependson
show_upstream_rev
disable_build_flag
default_build_flag
2) Make file at packages depends & revision of OBS for the job_buildlog.py

Change-Id: I0d71f26ab270cd9ac54cdd48e2613963102856db

Delete Tizen older directories based on policy: modify to search all directory

Change-Id: Ia848a4ed16f0c3ed92079bed992e87017ecd8ad4

move project_src_rpm_cleanup in job_pre_release_obs.py

Change-Id: I2b9d7610b2e248ab53599ec2b9e791616c69695f

cleanup src.rpm files on Live repo. we don't used src.rpm files on prerelease project.

Change-Id: Idf8f79631fc79473f625cff3cc833084b315b42b

Release 1.1

Updated version, changelog and RELEASE_NOTES.

Change-Id: I3966f00d850ce941a48ab1862f6bf457d4731efb

Release 1.1

Updated version, changelog and RELEASE_NOTES.

Change-Id: I3966f00d850ce941a48ab1862f6bf457d4731efb

provide a multi branch name for the git-obs-map xml file. ex) <branch name="tizen,tizen_mobile" ...

Change-Id: I8f5e4573fb5224a5f0c434feb2f7582c85b09e03
(cherry picked from commit 5e89e677e0e4f01d1e9e330525a56cab3a0565ed)

provide a multi branch name for the git-obs-map xml file. ex) <branch name="tizen,tizen_mobile" ...

Change-Id: I8f5e4573fb5224a5f0c434feb2f7582c85b09e03

submitobs: Do not submit to projects using abs workflow

        Submitobs job should skip submission If staging project is set to
        abs in git-obs mapping

Change-Id: If1d8322d86d4fa2931db52bae28e85e06b36b878

Merge "Update git_obs_map function"

Update git_obs_map function

Change-Id: Id772dbc2629ec5479e92f952387c4740c2ffcd41

prerelease: get package name from xml files.

Change-Id: I1c88b02ca5b4fd6a3e02f9f7551403b77233fad6

Merge "submitobs: Do not submit to projects using abs workflow" into devel

Merge "Update git_obs_map function" into devel

submitobs: Do not submit to projects using abs workflow

        Submitobs job should skip submission If staging project is set to
        abs in git-obs mapping

Change-Id: If1d8322d86d4fa2931db52bae28e85e06b36b878

Update git_obs_map function

Change-Id: Id772dbc2629ec5479e92f952387c4740c2ffcd41

prerelease: get package name from xml files.

Change-Id: I1c88b02ca5b4fd6a3e02f9f7551403b77233fad6

Release 1.0

Updated version, changelog and RELEASE_NOTES.

Change-Id: Icee3ff2a79d146a1dd115d580b2b4807783a0337