Templates for groovy init scripts

This is used for initializing JENKINS CI server after bootup.
Rename setup.properties.example to setup.properties file
and add required parameters to this property file.

No-operation if missing setup.properties file
or null parameters in each module.

Change-Id: I86faa7677f3e572db72e23a9d33491a7dbc5e2b5

Use python-mysql instead of python-mysqldb for opensuse

Change-Id: I05a0c5abd5f9397993f4b81f0e6ea5e7328f2a4d

Merge "sync to snapdiff package." into devel

Fix of not sending email noti for SR accept

Cause: OBS 2.7 did not generate OBS_SRCSRV_REQUEST_ACCEPTED.
Changes: Handle accept event in OBS_SRCSRV_REQUEST_STATECHANGE.

Change-Id: Ie2a3c05785dfacf7c0fcd63786821500e0d204d1

Merge "Fix of mic log copy" into devel

Fix of mic log copy

Change-Id: Id29fdc49b2f8b6af0fd2b72a742fae9bfa2d103c

Use separate mic.conf file for each build

By default, /var/tmp/mic/ will be used for mic tool.
If we run multiple mic on the same machine, this shared working directory lead to problem.
Fix: Use separate working directory controlled by configuration.
$ sudo mic cr auto -c { conf file } ...

Change-Id: I4bd7f1ed44e843134e7e7c517d285534c93839bf

Fix: Do not use internal url in OBS description

Change-Id: I8f4b2612fb19a5f226914a15b81021d1c45de5c6

Set proper package name in requests job

Change-Id: I8dfa13c96876f3f271a55f34705199e06e80171f

sync to snapdiff package.

Change-Id: Ie75daabc6d1c61ba3802040091adba7101df74b4
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Copy mic log if non-kvm environment

Change-Id: I17fb481499983f7c99e1a2a1822a670ee993a088

Merge "Separate internal gerrit hostname from public" into devel

Use internal url for python-jenkinsapi

Change-Id: Ie35abc413baa7449c5444ad09fa1fbf1fc91cf42

Separate internal gerrit hostname from public

Change-Id: I58fb35b6208eee5fe4549cff0dc16db62075396b

Merge "Fix install directory for scripts" into devel

Add nuget.exe for debian

Change-Id: I3057955b4cec3e21d359c078f6bcce8aa43f7b41

Fix install directory for scripts

Change-Id: Ide675cde45488152ccaee45229cd291a7ff4f3bf

Release 1.4.4

Change-Id: Ib4cd19299a30ef8c4e30680ba83d7e821e7059b0

Merge "[BuildMonitor] remove the 'REVOKED' check code" into devel

[BuildMonitor] remove the 'REVOKED' check code

remove the 'REVOKED' check code to avoid the duplicated excution
because 'Use STATECHANGE event for processing request' is applied

Change-Id: I9944ff099e53873c4f7f899bb45af14c3d66f2e2
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Use STATECHANGE event for processing request

Change-Id: Ie1a1c61e29e716904ecb16856cfcf53d4cfeadc9

[BuildMonitor] change curr_sr_status_id to multi_sr_status_id

PROBLEM:
  If a build break occur after SR accepted, the dashboard showed only one SR

ex)
  submit/tizen/xxxxxx.111111    Accepted
                               (Failed(I))
  submit/tizen/xxxxxx.222222    Accepted
                                (Imaging)
  submit/tizen/xxxxxx.333333    Accepted
                                (Imaging)

REASON:
  missing the multi_sr_status_id parts

SOLUTION:
  change curr_sr_status_id to multi_sr_status_id

Change-Id: I80c46a261c8dffa046ff36422e9fabeec61bf82e
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Update test information on target branch" into devel

Merge "Debian: Add missing files" into devel

Add image status check code to avoid unnecessary testing process

If any image fails then skip test trigger

Change-Id: I93c6077a40f45219ca74d7c5600959854501a490
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Do not update source of _link packages even if an SR is accepted." into devel

Merge "NEW FEATURE: packages build-triggered transitively" into devel

Fix missing the 'mobile-wayland-armv7l-tm1' image information

change the saveinfo to checkinfo

Change-Id: I0b1cf0f5ad62ee7d0ded573042c9413f3553712d
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Debian: Add missing files

Change-Id: If71363585e3201ef8f592ddbb743a251ea0ad23f

Update test information on target branch

Receiver can determine which branch the prerelease comes from.
For example, in case of Tizen:4.0 it will be "tizen".

Change-Id: Id480f1fbbe06eebc5d4d63dcfa48311a5a0b02c0

Merge "Add test trigger job for prerelease" into devel

Add test trigger job for prerelease

Use case scenario:
1) This job is triggered when all images are created successfully.
   (post-image-creation)
2) This job updates a file 'prerelease.description' using the description of the corresponding OBS project.
3) The above update triggers 'gerrit-trigger' in TRBS jenkins.
4) TRBS jenkins job triggers test-trigger.

Change-Id: I1ae0cdfc22a7a6b5e442cc4bf9982091be111f66

Requires python-mysql

Change-Id: I4fd79727475d3acc674e870cbb6decdc8abce870

Merge "Feature Request: Update NuGet Private package configuration : NUGET_SOURCE_PRIVATE" into devel

Merge "MySQLdb format error: (git_tag) -> (git_tag,)" into devel

Merge "[BuildMonitor] add the defensive code to update the img info on OBS desc properly" into devel

Feature Request: Update NuGet Private package
configuration : NUGET_SOURCE_PRIVATE

Change-Id: I8862875786e0e60ef06a05c68cd95beb2e99480a

MySQLdb format error: (git_tag) -> (git_tag,)

Change-Id: I6f215e9e9275b99c442f8482a814ea430a5edcd9

Do not update source of _link packages even if an SR is accepted.

Not updating _aggregate packages is applied in the previous commit.
A request from Tizen release team is received that _link packages
should not be updated as well.

Change-Id: Ie3eb4a9206c896b2eddcf11489d35e2d42cba465
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

NEW FEATURE: packages build-triggered transitively

This feature finds all packages build triggered by a package
transitively.

This means this feature finds all packages that can be built
if a package is changed.

Change-Id: I302285d693b56ff98a80e8d8527081c7bd06c452
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Release 1.4.3

Change-Id: I867a1a5d9dcf87272a7436d4375299b7958cd4cb

Update debian packaging files

Change-Id: I9ac6a82aafdececde6ca162d2c9240e5860285d8

[BuildMonitor] add the defensive code to update the img info on OBS desc properly

PROBLEM:
  Occasionally, at the step of 'post-image-creation'
    1. [Tizen:Wearable]
       If the exist image name on the OBS desc and the new image name are same
       then the old one is removed. In this case, BUILD-MONITOR(Post-image) is
       not triggered bcz the total image count is insufficient.

    2. [Tizen:Common]
       When using the OBS API to update the created image information simultaneously
       it does not work properly something like that among 19 images,
       only one image is missing on OBS desc.
       Same as above, the total iamge count is insufficient.

  These problems caused that the status stays 'Imaging' not to turn 'Succeeded'

SOLUTION:
1. add the 'repo' data to check not only the device name but also the image repo
2. add the polling count to retry the routine if failed to update_info

Change-Id: I8478af2a74b67fb3b7bb534bff70a4f6fe025fcb
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "FIX: manifest generation errors when no rpms exists" into devel

[BuildMonitor] Add to set the stage_status as 'S' at the 'Base' snapshot stage

1. [job_buildmonitor.py]
  Set the stage_status(PRE_SNAP & PRE_IMAGE / POST_SNAP & POST_IMAGE)
  as 'S(uccedded)' at the snapshot stage of 'Base' project

  << Modified functions >>
  1-1. Pre release part
    update_fail_status_for_sr_stage(...)
    end_pre_create_snapshot_for_sr_stage(...)

  1-2. Post release part (need 'multi_sr_status_id')
    update_fail_create_snapshot_for_sr_stage(...)
    end_create_snapshot_create_images_for_sr_stage(...)

2. [job_create_snapshot.py]
  2-1. Add to Skip [BUILD-MONITOR_Post_Image] if Base project
  2-2. Remove the legacy code ('buildmonibor_skip')

Change-Id: I2776abcc10436f778483181e839e888df44e15a3
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

BUGFIX: href link changed (full.php -> index.php)

Change-Id: I14fb6a26984ea7ac01f7441d54a75c95f98cb347
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "BUGFIX: snapshot -> snapshot_name" into devel

[BuildMonitor] fixed the incorrect status of Base project on dashboard

PROBLEM:
  On dashboard, the column of Base profile stays in 'Imaging' status

REASON:
  Originally, 'Base' project doesn't need to create the snapshot

SOLUTION:
  1. skip updating the fail status    at [Pre_Snap_Fail] stage
  2. skip inserting the snapshot info at [Pre_Sanp_End] stage

Change-Id: I1c7aca6e5476ab5c366a3347903d26d9f63ff75b
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Delete duplicate items for the abs and prerelease Delete prerelease items. Choice the abs item. Remove the duplicate function" into devel

BUGFIX: snapshot -> snapshot_name

Change-Id: I6a944a9d2a8557687fee5d90ff5dd800f5070f14
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Delete duplicate items for the abs and prerelease
Delete prerelease items. Choice the abs item.
Remove the duplicate function

Change-Id: I8f878eb33768e97397a7906542b94e45cd3f51ba

[BuildMonitor] apply bulk insert for [build_snapshot_package] table

[job_buildmonitor.py]
  1. put the information of build pkgs into query_list
  2. call do_many_query func

[buildmonitor_db.py]
  1. add 'do_many_query' func

Change-Id: I9966eec4870288060a6945a545bb5104e087182a
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "BUGFIX: %s -> {release_type}" into devel

BUGFIX: %s -> {release_type}

Change-Id: Ib91e36a3d71a8bd04d0fce4931917356f91311f1
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "release-snapshot can be triggered by Tizen dashboard" into devel

release-snapshot can be triggered by Tizen dashboard

PARAMETER CHANGED:
profile -> obs_project
version (NEW)

release-snapshot triggers BUILD-MONITOR with bm_stage RELEASE_SNAPSHOT

profile can be obtained from obs_project using snapshot-repo-conf
jenkins-jobs will be updated together.

Change-Id: I945be1756426c3c9b88a901d5cf1afa59b395c16
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "[BuildMonitor] change the method of getting the build_project_id" into devel

FIX: manifest generation errors when no rpms exists

Change-Id: I57c199b4475f85473aa14c5643f51121faade809

Merge "Mapping log prints" into devel

Merge "Do not perform the job if any queued item in the same job exists" into devel

Merge "Do not hide the dependency graph at the beginning." into devel

Mapping log prints

Change-Id: I3bad2b0b00bcf5c5211823c472f1624028b7f56d

[BuildMonitor] change the method of getting the build_project_id

1. change the method of getting the build_project_id
   to prevent getting the wrong build_project_id
   when there are too many jenkins jobs including the 'BUILD-MONITOR' job simultaneously

  [CHAGNED]
  1-1. # get last_bpid_of_build_snapshot
  1-2. # get post_build_project_id
  1-3. # use the prev last_bpid if there is no post_build_project_id (for manual trigger)

2. the query_data in some functions should be changed from 'project' to 'bm_snapshot_name'
   bcz of the above solution

3. clean up some codes
  3-1. replace the query_data from build_id to bm_snapshot_name
       to clarify the meaning of the snapshot name
  3-2. remove unused code

Change-Id: Ia659e8461b6ed0a0c2ad87e178bc96e12c3c1707
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Do not perform the job if any queued item in the same job exists

This job performs branch-project mappings for all git repos.
Therefore, it is okay to perform only the last job.
To do this, I added code to check 'queueItem' in this job.

Change-Id: I3ebfb1c1ba17d93412d58db658d93d513d7ddc64
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Do not hide the dependency graph at the beginning.

Change-Id: I2e83c2b9fb5ebc73f8195b2abe94992890c723fc
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Use the hardlink function to copy from snapshots to release
Release-snapshot job is very slow.

Change-Id: I75323893001a7e0d729d45f96961e6b832384d88

ADD LICENSE and use MAPPING_PRJ caching dir

MAPPING_PRJ caching directory is used directly instead of cloning.

Change-Id: I2890abc8bf2e2451ff98fb3adcff31cffcc38635
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "NEW JOB: update_git_obs_mapping_for_dashboard" into devel

NEW JOB: update_git_obs_mapping_for_dashboard

This job stores git-obs-mapping information by parsing
scm/git-obs-mapping for dashboard.

Change-Id: I5d1c63219d0b4cea59377b9bde27214f551f572a
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Create ABS prerelease project on the public

AS-IS: ABS prerelease was created SPIN infra.
TO-BE: It will go through the same flow as other prereleases.

Change-Id: I27ff57cc07d6b8ccbed43cf96e98c0ad7f37f3b9

Rules for find a specfile
First : must have a single specfile.
If we have a multi specfile
  1) first: search a basename specfile of git project
  2) second: search a first specfile of sorted the multi specfiles.

Change-Id: I2591f74f176ae60a9bbbfb359f65d3ff07942c82

Merge "BUGFIX: insert build_target_id if not present." into devel

Merge "NEWJOB: litmus_jira_issue_receiver and litmus_tct_file_receiver" into devel

Merge "Rename createrepo-c to createrepo_c" into devel

Rename createrepo-c to createrepo_c

Change-Id: Ib7061de3aff231aabb7c9eed4750ee1b937963b4

[BuildMonitor] disable the 'get_src_prj_lst' func & 'src_project empty check' part

PROBLEM:
  The projects which is registered at DROPPED_PRERELEASE_PROJECTS list
  are NOT inserted any tables. So when SR was accepted,
  Post_Snap_Start / Post_Snap_End job were failed
  bcz the related table doesn't exist

SOLUTION:
  disable the 'get_src_prj_lst' func & 'src_project empty check' part

Change-Id: I7767c3a5c098f043df60ab7f0823a755d66e5567
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Release 1.4.2

Change-Id: Ic58cafd1ae2c2c9f8e72db1ea0918f69a8d021b6

BUGFIX: insert build_target_id if not present.

Change-Id: Ib91aad86182e67cf27548e6195e677688fc600ba
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Enable OBS_use_specname feature
        <branch name="tizen" OBS_project="Tizen:Unified" OBS_staging_project="prerelease" OBS_use_specname="yes"/>

Change-Id: I791f309991d4a5802614bcd75af1cfc58010500c

Add NOT_ANNOTATED_MSG string

Change-Id: Ia1250306856ffb5adac3ed03745554aa5701fe26

NEWJOB: litmus_jira_issue_receiver and litmus_tct_file_receiver

These scripts are written by Jaekyu Park<jk7744.park@samsung.com>.

Change-Id: I3e77263ee617cf8ea76c28912f6ff5ae7bf63ed5
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Revert "Use the OBS_package name on Staging OBS project If a obs package has one spec file then there is use of OBS_package name in git-obs-mapping.xml ex)   To use : <project OBS_package="pkgmgr-server" name="platform/core/appfw/pkgmgr-server"/>"

This reverts commit 3de9b73de25d8a44eebec86aa196dabf86a98e42.

Change-Id: I50c8ace327eb7afe388372ca6dfb648f6e783a2a

Merge "    Add virtual branch mapping     Funtion: Prerelease     Rules : check for contains branch in prerelease     If the branch name of SR Tag is a virtual branch name, check the real branch name for git branchs. Remove contains branch mapping" into devel

Merge "Chage type from list to dict for mapping objects" into devel

Add virtual branch mapping
    Funtion: Prerelease
    Rules : check for contains branch in prerelease
    If the branch name of SR Tag is a virtual branch name, check the real branch name for git branchs.
Remove contains branch mapping

Change-Id: Id33a3542c41fd62a6385e71a836d99368f9ea41d

Insert package info if not present.

Change-Id: I57dedb072e751c0670104f7b0b05e2aa2a50901d
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Chage type from list to dict for mapping objects

1. Type change
2. Spec file check routine merge

Change-Id: I253846124c5717711e92c38f3d138723697226c5

Processing [TRBS]_UPDATE_BUILD_LOG

Change-Id: I2c8283699fb58c70e0fb1af2f25ac26287b48020
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

CHANGED: build fail check routine (bBuildFail)

Change-Id: I242a20a7e8379060368100bd36ab152913fef66a
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[BuildMonitor] Update unresolvable/broken status by buildmonitor

PROBLEM:
  If OBS generates unresolvable/broken events, too many
 events can be generated during building.

SOLUTION:
  To prohibit this, instead of OBS, snapshot jobs in Jenkins
 (pre-release-create and create-snapshot)
 update those build statuses.

Change-Id: I97ee4346d37c0919064b79173b7042c49dc7a4ae
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "NEW JOB: update_scm_meta_git_for_dashboard" into devel

[BuildMonitor] fix 'BUILD-MONITOR(Pre_Snap_End)' job incorrect order issue

PROBLEM:
'BUILD-MONITOR(Pre_Snap_End)' job is triggered by 'pre-release-create' job

the triggering order of Sender('pre-release-create') is always correct
but sometimes the executing order of Receiver('BUILD-MONITOR') is incorrect

SOLUTION:
add new TriggerBuilder for 'Pre_Snap_End' at the bottom
to make sure to execute in correct order

Change-Id: I5bf19acd70485bff780bea8e9628fd41e4679f26
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Move enable link project status for prerelease after enable the build flag
Sometimes prelease project status is present the build disable

Change-Id: I092c298b81d577b6cbcdc82512596ee095a54fcb

NEW JOB: update_scm_meta_git_for_dashboard

This job makes two mappings:
  1) mappings between git projects and gerrit domans
  2) mappings between gerrit domains and user-emails

This information is saved in JSON format.
This will be used in Tizen dashboard.

-- Previous version uses source management by Jenkins,
but it does not work properly.
Hence, it is changed to cloning git repositories manually.

Change-Id: I1198143e9f72a46807ffffb2d841f4c9c792c1dd
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "[BuildMonitor] fix 'BUILD-MONITOR(Post_Image)' job fail issue after 'SR Accept'" into devel

[BuildMonitor] fix 'BUILD-MONITOR(Post_Image)' job fail issue after 'SR Accept'

1. After 'SR Accept', occasionally,
   'BUILD-MONITOR' job which bm_stage is 'Post_Image' failed
   this is bcz env file is overlapped and
   the order of inserting the table_id is twisted

   So I fixed the trigger_next code

2. fix typo

Change-Id: I2714c58fd54fb46f3e0a891e8f330ea5a5f37c8e
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Verify that the SR was created on the correct branch
ex) Good SR
   $ git checkout tizen_3.0
   $ gbs submit -m 'Good SR'
 Bad SR
 $ git checkout tizen
 $ gbs submit --tag submit/tizen_3.0/{date}.{time} -m 'Bad SR'

Change-Id: I1560a18d7466d047fb1c4f25afd1563b2f1b8fbe

[BuildMonitor] fix to get the right bm_img_path when there are various img file formats

fix to get the right bm_img_path from 'manifest.json' file
when there are various img file formats

mic support various image file formats (*.tar.gz, *.bz2, etc)
some images in common profile are created by *.bz2

Change-Id: Id9506867062b418a61591e6b0556b361821fd2ac
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Update sr_stage table for testing" into devel

[BuildMonitor] revert add 'ORDER BY id desc LIMIT 1'

revet add 'ORDER BY id desc LIMIT 1' patch
this is not a root cause

===========================================================================
add 'ORDER BY id desc(ending) LIMIT 1' when selecting the build_snapshot_id
to prevent getting the wrong build_snapshot_id
===========================================================================

Change-Id: I131c06b8e9a6c3eea92711ae7de5573110b49ec4
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>