Fix install directory for scripts

Change-Id: Ide675cde45488152ccaee45229cd291a7ff4f3bf

Release 1.4.4

Change-Id: Ib4cd19299a30ef8c4e30680ba83d7e821e7059b0

Merge "[BuildMonitor] remove the 'REVOKED' check code" into devel

[BuildMonitor] remove the 'REVOKED' check code

remove the 'REVOKED' check code to avoid the duplicated excution
because 'Use STATECHANGE event for processing request' is applied

Change-Id: I9944ff099e53873c4f7f899bb45af14c3d66f2e2
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Use STATECHANGE event for processing request

Change-Id: Ie1a1c61e29e716904ecb16856cfcf53d4cfeadc9

[BuildMonitor] change curr_sr_status_id to multi_sr_status_id

PROBLEM:
  If a build break occur after SR accepted, the dashboard showed only one SR

ex)
  submit/tizen/xxxxxx.111111    Accepted
                               (Failed(I))
  submit/tizen/xxxxxx.222222    Accepted
                                (Imaging)
  submit/tizen/xxxxxx.333333    Accepted
                                (Imaging)

REASON:
  missing the multi_sr_status_id parts

SOLUTION:
  change curr_sr_status_id to multi_sr_status_id

Change-Id: I80c46a261c8dffa046ff36422e9fabeec61bf82e
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Update test information on target branch" into devel

Merge "Debian: Add missing files" into devel

Add image status check code to avoid unnecessary testing process

If any image fails then skip test trigger

Change-Id: I93c6077a40f45219ca74d7c5600959854501a490
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Do not update source of _link packages even if an SR is accepted." into devel

Merge "NEW FEATURE: packages build-triggered transitively" into devel

Fix missing the 'mobile-wayland-armv7l-tm1' image information

change the saveinfo to checkinfo

Change-Id: I0b1cf0f5ad62ee7d0ded573042c9413f3553712d
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Debian: Add missing files

Change-Id: If71363585e3201ef8f592ddbb743a251ea0ad23f

Update test information on target branch

Receiver can determine which branch the prerelease comes from.
For example, in case of Tizen:4.0 it will be "tizen".

Change-Id: Id480f1fbbe06eebc5d4d63dcfa48311a5a0b02c0

Merge "Add test trigger job for prerelease" into devel

Add test trigger job for prerelease

Use case scenario:
1) This job is triggered when all images are created successfully.
   (post-image-creation)
2) This job updates a file 'prerelease.description' using the description of the corresponding OBS project.
3) The above update triggers 'gerrit-trigger' in TRBS jenkins.
4) TRBS jenkins job triggers test-trigger.

Change-Id: I1ae0cdfc22a7a6b5e442cc4bf9982091be111f66

Requires python-mysql

Change-Id: I4fd79727475d3acc674e870cbb6decdc8abce870

Merge "Feature Request: Update NuGet Private package configuration : NUGET_SOURCE_PRIVATE" into devel

Merge "MySQLdb format error: (git_tag) -> (git_tag,)" into devel

Merge "[BuildMonitor] add the defensive code to update the img info on OBS desc properly" into devel

Feature Request: Update NuGet Private package
configuration : NUGET_SOURCE_PRIVATE

Change-Id: I8862875786e0e60ef06a05c68cd95beb2e99480a

MySQLdb format error: (git_tag) -> (git_tag,)

Change-Id: I6f215e9e9275b99c442f8482a814ea430a5edcd9

Do not update source of _link packages even if an SR is accepted.

Not updating _aggregate packages is applied in the previous commit.
A request from Tizen release team is received that _link packages
should not be updated as well.

Change-Id: Ie3eb4a9206c896b2eddcf11489d35e2d42cba465
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

NEW FEATURE: packages build-triggered transitively

This feature finds all packages build triggered by a package
transitively.

This means this feature finds all packages that can be built
if a package is changed.

Change-Id: I302285d693b56ff98a80e8d8527081c7bd06c452
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Release 1.4.3

Change-Id: I867a1a5d9dcf87272a7436d4375299b7958cd4cb

Update debian packaging files

Change-Id: I9ac6a82aafdececde6ca162d2c9240e5860285d8

[BuildMonitor] add the defensive code to update the img info on OBS desc properly

PROBLEM:
  Occasionally, at the step of 'post-image-creation'
    1. [Tizen:Wearable]
       If the exist image name on the OBS desc and the new image name are same
       then the old one is removed. In this case, BUILD-MONITOR(Post-image) is
       not triggered bcz the total image count is insufficient.

    2. [Tizen:Common]
       When using the OBS API to update the created image information simultaneously
       it does not work properly something like that among 19 images,
       only one image is missing on OBS desc.
       Same as above, the total iamge count is insufficient.

  These problems caused that the status stays 'Imaging' not to turn 'Succeeded'

SOLUTION:
1. add the 'repo' data to check not only the device name but also the image repo
2. add the polling count to retry the routine if failed to update_info

Change-Id: I8478af2a74b67fb3b7bb534bff70a4f6fe025fcb
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "FIX: manifest generation errors when no rpms exists" into devel

[BuildMonitor] Add to set the stage_status as 'S' at the 'Base' snapshot stage

1. [job_buildmonitor.py]
  Set the stage_status(PRE_SNAP & PRE_IMAGE / POST_SNAP & POST_IMAGE)
  as 'S(uccedded)' at the snapshot stage of 'Base' project

  << Modified functions >>
  1-1. Pre release part
    update_fail_status_for_sr_stage(...)
    end_pre_create_snapshot_for_sr_stage(...)

  1-2. Post release part (need 'multi_sr_status_id')
    update_fail_create_snapshot_for_sr_stage(...)
    end_create_snapshot_create_images_for_sr_stage(...)

2. [job_create_snapshot.py]
  2-1. Add to Skip [BUILD-MONITOR_Post_Image] if Base project
  2-2. Remove the legacy code ('buildmonibor_skip')

Change-Id: I2776abcc10436f778483181e839e888df44e15a3
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

BUGFIX: href link changed (full.php -> index.php)

Change-Id: I14fb6a26984ea7ac01f7441d54a75c95f98cb347
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "BUGFIX: snapshot -> snapshot_name" into devel

[BuildMonitor] fixed the incorrect status of Base project on dashboard

PROBLEM:
  On dashboard, the column of Base profile stays in 'Imaging' status

REASON:
  Originally, 'Base' project doesn't need to create the snapshot

SOLUTION:
  1. skip updating the fail status    at [Pre_Snap_Fail] stage
  2. skip inserting the snapshot info at [Pre_Sanp_End] stage

Change-Id: I1c7aca6e5476ab5c366a3347903d26d9f63ff75b
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Delete duplicate items for the abs and prerelease Delete prerelease items. Choice the abs item. Remove the duplicate function" into devel

BUGFIX: snapshot -> snapshot_name

Change-Id: I6a944a9d2a8557687fee5d90ff5dd800f5070f14
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Delete duplicate items for the abs and prerelease
Delete prerelease items. Choice the abs item.
Remove the duplicate function

Change-Id: I8f878eb33768e97397a7906542b94e45cd3f51ba

[BuildMonitor] apply bulk insert for [build_snapshot_package] table

[job_buildmonitor.py]
  1. put the information of build pkgs into query_list
  2. call do_many_query func

[buildmonitor_db.py]
  1. add 'do_many_query' func

Change-Id: I9966eec4870288060a6945a545bb5104e087182a
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "BUGFIX: %s -> {release_type}" into devel

BUGFIX: %s -> {release_type}

Change-Id: Ib91e36a3d71a8bd04d0fce4931917356f91311f1
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "release-snapshot can be triggered by Tizen dashboard" into devel

release-snapshot can be triggered by Tizen dashboard

PARAMETER CHANGED:
profile -> obs_project
version (NEW)

release-snapshot triggers BUILD-MONITOR with bm_stage RELEASE_SNAPSHOT

profile can be obtained from obs_project using snapshot-repo-conf
jenkins-jobs will be updated together.

Change-Id: I945be1756426c3c9b88a901d5cf1afa59b395c16
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "[BuildMonitor] change the method of getting the build_project_id" into devel

FIX: manifest generation errors when no rpms exists

Change-Id: I57c199b4475f85473aa14c5643f51121faade809

Merge "Mapping log prints" into devel

Merge "Do not perform the job if any queued item in the same job exists" into devel

Merge "Do not hide the dependency graph at the beginning." into devel

Mapping log prints

Change-Id: I3bad2b0b00bcf5c5211823c472f1624028b7f56d

[BuildMonitor] change the method of getting the build_project_id

1. change the method of getting the build_project_id
   to prevent getting the wrong build_project_id
   when there are too many jenkins jobs including the 'BUILD-MONITOR' job simultaneously

  [CHAGNED]
  1-1. # get last_bpid_of_build_snapshot
  1-2. # get post_build_project_id
  1-3. # use the prev last_bpid if there is no post_build_project_id (for manual trigger)

2. the query_data in some functions should be changed from 'project' to 'bm_snapshot_name'
   bcz of the above solution

3. clean up some codes
  3-1. replace the query_data from build_id to bm_snapshot_name
       to clarify the meaning of the snapshot name
  3-2. remove unused code

Change-Id: Ia659e8461b6ed0a0c2ad87e178bc96e12c3c1707
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Do not perform the job if any queued item in the same job exists

This job performs branch-project mappings for all git repos.
Therefore, it is okay to perform only the last job.
To do this, I added code to check 'queueItem' in this job.

Change-Id: I3ebfb1c1ba17d93412d58db658d93d513d7ddc64
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Do not hide the dependency graph at the beginning.

Change-Id: I2e83c2b9fb5ebc73f8195b2abe94992890c723fc
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Use the hardlink function to copy from snapshots to release
Release-snapshot job is very slow.

Change-Id: I75323893001a7e0d729d45f96961e6b832384d88

ADD LICENSE and use MAPPING_PRJ caching dir

MAPPING_PRJ caching directory is used directly instead of cloning.

Change-Id: I2890abc8bf2e2451ff98fb3adcff31cffcc38635
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "NEW JOB: update_git_obs_mapping_for_dashboard" into devel

NEW JOB: update_git_obs_mapping_for_dashboard

This job stores git-obs-mapping information by parsing
scm/git-obs-mapping for dashboard.

Change-Id: I5d1c63219d0b4cea59377b9bde27214f551f572a
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Create ABS prerelease project on the public

AS-IS: ABS prerelease was created SPIN infra.
TO-BE: It will go through the same flow as other prereleases.

Change-Id: I27ff57cc07d6b8ccbed43cf96e98c0ad7f37f3b9

Rules for find a specfile
First : must have a single specfile.
If we have a multi specfile
  1) first: search a basename specfile of git project
  2) second: search a first specfile of sorted the multi specfiles.

Change-Id: I2591f74f176ae60a9bbbfb359f65d3ff07942c82

Merge "BUGFIX: insert build_target_id if not present." into devel

Merge "NEWJOB: litmus_jira_issue_receiver and litmus_tct_file_receiver" into devel

Merge "Rename createrepo-c to createrepo_c" into devel

Rename createrepo-c to createrepo_c

Change-Id: Ib7061de3aff231aabb7c9eed4750ee1b937963b4

[BuildMonitor] disable the 'get_src_prj_lst' func & 'src_project empty check' part

PROBLEM:
  The projects which is registered at DROPPED_PRERELEASE_PROJECTS list
  are NOT inserted any tables. So when SR was accepted,
  Post_Snap_Start / Post_Snap_End job were failed
  bcz the related table doesn't exist

SOLUTION:
  disable the 'get_src_prj_lst' func & 'src_project empty check' part

Change-Id: I7767c3a5c098f043df60ab7f0823a755d66e5567
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Release 1.4.2

Change-Id: Ic58cafd1ae2c2c9f8e72db1ea0918f69a8d021b6

BUGFIX: insert build_target_id if not present.

Change-Id: Ib91aad86182e67cf27548e6195e677688fc600ba
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Enable OBS_use_specname feature
        <branch name="tizen" OBS_project="Tizen:Unified" OBS_staging_project="prerelease" OBS_use_specname="yes"/>

Change-Id: I791f309991d4a5802614bcd75af1cfc58010500c

Add NOT_ANNOTATED_MSG string

Change-Id: Ia1250306856ffb5adac3ed03745554aa5701fe26

NEWJOB: litmus_jira_issue_receiver and litmus_tct_file_receiver

These scripts are written by Jaekyu Park<jk7744.park@samsung.com>.

Change-Id: I3e77263ee617cf8ea76c28912f6ff5ae7bf63ed5
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Revert "Use the OBS_package name on Staging OBS project If a obs package has one spec file then there is use of OBS_package name in git-obs-mapping.xml ex)   To use : <project OBS_package="pkgmgr-server" name="platform/core/appfw/pkgmgr-server"/>"

This reverts commit 3de9b73de25d8a44eebec86aa196dabf86a98e42.

Change-Id: I50c8ace327eb7afe388372ca6dfb648f6e783a2a

Merge "    Add virtual branch mapping     Funtion: Prerelease     Rules : check for contains branch in prerelease     If the branch name of SR Tag is a virtual branch name, check the real branch name for git branchs. Remove contains branch mapping" into devel

Merge "Chage type from list to dict for mapping objects" into devel

Add virtual branch mapping
    Funtion: Prerelease
    Rules : check for contains branch in prerelease
    If the branch name of SR Tag is a virtual branch name, check the real branch name for git branchs.
Remove contains branch mapping

Change-Id: Id33a3542c41fd62a6385e71a836d99368f9ea41d

Insert package info if not present.

Change-Id: I57dedb072e751c0670104f7b0b05e2aa2a50901d
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Chage type from list to dict for mapping objects

1. Type change
2. Spec file check routine merge

Change-Id: I253846124c5717711e92c38f3d138723697226c5

Processing [TRBS]_UPDATE_BUILD_LOG

Change-Id: I2c8283699fb58c70e0fb1af2f25ac26287b48020
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

CHANGED: build fail check routine (bBuildFail)

Change-Id: I242a20a7e8379060368100bd36ab152913fef66a
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[BuildMonitor] Update unresolvable/broken status by buildmonitor

PROBLEM:
  If OBS generates unresolvable/broken events, too many
 events can be generated during building.

SOLUTION:
  To prohibit this, instead of OBS, snapshot jobs in Jenkins
 (pre-release-create and create-snapshot)
 update those build statuses.

Change-Id: I97ee4346d37c0919064b79173b7042c49dc7a4ae
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "NEW JOB: update_scm_meta_git_for_dashboard" into devel

[BuildMonitor] fix 'BUILD-MONITOR(Pre_Snap_End)' job incorrect order issue

PROBLEM:
'BUILD-MONITOR(Pre_Snap_End)' job is triggered by 'pre-release-create' job

the triggering order of Sender('pre-release-create') is always correct
but sometimes the executing order of Receiver('BUILD-MONITOR') is incorrect

SOLUTION:
add new TriggerBuilder for 'Pre_Snap_End' at the bottom
to make sure to execute in correct order

Change-Id: I5bf19acd70485bff780bea8e9628fd41e4679f26
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Move enable link project status for prerelease after enable the build flag
Sometimes prelease project status is present the build disable

Change-Id: I092c298b81d577b6cbcdc82512596ee095a54fcb

NEW JOB: update_scm_meta_git_for_dashboard

This job makes two mappings:
  1) mappings between git projects and gerrit domans
  2) mappings between gerrit domains and user-emails

This information is saved in JSON format.
This will be used in Tizen dashboard.

-- Previous version uses source management by Jenkins,
but it does not work properly.
Hence, it is changed to cloning git repositories manually.

Change-Id: I1198143e9f72a46807ffffb2d841f4c9c792c1dd
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "[BuildMonitor] fix 'BUILD-MONITOR(Post_Image)' job fail issue after 'SR Accept'" into devel

[BuildMonitor] fix 'BUILD-MONITOR(Post_Image)' job fail issue after 'SR Accept'

1. After 'SR Accept', occasionally,
   'BUILD-MONITOR' job which bm_stage is 'Post_Image' failed
   this is bcz env file is overlapped and
   the order of inserting the table_id is twisted

   So I fixed the trigger_next code

2. fix typo

Change-Id: I2714c58fd54fb46f3e0a891e8f330ea5a5f37c8e
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Verify that the SR was created on the correct branch
ex) Good SR
   $ git checkout tizen_3.0
   $ gbs submit -m 'Good SR'
 Bad SR
 $ git checkout tizen
 $ gbs submit --tag submit/tizen_3.0/{date}.{time} -m 'Bad SR'

Change-Id: I1560a18d7466d047fb1c4f25afd1563b2f1b8fbe

[BuildMonitor] fix to get the right bm_img_path when there are various img file formats

fix to get the right bm_img_path from 'manifest.json' file
when there are various img file formats

mic support various image file formats (*.tar.gz, *.bz2, etc)
some images in common profile are created by *.bz2

Change-Id: Id9506867062b418a61591e6b0556b361821fd2ac
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Merge "Update sr_stage table for testing" into devel

[BuildMonitor] revert add 'ORDER BY id desc LIMIT 1'

revet add 'ORDER BY id desc LIMIT 1' patch
this is not a root cause

===========================================================================
add 'ORDER BY id desc(ending) LIMIT 1' when selecting the build_snapshot_id
to prevent getting the wrong build_snapshot_id
===========================================================================

Change-Id: I131c06b8e9a6c3eea92711ae7de5573110b49ec4
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Update sr_stage table for testing

Change-Id: Ia1aebaa766dc0aab52f4d62eac5964225277627d
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Merge "[BuildMonitor] clear the code after changing the build fail check method" into devel

[BuildMonitor] clear the code after changing the build fail check method

Change-Id: I8885c51ef937e0d069ce0ec4f2f74f3a9f68ae97
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

ADDED: inserting data to table trbs_smoke_suite_test

Fixed by Jaekyu Park

Change-Id: Ie5ee33f226779a1abdc6f88615bf737e5e7a8256
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[BuildMonitor] change the build fail check method

change the build fail check method from the status of [build_project] table
to bBuildFail which is passed over from snapshot job

Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Release 1.4.1

Do not remove xml files in directory 'depends'

Change-Id: I374ce7fe4137c603f36412e62fa9ae2c6d20f6e7
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Change the Raise error code when did not found image-configurations in prerelease
must continue to create images.

Change-Id: Idd1a6acc054906aa6ae3464aaa8cc0019873a139

[BuildMonitor] add 'ORDER BY id desc LIMIT 1'

add 'ORDER BY id desc(ending) LIMIT 1' when selecting the build_snapshot_id
to prevent getting the wrong build_snapshot_id

Change-Id: I6dcba6fbbcd2a4ef6c0dc2b3b1cfc596619efcad
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

Use the OBS_package name on Staging OBS project
If a obs package has one spec file then there is use of OBS_package name in git-obs-mapping.xml
ex)
  To use : <project OBS_package="pkgmgr-server" name="platform/core/appfw/pkgmgr-server"/>

If packaging directory contains multiply specfiles, use attribution OBS_package to specify the specfile name

Change-Id: I95ec8c134d8e6c02f125f9edfdb157d2837977fe

[BuildMonitor] Add the filter func to remove the dropped project

will be replaced 'prerelease' to 'trbs'
so the build status of the dropped prerelease projects
should not be shown at Tizen dashboard

add the filter func to remove the dropped project

Change-Id: Ide6cbc675135254047433afe05567f129b622fc6
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

ADDED: Script for the new job trbs_test_result_receiver

Change-Id: I3022c0f9209f87b6be172f56813808f67122acdd
Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[BuildMonitor] rollback to add "broken" status in common/buildservice.py

[PROBLEM]
The 'pre-release-create' job do not trigger image-creator job

error log : **FATAL: Build not successful. Skip creating images.

[REASON]
There is a *_aggregate pkg broken issue at prerelease project (already known issue)
After applying this patch, 'broken' status is uploaded to the description of OBS
and the jenkins job checks the 'broken' and do not trigger image-creator job

The agg broken issue is already fixed at TRBS, so this patch also is applied
But at PUBLIC, it's not fixed yet. So rollback this patch

Change-Id: Ifba6fbeebff702bfedc0608acdc02ca9e42e2b39
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

[BuildMonitor] Add the check condition of the pkg build_status

[job_buildmonitor.py]    - Add the check condition('broken' & 'unresolvable')
[common/buildservice.py] - Add the 'broken' when updating the obs description

Change-Id: Ic3844f13f548e826f9ae10b7b910ee3e0353491b
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

[BuildMonitor] BUGFIX : fix the status value

1. fix the status value of [build_image] & [sr_status_detail] tables

[build_image] table

 Before   | After
-------------------
'failed'  | 'F'
'success' | 'S'

[sr_status_detail] table

 Before   | After
-------------------
'ACCEPTED'| 'A'
'REVOKED' | 'R'

2. remove useless comment

Change-Id: I8464e31df57450f76fd1052f92037de3178bc267
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>

[BuildMonitor] Add the image-creation check routine

1. Add the image-creation check routine
   to check the completion of image-creation stage at Post-release

2. modifications
  [job_create_snapshot.py] triggering to 'BUILD-MONITOR-POST' job
  [job_buildmonitor.py] get the event & fill the status in the db

Change-Id: If4fa718f7d697b578d54b5e3222703c6e104d3a8
Signed-off-by: SungHun Hwang <sh0924.hwang@samsung.com>