sudoers.d/gbs modified to handle gbs chroot --mount param.

Change-Id: I2737acbfab70c2e9c2398cfc5822c9fb4cb7b9c5
Signed-off-by: Tomasz Olszak <olszak.tomasz@gmail.com>

Rudimentary support for the new orphan-packaging development model

Add a new --spec-commit command line option in order to support the new
package maintenance model of using separate packaging and devel
branches. In this model the packaging files (i.e. spec et al) must be
taken from other branch if the current branch is a development branch
(which only contains source code).

Change-Id: Ia8eb916dafd5bdc74c9b2d22591a8a36f6c11e95
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>
Signed-off-by: Zhang Qiang <qiang.z.zhang@intel.com>

bump to version 0.12 for gbs 0.21

Change-Id: If38717d7d7995436ce57347aa3023f175e436554

packaging: use gbp packaging service

Change-Id: I79930cbfea24dd2b7b7faba2cffd38afca1883ab

depend on new version of build

Change-Id: I42d002b551d7ffc0ba70c599c31d4fe9d018a8c3

Fix gbs build fails if packaging/ is a symlink

judge whether packaging dir is a symbolic link when search spec file
with git show commit:packaging_dir

Change-Id: I4f43271543fc22ed01f411d61b813c2b7cd56c9d
Signed-off-by: Yigang Wen <yigangx.wen@intel.com>

Refactor find spec part at beginning

Parse base dir in find spec before prepare_git

Change-Id: Iff91ecceed2d34af4c5f1c9a588f74ff5de63de1
Signed-off-by: Yigang Wen <yigangx.wen@intel.com>

Fix return fail when package skipped

Change-Id: I155aeccf4069011d79f93cad9f4f9ce5034cdfd9
Signed-off-by: Yigang Wen <yigangx.wen@intel.com>

Fix return true if build arch is not compatible

Fixes: #1494

Change-Id: Ieb6fc8dd0e9a2b001e9ded5f4ccc12a00fea13ff
Signed-off-by: Yigang Wen <yigangx.wen@intel.com>

Export more build output dir info to json meta data

With these extra data, third party tools can get these data more easier.

Change-Id: Id25876e8440c689c8d1c8769873e7c7b4c708568
Signed-off-by: Zhang Qiang <qiang.z.zhang@intel.com>

only create pipe if command output needed

This will make my_system more safe via avoid using pipe.

Change-Id: I386913ad4ee6be908004351628a47b370e96eae4

add start time in build-report

Change-Id: I8f7757e72500674ed058be8c38f43e6e6ef5e0f5

Add suffix .txt in build log

Adding .txt suffix can make build log opened directly from all browser

Change-Id: I7996b0efb8248932d33ed1466954959c9436bf2d

update dependency: adjust build provide info

Change-Id: I472cc19da1f6bc9754f2f7a32e95bafdd658a3f0

depend on tizen special initvm

for the tizen-initvm, we have made changes:
always register handler and don't check the existance of static binary.

In this way, it can does not depend on host qemu and only use qemu from
repos.

Change-Id: I063bf2c1f434a3464403f4f0853b064629a26684

bump version 0.11 for gbs 0.20

Change-Id: I06ac749348d988ff3e6bc7c63a5b3fcee03faddd

Add aarch64 support

Change-Id: Ic5afb7d18e7d4a052a0251e9bec2c669423f14b2

add succeeded pacakges summary

Change-Id: If1cc4c1723fa6d67b296c0c08d1d8ad6845658b9

remove BuildArch:noarch to build out correct target arch

%ifarch Conditional does not work with BuildArch:noarch, which should
be removed to make depanneur generated different arch on different arch
system, then %ifarch can work well.

Change-Id: I05e80a28d4aa6073b89ba12be45b1744757d64a3

bump to minor version  0.10.1

Change-Id: I8303f32fc0b99fc3b4c5ecf92f0f79f15735ce40

depend on upstream version of initvm

Change-Id: Iaa934db405e24c61730cbd21becafe1d82b298d8

Adjust output of final report

- always print dirs of rpm/srpm/build roots, even if some packages failed
- print build log dir

Change-Id: I55ecfe70880753b90d61e5a67fbd0de07fdd571c
Fixes: #1466

update dependency: build

For spec file add one more initvm, which is the only way for cross arm
build.

Change-Id: I60016c00e36ebc047027ef7cf0676825357f849c

show html format report path

User can use browser to open it directly, or user has to find it manually.

Change-Id: I57c9d8f12f2701bcb95fc04d966a5ac2a4c0f934
Signed-off-by: Zhang Qiang <qiang.z.zhang@intel.com>

Always generate build report

In the following cases, build report will also be generated:
 - all packages build succeeded
 - all packages failed with export error

Change-Id: I9cf8c3e66445079fb8d87a99450b50c3c26bb442

Save export error info to final report

Change-Id: I58b9c0b6d35547ad92357219dfe23661a980e036

update func my_system to get the output if needed

update function my_system to return the output of child process
according to the context.

Change-Id: I49d7adba181e3f31ee254c8f808672656eda6d10

Skip building package for excluded arch

ExcludeArch: %arm is defined in cross-arm-binutils.spec
gbs build should skip building this package if building for arm

Change-Id: I5aa76b84fe5bc0c6e761d825df4cd065db7eebd6

Update dependencies

depend on perl(JSON) and perl(HTML::Template)

Change-Id: Ic664754114c17372ea5b3caea3f1b14df772529e

generate html format report

Change-Id: I14d2aae84e8179cb1715fd657ad942766370c156

save build report data as json data

The json data including:
build profile:
build arch:
Summary: total packages, succeeded packages, failed packages
         export error packages expansion error pkgs.
export error details:
expansion error details
build error/success details and logs.

Change-Id: I321783e11ce0529acfac78fc7d9b9a70bc7cb71d

bump to version 0.10 for gbs 0.19

Change-Id: Id5fc3743bb19e92da3758978ce71279c576781d8

fix using incorrect srpm and rpm hash to remove duplicated binary

Change-Id: I0cc3119bcb045f7bc1416d4454ab27e844edbbb1

remove previous rpm and srpm after build

Fixes: #1274

Change-Id: Ifeed295bac851e91d783a85fcf8edc8fcd27189e

skip comment out binary rpm

If packages are commented out using '#', depanneur will skip them.

Change-Id: Id9ab480526bd434edc721b23fbb8041597860c32

Check the real RPMs/SRPMs dir in chroot, instead of hardcode

For root user, the output dir of RPMs in chroot is /usr/src/packages/RPMS, not
/home/abuild/rpmbuild.
Get the output dir of RPMs/SRPMs using the following command
RPMs:  sudo chroot $BUILD_ROOT rpm --eval "%{_rpmdir}"
SRPMs: sudo chroot $BUILD_ROOT rpm --eval "%{_srcrpmdir}"

Fixes: #1326

Change-Id: I8fd79e2b67d9bb2e04274d8d563ed49038e820fa

Support ExportFilter

Take packages, which target arch compatiable with build system arch
into resolve packages pool, and make it can be found by dependency resolver.

Fixes: #1131

Change-Id: I2289bcf255bea2ff2ed96687d9cc67689ef7a248

fix packaging dir detect issue

packaging dir can contains multiple level directory, so use packaging_dir
to resolve package git dir is the correct way

Fixes: #1315

Change-Id: I1a0d894102e0e66c2fdff65bbbb1bdd3fe11b3e2

bump to version 0.9 for gbs 0.18

Change-Id: I29e90c52fdbc7a618b003d47ba41d670729c7110

packaging: switch to noarch

Depanneur doesn't contain anything arch-specific.

Change-Id: I900ca50c551c55e8b1f084860219379793d0d355
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Define the de-facto %opensuse_bs macro from OBS to be zero

The %opensuse_bs macro is virtually always defined in OBS prjconf.
Define this macro to be 0 in depanneur so that it can be used in spec
file to distinguish between local (e.g. "gbs build" or "rpmbuild") and
OBS server builds.

Change-Id: Iffdd917a7bc2a460d76f2e973498896cc9fd7b2a
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Add .gbp.conf

Change-Id: I7a77fa7a58dd96778162ae8864506fdd0bdc0930
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

extract dist name if .guessed_dist contails conf path

Change-Id: I9ee1300527b46771720a23fa232e0a01dca65c4a

Use dist conf file path instead of dist name

'--dist tizen --configdir=/tmp' is equivalent to '--dist=/tmp/tizen.conf',
which works well for qemu-kvm mode.

We plan to enable qemu-kvm mode in future.

Change-Id: I0b035e8a4d8c3851dba0b3e63620301653590d49

bump to version 0.8 for gbs 0.17

Change-Id: I6dffefa0d5af3c3242f492dbae3b3361953d4f94

Create debug packages by default

Always create debuginfo packages to align with the build system
and how it is configured. Packages that might build fine in gbs
right now will fail in OBS because of the different build options
and not being able to generate debug packages with gbs.

Signed-off-by: Anas Nashif <anas.nashif@intel.com>

get target arch from build conf if target is set

This fix the bug that different arch packages generated from gbs
and obs if 'Target:' set in build conf, eg:

    %ifarch i586
    Target: i686-tizen-linux
    %endif

    %ifarch armv7hl
    Target: armv7hl-tizen-linux
    %endif

    %ifarch armv7l
    Target: armv7l-tizen-linux
    %endif

In that case, obs will generated i686 package, but gbs will generated i586.

Change-Id: If879f364ba12db737714172e57c5566f7f7633d8

fix using high version pkg in different repo

Change-Id: I7ec16dc6ef420cd32fb0f3217034b85634fba48b

optimization: load dependency data in refresh_repo

Change-Id: I8be3dbcc1b3ff538fb7caeee69541c999c185169

bugfix: exit unexpectedly if circle exist

 - clean %expansion_errors before assign with %tmp_expansion_errors
 - exist only if @order is empty

Change-Id: Ibe99208be4128f1f56e8c291712031f855e3d0eb

Update semantic meaning of %pkgddeps to report circle in time

In the old design, %pkgddeps only contains package already ready to
be built, that means all it's build dependencies already there.
In that case, some circle will not be reportted earlier.

Now, we changed it, all packages will go into %pkgddeps, and find as
many dependencies as possible.

Change-Id: I766f6c8bef710a22f4906ffa9e8695161985bea1

bump to version 0.7 for gbs 0.16

Change-Id: I467e35697df650a58914aec06499b0879a6dce34

avoid export multiple times for same package

Change-Id: I90cea9d29d220cc15e53497dc883717adef5c710

fix wrong @deps which contain version info

if Buildrequires like "m4 >= 1.2", depanneur didn't remove version
info in @deps, so it may caused a wrong package dependency analysis.

Change-Id: Ic0e1bbf99c2fcc7835eec0fb48a208c6de5e2744

prereqs should be involved for dependency resolving

Pre-requires: Requirespre/Requirespost/PreReq should be considerred for
dependency resolving

Example:
  fake.spec contails:
    Requires(post):   systemd
    Requires(preun):  systemd
    Requires(postun): systemd

If systemd does not available in remote repo and localrepo, depanneur
should report expansion error, instead of executing building

Change-Id: Ice4dfae9a45325ef19d21e38378a2083ceafdb56

quote metacharacters in pattern to fix strip issue if metacharacters exist

Change-Id: Iced588ef2dcc7f96cb7181c41e987eb0e3c0c1f7

create a individual dir:BUILD-ROOTS for all build roots

create build roots under an individual dir, instead of GBS-ROOT/local.

In this way, developer can config 'BUILD-ROOTS' as tmpfs to speed up
local build.

Change-Id: Ibca2ca87a6f4d7acef22d2207eb592a152d62099

Add statistical data of each errors

Change-Id: I85804e38ad4052a7162064f4bf4ac822e9f09a5a

refine createrepo

 - add & update group and patterns file
 - use --update option to speed up updating repo

Change-Id: I8c2145efd7fedc16226a627f543d7ac1c3fc0f6b

optimization: break recursion if .git directory exist

without this patch, depanneur will scan all directory to find .git
dir, acturally, that's not needed, if .git exist, all dirs, with
same parent dir of .git, can be skipped.

Change-Id: I934695924edb288d7b3f3a00570b7d6bd341c0ef

critical performance fix: remove duplicate dependency packages

Without this patch, package dependency and reverse depedency resolving
will take about 1-2G memory while scanning 800 Tizen packages, and
after remove duplicated packages only ~2M.

Change-Id: I220c9cb69e726e2202f98273de5b8a5cb823745a

optimization: no need build %pkgdeps and %pkgrdeps if no --deps/--rdeps

Change-Id: I5efdd1143bd3d54f28f3da8bd21edf644d5d3fec

support creating -32bit/-64bit/-x86 rpms for other archs, #852

This option is just like --baselibs of build script

Change-Id: I1fa339a2217acb09c3e71a753f12a355f5fab117

depend on createrepo 0.9.8 to remove extra yum-3.2.29 dependency

Change-Id: I66ec6aa90a2484c4edc1fb5f175bd54a8787675b

fix a bug when spec file not exist

check spec file before push into @packs

Change-Id: I311208145252939b5e90916f43ae2ba8a7dd82b1

bump to version 0.6 for gbs 0.15

Change-Id: I76fb9b9fafaf2107d347a39213120ccde47a18ee

fix createrepo option error

Change-Id: Ic4c5d1292d4eaf1f525dd41dd6e9b9481bc5ff81

depend on new version of obs-build and createrepo

Change-Id: I7e43d2fceec7765e59980e25dbb1b2ac4163948f

Ger rid of security hole created by depanneur_sudo

Instead of using easily exploitable hole, made by depanneur_sudo
commands, needed to be run from root account added to sudoers file with
as much restrictions as possible .

Fixes: #TZPC-909

Change-Id: I41529ed471a2cc2aca1925b1b0edf25b979e80b3
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

bump to version 0.5 for gbs 0.14

Change-Id: Icb09742e9ba015a2d579ea2549f478d973aec622

Update --binary-list and add --binary-from-file two options. #720

Rename old --binary option to --binary-from-file and add a new
option --binary-list to accept a comma-separated string of packages
list to build.

Also remove useless option --build-all, which will always true
in gbs build. and previous logic of $buildall is wrong.

Change-Id: I73214fd58ae81d4d15616115602f5a905451892d

Check dependency circle before generating topological seq

Change-Id: If94527cc7b76bfe56ea30b02088982294457f8da

--deps and --rdeps support, #704

--rdeps: build specified packages and packages depend on them
--deps: build all specified packages and packages they depend on

Change-Id: I96b25c898d2901db8be86a414e0d1a158ed7941b

Check all mount point to build root, and list them all.

Change-Id: Ib9598d03aedd50906f129e1a9aaacc8212979d56

read /proc/self/mountinfo for mount info

the output of 'mount' command are differents for each distros(fedora/
openSUSE/ubuntu), but the format of /proc/self/mountinfo are the same,
and contains all info we need.

Change-Id: I428235b7a08ed666524c99d48a4645aa33663778

use sysconf() to get the number of processors

* use sysconf() to get the number of processors
* set jobs as $nprocessors * 2

Change-Id: Ib83100435f8a160400586f9a993fe46f22ad81dc

Add mounted source check to avoid being deleted unexpectlly, 580

Change-Id: Ifca30dcfb1c0f774b7715bd1e8aaffa78e661e02

bump to version 0.4

depend on new build >= 2012.10.10-tizen20130122

Change-Id: Ibca147e5e35e286dd9f23f5158475fea28cf560f

Check the exsistance of specfile for incremental build

Change-Id: I876dd23864c1bf517ddd124639f688a73575d566

Refine build behavior: don't depend on local copy, #535

* by default using git ls-files to search spec file
* only use local copy if --include-all specified
* set global $commit as 'HEAD' by default, which make some work
  flow more easier

Change-Id: I708a4d191ee74d91b730498e5f92cd3cd71b9eb0

use the processors number instead of hard code 4 to build

'build' can accept --jobs option to set the %jobs and %_smp_mflags
macros for rpm build, so the proper value should be the max number
of (number of system processors, 4)

Change-Id: I55a8111baf3ed04b99aef6865c39ac6e054af48a

Use --target option for build to build specified arch,#673

Change-Id: I36d5f8fd3b9dd485c235e791284da9fc39727f4f

modify depanneur_sudo and sudoers configure

* data/depanneur_sudo only support commands in depanneur:
  sudo "umount"|"mount"|"-E"|"mkdir"|"cp"|"rm"|"echo"
* date/gbs remove "Defaults targetpw" avoid inputing root passwd
  on ubuntu while using sudo xxx

Change-Id: Iebefe369e9ed5143d8b2e6e9f130e57ca8fce7be

Arch clean up, #654

Remove unsupportted arches, and only leave x86_64, i586, armv7l,
armv7hl, armv6l.

Update this map list:
i586 -> ["i686", "i586", "i486", "i386", "noarch"].

Change-Id: I8db3d0f453a969de51efaff83c7ef1fa2e4b7b6c

Add --no-patch-export option for source export, #594

Change-Id: I3b8dc811dd59a5cc1ad20a821c4e056e2802c1dd

add sudoer file to avoid input passwd while build

Add a sudoers file for gbs to avoid input passwd for developer
* add data/gbs (sudoers file)
  data/depanneur_sudo (bash script)
* update depanneur and Makefile

Change-Id: I43a2681c7dc17be58ad3f7b6ca1e51895260258c

Show the package name for arch incompatible warning

Change-Id: I26fe9e4e33d42debbeafb630dcc84b44391fcb78

use 'sudo echo' avoid request passwd everytime if NOPASSWD set

Change-Id: I203ad2384d758d4902d836a3ad78e38d226ff48f

Add archpolicies for supporting more x86 and arm archs

Change-Id: I7e22b8ec623316fbc2403187ee0e6deee93c71b0

update depends and bump to version 0.3

Change-Id: I6b1272608433d681b1b18f7da64540ff80d98ba4

Add --clean-repos option, #548

This option is used to cleanup local repos generated by 'gbs build'

If there're some old RPMs in 'gbs build's local repo, this option
can be used to clean up them.

Change-Id: I905c594d5b9c4b90cd5db8f382512072d74dd5b0

give warning if build arch not compatible, #552

Change-Id: I7d14fdbee434205c17996a77fc59ad46f8cefbe1

Warn user and try again if umount failed

* use lazy umount to avoid "device is busy" problem
* if umount failed, warn user and add -f to try again

Change-Id: I44bab019d41124002aa191d3d85649f553f016ba

No need archive tar ball for incremental build, #465

* add is_archive_filename() to check if SOURCE in spec is archive,
  only archive file can be considerd while creating fake tar ball
* parse local copy of spec file directly
* Create fake tarball for rpmbuild

Change-Id: I2a5d9909e8448eb2a54f17287c348faa33cf8b6b

Set signal handler before building packages

Change-Id: I800bbb5aa8f7e8320269b356b05aa88d08771869

x86_64 support, #527

Change-Id: I59d7919bfa17567c06efd007f19e0435ff28bbb2

Keep src rpm for each arch. #365

src rpm files built by different archs are also different, even in
file size. Move src rpm into each repo/$arch dir directly fix #365.

Change-Id: I3627b5ba04caf0ba459c9339b2b4b4fbbec11cd9

Merge remote-tracking branch 'origin/release-0.2.1' into devel

lock shared vars operations to avoid race condition

Basic workflow:

Main thread:
%to_build: all packages need to be built
%order: ready packages queue
<*> scheduler to resolve ready packages in time

shared data:
@done:
@building:

threads:
* Push packages from @building to @done
* Trigger local repo update

Change-Id: Ib48b1c5225a045a8bd3017ff8e0ea656ccc72c97

show build progress for multiple packages build

Change-Id: I86e34c28438fe6bb94bc2db3a44be4f11e4cbce7