generate html format report

Change-Id: I14d2aae84e8179cb1715fd657ad942766370c156

save build report data as json data

The json data including:
build profile:
build arch:
Summary: total packages, succeeded packages, failed packages
         export error packages expansion error pkgs.
export error details:
expansion error details
build error/success details and logs.

Change-Id: I321783e11ce0529acfac78fc7d9b9a70bc7cb71d

bump to version 0.10 for gbs 0.19

Change-Id: Id5fc3743bb19e92da3758978ce71279c576781d8

fix using incorrect srpm and rpm hash to remove duplicated binary

Change-Id: I0cc3119bcb045f7bc1416d4454ab27e844edbbb1

remove previous rpm and srpm after build

Fixes: #1274

Change-Id: Ifeed295bac851e91d783a85fcf8edc8fcd27189e

skip comment out binary rpm

If packages are commented out using '#', depanneur will skip them.

Change-Id: Id9ab480526bd434edc721b23fbb8041597860c32

Check the real RPMs/SRPMs dir in chroot, instead of hardcode

For root user, the output dir of RPMs in chroot is /usr/src/packages/RPMS, not
/home/abuild/rpmbuild.
Get the output dir of RPMs/SRPMs using the following command
RPMs:  sudo chroot $BUILD_ROOT rpm --eval "%{_rpmdir}"
SRPMs: sudo chroot $BUILD_ROOT rpm --eval "%{_srcrpmdir}"

Fixes: #1326

Change-Id: I8fd79e2b67d9bb2e04274d8d563ed49038e820fa

Support ExportFilter

Take packages, which target arch compatiable with build system arch
into resolve packages pool, and make it can be found by dependency resolver.

Fixes: #1131

Change-Id: I2289bcf255bea2ff2ed96687d9cc67689ef7a248

fix packaging dir detect issue

packaging dir can contains multiple level directory, so use packaging_dir
to resolve package git dir is the correct way

Fixes: #1315

Change-Id: I1a0d894102e0e66c2fdff65bbbb1bdd3fe11b3e2

bump to version 0.9 for gbs 0.18

Change-Id: I29e90c52fdbc7a618b003d47ba41d670729c7110

packaging: switch to noarch

Depanneur doesn't contain anything arch-specific.

Change-Id: I900ca50c551c55e8b1f084860219379793d0d355
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Define the de-facto %opensuse_bs macro from OBS to be zero

The %opensuse_bs macro is virtually always defined in OBS prjconf.
Define this macro to be 0 in depanneur so that it can be used in spec
file to distinguish between local (e.g. "gbs build" or "rpmbuild") and
OBS server builds.

Change-Id: Iffdd917a7bc2a460d76f2e973498896cc9fd7b2a
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Add .gbp.conf

Change-Id: I7a77fa7a58dd96778162ae8864506fdd0bdc0930
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

extract dist name if .guessed_dist contails conf path

Change-Id: I9ee1300527b46771720a23fa232e0a01dca65c4a

Use dist conf file path instead of dist name

'--dist tizen --configdir=/tmp' is equivalent to '--dist=/tmp/tizen.conf',
which works well for qemu-kvm mode.

We plan to enable qemu-kvm mode in future.

Change-Id: I0b035e8a4d8c3851dba0b3e63620301653590d49

bump to version 0.8 for gbs 0.17

Change-Id: I6dffefa0d5af3c3242f492dbae3b3361953d4f94

Create debug packages by default

Always create debuginfo packages to align with the build system
and how it is configured. Packages that might build fine in gbs
right now will fail in OBS because of the different build options
and not being able to generate debug packages with gbs.

Signed-off-by: Anas Nashif <anas.nashif@intel.com>

get target arch from build conf if target is set

This fix the bug that different arch packages generated from gbs
and obs if 'Target:' set in build conf, eg:

    %ifarch i586
    Target: i686-tizen-linux
    %endif

    %ifarch armv7hl
    Target: armv7hl-tizen-linux
    %endif

    %ifarch armv7l
    Target: armv7l-tizen-linux
    %endif

In that case, obs will generated i686 package, but gbs will generated i586.

Change-Id: If879f364ba12db737714172e57c5566f7f7633d8

fix using high version pkg in different repo

Change-Id: I7ec16dc6ef420cd32fb0f3217034b85634fba48b

optimization: load dependency data in refresh_repo

Change-Id: I8be3dbcc1b3ff538fb7caeee69541c999c185169

bugfix: exit unexpectedly if circle exist

 - clean %expansion_errors before assign with %tmp_expansion_errors
 - exist only if @order is empty

Change-Id: Ibe99208be4128f1f56e8c291712031f855e3d0eb

Update semantic meaning of %pkgddeps to report circle in time

In the old design, %pkgddeps only contains package already ready to
be built, that means all it's build dependencies already there.
In that case, some circle will not be reportted earlier.

Now, we changed it, all packages will go into %pkgddeps, and find as
many dependencies as possible.

Change-Id: I766f6c8bef710a22f4906ffa9e8695161985bea1

bump to version 0.7 for gbs 0.16

Change-Id: I467e35697df650a58914aec06499b0879a6dce34

avoid export multiple times for same package

Change-Id: I90cea9d29d220cc15e53497dc883717adef5c710

fix wrong @deps which contain version info

if Buildrequires like "m4 >= 1.2", depanneur didn't remove version
info in @deps, so it may caused a wrong package dependency analysis.

Change-Id: Ic0e1bbf99c2fcc7835eec0fb48a208c6de5e2744

prereqs should be involved for dependency resolving

Pre-requires: Requirespre/Requirespost/PreReq should be considerred for
dependency resolving

Example:
  fake.spec contails:
    Requires(post):   systemd
    Requires(preun):  systemd
    Requires(postun): systemd

If systemd does not available in remote repo and localrepo, depanneur
should report expansion error, instead of executing building

Change-Id: Ice4dfae9a45325ef19d21e38378a2083ceafdb56

quote metacharacters in pattern to fix strip issue if metacharacters exist

Change-Id: Iced588ef2dcc7f96cb7181c41e987eb0e3c0c1f7

create a individual dir:BUILD-ROOTS for all build roots

create build roots under an individual dir, instead of GBS-ROOT/local.

In this way, developer can config 'BUILD-ROOTS' as tmpfs to speed up
local build.

Change-Id: Ibca2ca87a6f4d7acef22d2207eb592a152d62099

Add statistical data of each errors

Change-Id: I85804e38ad4052a7162064f4bf4ac822e9f09a5a

refine createrepo

 - add & update group and patterns file
 - use --update option to speed up updating repo

Change-Id: I8c2145efd7fedc16226a627f543d7ac1c3fc0f6b

optimization: break recursion if .git directory exist

without this patch, depanneur will scan all directory to find .git
dir, acturally, that's not needed, if .git exist, all dirs, with
same parent dir of .git, can be skipped.

Change-Id: I934695924edb288d7b3f3a00570b7d6bd341c0ef

critical performance fix: remove duplicate dependency packages

Without this patch, package dependency and reverse depedency resolving
will take about 1-2G memory while scanning 800 Tizen packages, and
after remove duplicated packages only ~2M.

Change-Id: I220c9cb69e726e2202f98273de5b8a5cb823745a

optimization: no need build %pkgdeps and %pkgrdeps if no --deps/--rdeps

Change-Id: I5efdd1143bd3d54f28f3da8bd21edf644d5d3fec

support creating -32bit/-64bit/-x86 rpms for other archs, #852

This option is just like --baselibs of build script

Change-Id: I1fa339a2217acb09c3e71a753f12a355f5fab117

depend on createrepo 0.9.8 to remove extra yum-3.2.29 dependency

Change-Id: I66ec6aa90a2484c4edc1fb5f175bd54a8787675b

fix a bug when spec file not exist

check spec file before push into @packs

Change-Id: I311208145252939b5e90916f43ae2ba8a7dd82b1

bump to version 0.6 for gbs 0.15

Change-Id: I76fb9b9fafaf2107d347a39213120ccde47a18ee

fix createrepo option error

Change-Id: Ic4c5d1292d4eaf1f525dd41dd6e9b9481bc5ff81

depend on new version of obs-build and createrepo

Change-Id: I7e43d2fceec7765e59980e25dbb1b2ac4163948f

Ger rid of security hole created by depanneur_sudo

Instead of using easily exploitable hole, made by depanneur_sudo
commands, needed to be run from root account added to sudoers file with
as much restrictions as possible .

Fixes: #TZPC-909

Change-Id: I41529ed471a2cc2aca1925b1b0edf25b979e80b3
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

bump to version 0.5 for gbs 0.14

Change-Id: Icb09742e9ba015a2d579ea2549f478d973aec622

Update --binary-list and add --binary-from-file two options. #720

Rename old --binary option to --binary-from-file and add a new
option --binary-list to accept a comma-separated string of packages
list to build.

Also remove useless option --build-all, which will always true
in gbs build. and previous logic of $buildall is wrong.

Change-Id: I73214fd58ae81d4d15616115602f5a905451892d

Check dependency circle before generating topological seq

Change-Id: If94527cc7b76bfe56ea30b02088982294457f8da

--deps and --rdeps support, #704

--rdeps: build specified packages and packages depend on them
--deps: build all specified packages and packages they depend on

Change-Id: I96b25c898d2901db8be86a414e0d1a158ed7941b

Check all mount point to build root, and list them all.

Change-Id: Ib9598d03aedd50906f129e1a9aaacc8212979d56

read /proc/self/mountinfo for mount info

the output of 'mount' command are differents for each distros(fedora/
openSUSE/ubuntu), but the format of /proc/self/mountinfo are the same,
and contains all info we need.

Change-Id: I428235b7a08ed666524c99d48a4645aa33663778

use sysconf() to get the number of processors

* use sysconf() to get the number of processors
* set jobs as $nprocessors * 2

Change-Id: Ib83100435f8a160400586f9a993fe46f22ad81dc

Add mounted source check to avoid being deleted unexpectlly, 580

Change-Id: Ifca30dcfb1c0f774b7715bd1e8aaffa78e661e02

bump to version 0.4

depend on new build >= 2012.10.10-tizen20130122

Change-Id: Ibca147e5e35e286dd9f23f5158475fea28cf560f

Check the exsistance of specfile for incremental build

Change-Id: I876dd23864c1bf517ddd124639f688a73575d566

Refine build behavior: don't depend on local copy, #535

* by default using git ls-files to search spec file
* only use local copy if --include-all specified
* set global $commit as 'HEAD' by default, which make some work
  flow more easier

Change-Id: I708a4d191ee74d91b730498e5f92cd3cd71b9eb0

use the processors number instead of hard code 4 to build

'build' can accept --jobs option to set the %jobs and %_smp_mflags
macros for rpm build, so the proper value should be the max number
of (number of system processors, 4)

Change-Id: I55a8111baf3ed04b99aef6865c39ac6e054af48a

Use --target option for build to build specified arch,#673

Change-Id: I36d5f8fd3b9dd485c235e791284da9fc39727f4f

modify depanneur_sudo and sudoers configure

* data/depanneur_sudo only support commands in depanneur:
  sudo "umount"|"mount"|"-E"|"mkdir"|"cp"|"rm"|"echo"
* date/gbs remove "Defaults targetpw" avoid inputing root passwd
  on ubuntu while using sudo xxx

Change-Id: Iebefe369e9ed5143d8b2e6e9f130e57ca8fce7be

Arch clean up, #654

Remove unsupportted arches, and only leave x86_64, i586, armv7l,
armv7hl, armv6l.

Update this map list:
i586 -> ["i686", "i586", "i486", "i386", "noarch"].

Change-Id: I8db3d0f453a969de51efaff83c7ef1fa2e4b7b6c

Add --no-patch-export option for source export, #594

Change-Id: I3b8dc811dd59a5cc1ad20a821c4e056e2802c1dd

add sudoer file to avoid input passwd while build

Add a sudoers file for gbs to avoid input passwd for developer
* add data/gbs (sudoers file)
  data/depanneur_sudo (bash script)
* update depanneur and Makefile

Change-Id: I43a2681c7dc17be58ad3f7b6ca1e51895260258c

Show the package name for arch incompatible warning

Change-Id: I26fe9e4e33d42debbeafb630dcc84b44391fcb78

use 'sudo echo' avoid request passwd everytime if NOPASSWD set

Change-Id: I203ad2384d758d4902d836a3ad78e38d226ff48f

Add archpolicies for supporting more x86 and arm archs

Change-Id: I7e22b8ec623316fbc2403187ee0e6deee93c71b0

update depends and bump to version 0.3

Change-Id: I6b1272608433d681b1b18f7da64540ff80d98ba4

Add --clean-repos option, #548

This option is used to cleanup local repos generated by 'gbs build'

If there're some old RPMs in 'gbs build's local repo, this option
can be used to clean up them.

Change-Id: I905c594d5b9c4b90cd5db8f382512072d74dd5b0

give warning if build arch not compatible, #552

Change-Id: I7d14fdbee434205c17996a77fc59ad46f8cefbe1

Warn user and try again if umount failed

* use lazy umount to avoid "device is busy" problem
* if umount failed, warn user and add -f to try again

Change-Id: I44bab019d41124002aa191d3d85649f553f016ba

No need archive tar ball for incremental build, #465

* add is_archive_filename() to check if SOURCE in spec is archive,
  only archive file can be considerd while creating fake tar ball
* parse local copy of spec file directly
* Create fake tarball for rpmbuild

Change-Id: I2a5d9909e8448eb2a54f17287c348faa33cf8b6b

Set signal handler before building packages

Change-Id: I800bbb5aa8f7e8320269b356b05aa88d08771869

x86_64 support, #527

Change-Id: I59d7919bfa17567c06efd007f19e0435ff28bbb2

Keep src rpm for each arch. #365

src rpm files built by different archs are also different, even in
file size. Move src rpm into each repo/$arch dir directly fix #365.

Change-Id: I3627b5ba04caf0ba459c9339b2b4b4fbbec11cd9

Merge remote-tracking branch 'origin/release-0.2.1' into devel

lock shared vars operations to avoid race condition

Basic workflow:

Main thread:
%to_build: all packages need to be built
%order: ready packages queue
<*> scheduler to resolve ready packages in time

shared data:
@done:
@building:

threads:
* Push packages from @building to @done
* Trigger local repo update

Change-Id: Ib48b1c5225a045a8bd3017ff8e0ea656ccc72c97

show build progress for multiple packages build

Change-Id: I86e34c28438fe6bb94bc2db3a44be4f11e4cbce7

Add --spec to support multi-spec project

--spec can only be used in building one project which contains
several spec files. Argument of --spec should be base file name.
If --commit is also given, depanneur should checkout spec file from
that specific commit to use.

Change-Id: Ie633e73f17a26b0e5b5353c3fd8c1408cea6d293

Add --define option. #540

Change-Id: I2a4d7fa38b2f82f7261e23702e146b1a231cdb06

Modify SUDOV_PERIOD smaller, fix #526

By default, sudo keeps the password in "memory" for 5 minutes (at
least on Fedora16 and openSUSE12.2). So if you build a big package,
you need input password again while build going, otherwise you will
get a chaos output.

Change-Id: Icfaa36c9aac70ac40df4d64b34bd0c4ee0b4cca4

Add more output info about building status

Change-Id: Ie7fd110cbac435e3a28dc1e4072abd1e663f8faa

Add --keep-packs to keep unused packages in buildroot, #516

Change-Id: If11f926ee3462e5822daace19d6e0e6d2ca6518b

use pkgddeps to resolve build order.

pkgdeps include indirect dependency and some pre-install
packges defined in build config, so use pkgdeps will make
dependency of packages with more unexpectted circle, pkgddeps
should be used to calculate build order

Change-Id: I952d53c6bd88542b2b6d45c1c37643c431cd806e

Show more complete RPM/SRPM package output path

* define two vars for rpm local repo patch and srpm repo path
* show complete rpm/srpm repo path

Change-Id: I3d10db28328d0ce86bf53798e6107f19aee2f2d3

bump to version 0.2.1

Update dependency: tizen-build >= 2012.10.10.1

Change-Id: Ib89981b76be5c4f6dc20145c09098da96883d071

noinit support

* Save build conf to build root for --noinit usage
* --noinit only support building one package
* don't go through scheduler for --noinit and --incremental build
* create a function sunmary_report() to report build status.

Change-Id: If3636458c8ed815231469480263b87d59ff43576

Support build RPM packages for incremental build

* call --short-circuit --stage=-bs to build PRMs
* copy RPMs to local repo
* make incremental build in scratch.{arch}.*

Change-Id: Idbe915bef86785776bfc755efb1399d232cd5f9a

Show local repo and build root info, #482

Change-Id: I8a45ba609f418c305416730361ab2c14e44016b0

Add --packagind-dir option

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

change ccache option as bool type

Change-Id: Ia21883b0d6817b3c3e2ebd367bc466913c56685f

bump up to version 0.2

Change-Id: I7c16247721283e80e9df8d8f70d2166e54ca8788

fix typo: lossing ';'

Change-Id: Ic852db81e3f0ed43574e6b0b8eae4cfe222d6098

depend on tizen-build-2012.10.10

From now on, our owned build will provide 'tizen-build-%{version}',
which can be used to distinguish upstream version, and let depanneur
to depend on our own build.

Change-Id: I7a2e066a6115841bd3b1280176b7126f97375665

Check circle and exit if circle exists, fix#457

* split expand_deps into two functions, one is for generating %repo
  and the other is calling Build::readdeps to get build deps
* generate pkgddeps, which is the direct dependency dict, and this
  structure can be used to check dependency circle
* use global $config, and don't need parse everytime

Note: only direct dependency can be used while checking circle.

Change-Id: I47e8374876e043b70b8e50ecf441bf3852d9a30a

Build spec files in ARGV

* If specify spec files in ARGV, build them
* If not, find spec files in $package_path and build
* If --buildall is on, build both of them
* In this way to support building one spec file(Fix #386)

Change-Id: Ide633e81e29b436bae61f03d8e7f8587a8a54b8c

Update dependency to use build-2012-10.10

Change-Id: I41344215acd2c6bd92d6cf7c1de244db87dcf7ad

return directly if specified specfile is not in a git project

Also change the msg type from debug to warning.

Change-Id: Ib147d051289842df355e0fc16ff1b461f8594251

Check return value of 'gbs export'

* Fix #403. Exit with no-zero if any error occurs.
* Show error summary at the end. There are three types of errors:
    exporting error, dependency error and rmpbuild error.

Change-Id: I42128c327266f6b4f215ed708fd8caf18452d829

Incremantal build on dir that contains only one packages

* Fix #400
* Record project base path of packages in %to_build, this base
    path will be used for mount command in incremental building
* Project base path can only be found in git style packages

Change-Id: I3412a6005d1f80c8b01544f705041e26d5150b1c

Only import getpw() when using User::pwent

Otherwise this module will overrite default function getpwuid()

Change-Id: I2bb07069204c8cc6f6b6b2f0644e8e14f68ae02e

run sudo -v outof scheduler in main thread

This also can fix an endless running error if sudo -v timeout in
sub threads

Change-Id: I3c23328279971784651281dfa57927dfd6787b3d

extend ~ in env variable

extend ~ of $ENV{'TIZEN_BUILD_ROOT'} for #485

Revert "Remove trailing slash for proxy env."

Sorry, but proxy settings and handling is not part of depanneur, fix it where it occurs.

This reverts commit c5c7b796ad5d67c6bf5fb0e9e7d1c7d7443ae4e7

add alarm to execute "sudo -v" periodly

Avoid inputing twice password when building a package last long
time, in main thread add alarm to execute "sudo -v" periodly.
fix #460

"^C" problem when multithreads stop at "sudo -v"

when multithreads stop at "sudo -v", you need input ^C more than
one time to terminate depanneur. The reason is main thread blocked
by "lock($DETACHING)" and it can't response to ^C immediately. So
use another lock variable "$SUDOV_LOCK" for "sudo -v".

Add --debug parameter to gbs export if debug on

Fix #402

Change-Id: I6b3e3d117b03a687e0d3408f3db5de5ae63555c6