Python bindings dont need our debug.h for anything

Verify some properties of replaced and wrong-colored files (RhBug:528383)
- We can't verify any properties of replaced files, but we can and
  should still see if it exists at all.
- Files skipped due to wrong color are supposed to share some of
  the attributes with the file that got actually installed, such
  as permissions and whether it exists at all. Verify what we can
  instead of silently ignoring.

Take file state into account for file dependencies
- Files which are not installed, have been replaced or are of wrong
  color can not actually satisfy a dependency despite what the package's
  file list says.
- This prevents breaking the system despite seemingly correct dependencies
  in some situations, such as on multilib systems where a colored
  files can appear to be shared between primary and secondary architecture
  packages, but only the file from primary arch package is physically
  present, and removing the primary arch package would remove the
  file and silently break any dependencies on such files in practise.
  Similarly replaced files become owned by the replacing package in
  practise, so the original package whose files were replaced can no
  longer satisfy dependency on those files.

Clean up rpmfcExec()

Improve the dependency loop debug message a bit
- Fix one-off in the SCC numbering
- Fix wording to talk about number of external dependencies, not packages
- Show number of members in the SCC

Preferred color pkgs should be erased last
- On install we need to queue preferred colored pkgs before others
  to account for the way colored files get laid on disk. On erase,
  we need to revert this for the same reason. Most of the time
  dependencies take care of this, but the queue placement matters in
  cases such as RhBug:680261 where the order is not dependency-driven.

Clean up rpmgiGlobArgv() a bit
- Check for NULL early once to avoid having to deal with it later
- Check for rpmGlob() return code and only append on success
- Count args centrally on exit

Make peace with autoconf-2.68

Merge branch 'master' of ssh://rpm.org/srv/projects/rpm/git/rpm

Remove unused return code variable
- The return codes from these iteratator functions aren't interesting
  in this context, don't bother saving them either.

Don't bother storing irrelevant return codes
- PSM_NOTIFY doesn't return anything of interest, rpmdbSetIteratorRE()
  doesn't return errors for RPMMIRE_STRCMP and Fclose() errors we
  just can't do anything about (and we were throwing all these
  away anyhow)

Remove unused variable in debugedit

Don't bother checking for rasprintf() return codes in rpmProblemString()
- We dont check them elsewhere either and there's little that could
  actually fail here

Throw an exception from Fseek() errors in python rpmfd.seek()

Yet remove some unused variables to suppress warnings

Remove unused return code variable
- rpmdsRpmlib() can return errors but not really applicaple here

Remove pointless return code from handleInstInstalledFiles()
- There are no errors to return here... so it might as well be void

Remove unused return code variable
- None of the error exits from rpmdbSetIteratorRE() apply to the
  use in rpmtsInitIterator() so there's no point storing or checking
  its return

Eliminate unused variable
- We're not expecting anything in return from rpmtsNotify() in
  fsm either, so just ignore the returns...

Eliminate unused variables
- We're not expecting anything in return from rpmtsNotify() in psm,
  so just ignore the returns...

Eliminate pointless xx unused error code variable in rpmShowRC()
- An error here from rpmdsRpmlib() would be very much a "can't happen"
  situtation, and there's no point handling it in any special way,
  the loop will silently fall through anyway.

Return error codes from rpmdsRpmlib()
- It can fail with eg NULL dsp passed, might as well return something
  which also silences gcc

Make rpmspecQuery() return match the description
- It's supposed to return the number of errors, instead of silently
  ignoring errors from qva->qva_showPackage() to unused variable,
  count them. That qva->qva_showPackage() currently never returns
  errors is another story...

Remove unused xx error code variable
- headerDel() only fails if the tag doesn't exist in the header, which
  is not an error here. Nor could we return an error if it was...

Remove unused nowtm variable

Eliminate popt wtf'ery in rpmcliInit()
- In order to get inside the loop, rc has to be non-zero so the
  switch-case is just very very pointless (the whole check seems
  dubious but .. shrug)
- Remove unused optArg - if we don't look at it then no point
  retrieving it either

Actually propagare failure when addOrAppendListEntry() fails,
add missing headerGet() check.

Define variables in processBinaryPolicies() only if they are needed

Add missing exit status check for waitpid() while executing scriptlets

Remove leftover error case from the nineties
- rpmtsAddInstallElement() doesn't check for rpmlib() dependencies
  or anything like that, nor does it return 2 ever (anymore)

Eliminate unused-but-set warning from gcc on hashes without datatype
- b_addr is unused if HTDATATYPE isn't defined, more ifdef's yay
- Initialize the local variables on declaration to save one ifdef

Eliminate useless 'I dont care about the return code' variables in tagnames

Eliminate unused variable + calculations in pgpPubkeyFingerprint()

Fix uninitialized variable in fsm

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Silence error callback during from BDB during environment open
- EACCES from actually opening the environment is returned only
  through dbenv->open() return code, but annoyingly the EACCESS
  from trying to create a missing environment is "leaked" to the
  errcall, causing pesky "permission denied" errors for regular users
  if the environment doesn't (yet) exist. Enable errcall in time
  for dbenv->failchk() though to get all the details if something
  goes wrong there.

Tag reservation for MeeGo's security framework (from Tero Aho)
- As per http://lists.rpm.org/pipermail/rpm-maint/2011-January/002988.html,
  reserving the MSSF tags (but marked unimplemented for now)

Mention %bcond_with* in conditional build doc.

Man page syntax fixes.

Documentation spelling fixes.

Fix db cursor double-open, causing yum to hang on reinstall (RhBug:678644)
- A refactoring error in commit 475391dc581bf5ba72b6d59d16d875505b45bd51
  causes us to open a double cursor on the Package db. This doesn't
  seem to affect much in rpm context, but Yum is being naughty and holding
  two different handles to the same db simultaneously, which causes
  to deadlock on trying to lock the same record twice from two different
  handles .. or something to that effect.

Fix braindamage in the depgen helper collector loop (RhBug:675002)
- Read any remaining data before exiting on SIGCHLD
- Only perform one read() per loop, otherwise it could block
- Handle EINTR while read()'ing

Allow both string + unicode in python addInstall() / addErase()

Allow installation of self-conflicting packages (ticket #806, RhBug:651951)
- Besides fixing the stupid situation where we happily create package(s)
  that can under no circumstances be installed, this makes it possible
  to create "singleton" packages which can be useful in some cases, eg
  http://lists.rpm.org/pipermail/rpm-maint/2010-April/002719.html

Fix corner-case behavior on dependency matching when release not present
- The idea behind the patch is that a missing release is handled
  as "all/any release". Nothing changes for "foo < 1.2" or
  "foo > 1.2", it still just compares the version. But "foo = 1.2"
  means "everything with version 1.2". Thus, any match against
  a package with version "1.2" a any non-empty release must
  return true.
- Update test-suite expectations to the new behavior.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Allow uncompressed payload in packages
- An example of a package where uncompressed payload is useful is
  out "installation-images" package. It's a meta package that is
  not shipped to customers, but used for image creation purposes.
  Compression just slows down the build process.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Import the C-level ts python object as TransactionSetCore
- The previous _rpmts name suggests its some scary internal stuff
  that shouldn't be used when that's not the case, it's just a
  lower level interface to the same thing.

Avoid emitting empty perl() module deps.

Test case from DOM.pm (perl-CSS-DOM 0.13):

use   # to keep CPANTS happy :-)
   strict;
use   # same here
   warnings;

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Callback argument mismatch from previous commit, meh

Add + use a db error callback function
- Commit 7309f7498134f7b62f27624a4cdb91e1c6b82578 caused loss of
  some BDB error messages due misreading the docs: we used to explicitly
  set errfile to stderr through some hoops, and errcall to what
  always was NULL. But calling set_errcall() disables any output to
  the db errfile, and since we're no longer calling errfile...
- Removing the set_errcall() would restore output on stderr, but
  making it go through rpmlog() seems more consistent and lets
  API users catch it through rpmlog callback (in theory at least)

Fix segfault when building more than one rpm (RhBug:675565)
- Remember to set the static string cache pointer to NULL on free, duh

Adjust OCaml detection rule for libmagic 5.04 -> 5.05 string change

Mark the identical signature warning as translatable

Argh, yet more mono dependency generation braindamage
- Unlike some other scripts, mono-find-foo do not have .sh suffix, meh

Eww, mono rules both buggy AND missing from tarballs, doh.

Comment spelling fix.

Signed-off-by: Panu Matilainen <pmatilai@redhat.com>

Add an error message + comments on open(".") behavior (RhBug:672576)
- Bail out early and complain if current directory can't be open()'ed,
  as we'll need it for reliable cwd restoration after running Lua
  scripts.
- Technically we'd only need open(".") succeeding for chroot operations
  and running Lua-scripts, but there's no easy way to determine whether
  a transaction will run Lua-scripts. They could be in-db triggers
  which will only be evaluated in the middle of transaction, better
  to fail early for consistent behavior.

Teach rpm about post-transaction dependencies
- %posttrans dependencies have their own peculiar semantics, they're
  install-only dependencies which have no implications on ordering.

Don't try to remove existing environment when using private environment

Plug potential division by zero in the rpmdb size calculation (RhBug:671056)
- This smells like treating the symptom instead of the disease, add
  a reminder comment to figure out what's going on here...

Fix rpmdb index match iteration termination with NULL keyp (#671149)
- When iterating secondary indexes with NULL keyp, the last entry
  was being returned twice as dbiAppendSet() would get called
  even when dbiGet() returned non-zero.

Avoid automatic index generation on db rebuild
- The rebuild walks through it all anyway, calling buildIndexes()
  while in middle of db rebuild ends up in first header added
  twice to indexes

Fix python documentation wrt dbIndex()

Restore default SIGPIPE handling for build scriptlets (RhBug:651463)

Permit queries from rpmdb on read-only media (RhBug:671200)

Add switch to allow printing only soname dependencies to elfdeps helper

Fix rpmsign --key-id popt alias typo

Honor --root in rpmkeys too

Hide --verifydb switch again
- It got exposed in the rpmdb tool splitup, but the functionality in
  it's current form is still just as dubious as it always was, hide
  it out of sight again.

Tweak up BDB flags to avoid breakage from --verifydb
- db->verify() has semantics unlike anything else in BDB and does
  strange things to a shared environment (causes persistent ENOMEM
  failures in the environment after a couple of attemps). Use a private
  environment and no CDB when verifying.
- The whole --verifydb is rather useless, perhaps the better option
  would be deleting the lot...

Update translations yet again to pick up string removals

A largish man-page update
- Remove rpmquery and rpmverify manuals for now, the functionality
  didn't get split to separate binaries afterall and the manpages
  were in a rather bad shape afterall.
- Add some missing options, remove no longer existing options
- Remove rpmdb, rpmkeys, rpmsign and rpmspec related switches from
  man rpm manual, add them to the "see also"-section instead
- Adjust database file list on main rpm manual, remove it from rpmbuild man.

Bump up default BDB cache- and allowed mmap size considerably
- The former defaults come from nearly a decade ago, things have
  changed a bit since then... Even BDB's own default cache size is
  much larger (8MB) now than what we've been setting.
- Using 64MB cache improves cache hit rate (and performance) massively.
  Last-gasp default to roughly BDB's own current defaults, higher
  settings in the default macro setup.

Require %files section for package generation again
- Turns out this change does more harm than good, people are actually
  relying on this behavior to avoid zillion conditionals in the spec.
  We'll want a saner way to conditionally disable/enable packages
  but until we have that, revert to the former longstanding behavior.
- This effectively reverts commit d010ec1c9026b35f5b2521be965c03c826894ce8

Only sepolicy-plugin needs linking to libsemanage

Make rpmplugins.h private for now
- We'll probably want to make some changes to the plugin type system
  before considered "ready", the current plugin slots are limited
  to 32 and Meego folks apparently want to use a largish number
  of slots. So we might want something like separate plugin type
  (collection, security... etc) and then have 32 slots per each type.
  Making this private for now to avoid having to potentially break
  the API shortly after introduction.

Move rpmtsSELabelFoo() functions to an internal-only header
- The sepolicy plugin needs them so the symbols can't be hidden, but
  these are not something external API-users should be messing with.
- Ultimately we'll want to push the actual labeling from FSM to
  the plugin, insulating rpm from all SELinux specifics, this is
  just a band-aid temporary "solution" to keep this out of the API.

Free up a bunch of bits from rpmtransFlags_e
- With all this unused junk gone from the bitfield, we suddenly
  have plenty of bits to play with...
- Preserving the symbols, just defined to 0, to avoid unnecessarily
  breaking compilation of stuff that refers to the old
  unused/unimplemented flags

Mark two more unused rpmts flags as such

Rip the remains of --aid and --nosuggest, except for the callback
- Only thing ever using RPMTRANS_FLAG_ADDINDEPS and _NOSUGGEST was
  rpm itself, and we haven't had an in-rpm implementation for this
  since the broken "rpmdb as repo format" was ripped out in 4.6.0.
  We dont need these special flags to support the operation anyway,
  IF somebody sets the solve callback, it will be used and the one
  implementing the callback gets to deal with whether those bits
  should be added to transaction or not.

Rip the stillborn, broken apply/commit transaction goo
- This was beginnings of something ten years ago, and that something
  was long since abandoned. These never did anything useful
  that --justdb/--noscripts wouldn't do.

Yet another pile of depmatch tests + added commentary

Add pile of further dependency match testcases
- Test for provide ranges, versionless dependencies and different names
- Tabify the test-table for readability + editability

Add a pile of dependency matching tests for "obvious" cases

Move python test-suite macros to local.at, rename
- We'll want to use these in other test parts than just python. Make
  available everywhere and use "namespace" to avoid potential future
  clashes.

Permit comparison operator strings (<, >= etc) in python ds constructor
- Creating ('foo', '>=', '1.2') dependency is much nicer than
  or'ing rpm.RPMSENSE_FOO for flags. Allow (but validate) the string
  usage, ints get passed as is.

Unbreak file user/groupname handling in build
- Fixes regression from commit a2d002a34bc567e8ce88c9ed30270d55d7c904fd,
  the librpmbuild "name cache" was used for unique string storage too
  and not just user/group-info lookup cache, duh.
- At least for now, making this separation explicit in the code
  by separating the "stash this string" operation from the actual
  user/group lookups.

Add a "unique string cache" to rpmug
- Used for storing unique strings just once

Support GetEntry() for hashes without datatype too

Eliminate ancient dependency loop whiteout mechanism
- Nobody has been relying on this for ages, and with the new ordering
  code since rpm 4.8.x loops are handled much more gracefully than
  before. RIP.

Update translations to pick up dropped messages

Remove the now unused user/group caching code

Unify the user+group caching between librpm and librpmbuild
- The build version has getUidS() and getGidS() for which there is
  no counterpart in the rpmug api but there's not much point to them:
  they check whether the user/groupname exists but return our own
  string back to us even if it doesn't.
- The build version also caches more than current rpmug, but has an ugly
  hardwired limit causing (in theory) errors that can't be nicely
  handled, and is the last piece relying on RPMLOG_CRIT actually
  terminating the process. The librpm version doesn't fail, in the
  worst case its just a bit slower. And that can be fixed anytime by
  making it to use hash tables for caching.

Split user+group caching to separate source (again), rename
- We'll want to unify this and the similar caching done in librpmbuild,
  so we need to expose these in the ABI at least, rename to get
  them namespaced and use a separate source module (again) as
  this is a pretty distinct functionality.
- This would really belong to librpmio but leaving here for now...

Remove hardcoded lock and mail group id's
- Rpm has no business making assumptions about arbitrary group id's,
  if these are not available through getgrname() when needed,
  that's a packaging problem.

Cut down the initial db checked hash allocation somewhat
- The instance numbers are often much much bigger than the number
  of actual packages, and the hash table grows automatically as needed
  so there's no need to over-allocate at the start. Apply some
  (fairly arbitrary) heuristics to limit the initial allocation size.

Replace verified header tracking bitfield with a hash table
- No functional changes, but allows getting rid of yet another custom
  (re)allocation scheme + ugly bitfield manipulation macros. Also the
  header instance numbers can be rather sparse, making hash a natural
  fit for the purpose.

Implement transaction ordering hinting
- Add support for new "OrderWithRequires: foo" spec syntax
  which has "if and only if foo is present in transaction, order
  the transaction as if this package required foo" semantics.
  While it looks, and in some ways is, a soft dependency, this
  is not the same as recommends/suggests etc: those have unknown
  depsolver policy dependent semantics attached to them, whereas
  ordering hints have a clear definition and is only relevant for rpm
  itself, depsolvers should not even look at the data.
- This allows packages to express correct ordering for optional
  functionality, such as

      %post
      if [ -x %{_bindir}/register-component ]; then
          %{_bindir}/register-component %{name}
      fi

  If the package containing %{_bindir}/register-component is included
  in the same transaction, it makes sense to have it installed before the
  package(s) that use it. But as it is fully optional, Requires would
  not be appropriate. Using OrderWithRequires allows this to be expressed
  without dragging in extraneous dependencies for optional functionality.

Implement filtering of autogenerated dependencies
- This allows both excluding entire paths from dependency generation
  and also excluding individual generated dependencies by regexes
  settable from spec or other configuration.
- %__(provides|requires)_exclude regex controls is matched against
  generated dependencies, %__(provides|requires)_exclude_from is
  matched against the currently processed path, with buildroot
  stripped out.
- We'll probably want some "higher level" macros to go with this,
  but the mechanism is usable as-is already.

Some further preliminaries for next bits
- Add a helper function for freeing regex pointers
- Move regMatch() to top of rpmfc.c, we'll need it shortly

Refactor the helper execution out of rpmfcHelper()
- Split the macro name generation and grabbing of argv-style output
  into yet another helper to reduce the clutter in rpmfcHelper()
  before adding more stuff in there.