Preparing for 4.9.0-beta1

Add switch to allow printing only soname dependencies to elfdeps helper
(cherry picked from commit fe68483d1b341416f28caa894d8392681d827868)

Fix rpmsign --key-id popt alias typo
(cherry picked from commit 9f3a0debb686485312d184d7a8c8aad49978629f)

Honor --root in rpmkeys too
(cherry picked from commit b4f4e2255f3bf5a9c738f6d9d67f477f208fe04b)

Hide --verifydb switch again
- It got exposed in the rpmdb tool splitup, but the functionality in
  it's current form is still just as dubious as it always was, hide
  it out of sight again.
(cherry picked from commit 599094e258fc69d76ef9291355850a10508acb3a)

Tweak up BDB flags to avoid breakage from --verifydb
- db->verify() has semantics unlike anything else in BDB and does
  strange things to a shared environment (causes persistent ENOMEM
  failures in the environment after a couple of attemps). Use a private
  environment and no CDB when verifying.
- The whole --verifydb is rather useless, perhaps the better option
  would be deleting the lot...
(cherry picked from commit 5c4135654f9d35772bea8a51c98c8020a3d20396)

A largish man-page update
- Remove rpmquery and rpmverify manuals for now, the functionality
  didn't get split to separate binaries afterall and the manpages
  were in a rather bad shape afterall.
- Add some missing options, remove no longer existing options
- Remove rpmdb, rpmkeys, rpmsign and rpmspec related switches from
  man rpm manual, add them to the "see also"-section instead
- Adjust database file list on main rpm manual, remove it from rpmbuild man.
(cherry picked from commit c6d98322f1d30ca8028efb63bfde24b554abfda1)

Bump up default BDB cache- and allowed mmap size considerably
- The former defaults come from nearly a decade ago, things have
  changed a bit since then... Even BDB's own default cache size is
  much larger (8MB) now than what we've been setting.
- Using 64MB cache improves cache hit rate (and performance) massively.
  Last-gasp default to roughly BDB's own current defaults, higher
  settings in the default macro setup.
(cherry picked from commit 6b6310b152475793a1272d8829a9df89a6edaee6)

Require %files section for package generation again
- Turns out this change does more harm than good, people are actually
  relying on this behavior to avoid zillion conditionals in the spec.
  We'll want a saner way to conditionally disable/enable packages
  but until we have that, revert to the former longstanding behavior.
- This effectively reverts commit d010ec1c9026b35f5b2521be965c03c826894ce8
(cherry picked from commit b76fa1a7fdf738ccd45dd70a5489d5110a6d5534)

Only sepolicy-plugin needs linking to libsemanage
(cherry picked from commit 454859f3cbe6f59cbf6d5905fe469d3bf64adf4a)

Make rpmplugins.h private for now
- We'll probably want to make some changes to the plugin type system
  before considered "ready", the current plugin slots are limited
  to 32 and Meego folks apparently want to use a largish number
  of slots. So we might want something like separate plugin type
  (collection, security... etc) and then have 32 slots per each type.
  Making this private for now to avoid having to potentially break
  the API shortly after introduction.
(cherry picked from commit d10b40301188f1b00cbdaf49b1c09786d546ede0)

Update translations to kick out removed messages etc

Move rpmtsSELabelFoo() functions to an internal-only header
- The sepolicy plugin needs them so the symbols can't be hidden, but
  these are not something external API-users should be messing with.
- Ultimately we'll want to push the actual labeling from FSM to
  the plugin, insulating rpm from all SELinux specifics, this is
  just a band-aid temporary "solution" to keep this out of the API.
(cherry picked from commit 00463e2fe0d115d873f141995e7d8b3041de7d36)

Free up a bunch of bits from rpmtransFlags_e
- With all this unused junk gone from the bitfield, we suddenly
  have plenty of bits to play with...
- Preserving the symbols, just defined to 0, to avoid unnecessarily
  breaking compilation of stuff that refers to the old
  unused/unimplemented flags
(cherry picked from commit 247c5431776299196cf32e0a3980a4b9516379ea)

Mark two more unused rpmts flags as such
(cherry picked from commit c1d8fc34f9d36b3f47e30489caab848dae1f151a)

Rip the remains of --aid and --nosuggest, except for the callback
- Only thing ever using RPMTRANS_FLAG_ADDINDEPS and _NOSUGGEST was
  rpm itself, and we haven't had an in-rpm implementation for this
  since the broken "rpmdb as repo format" was ripped out in 4.6.0.
  We dont need these special flags to support the operation anyway,
  IF somebody sets the solve callback, it will be used and the one
  implementing the callback gets to deal with whether those bits
  should be added to transaction or not.
(cherry picked from commit 3b07e36fc430ae15a34a6b4c3249460ddf120c01)

Rip the stillborn, broken apply/commit transaction goo
- This was beginnings of something ten years ago, and that something
  was long since abandoned. These never did anything useful
  that --justdb/--noscripts wouldn't do.
(cherry picked from commit 89c2fd9f512df1e673a073229914b5371e619ea4)

Yet another pile of depmatch tests + added commentary
(cherry picked from commit c91e00e81eabe287e6d0786bdc8b0a4f10f19d73)

Add pile of further dependency match testcases
- Test for provide ranges, versionless dependencies and different names
- Tabify the test-table for readability + editability
(cherry picked from commit 1f037a030a57f23e8305aa509987260644db74d1)

Add a pile of dependency matching tests for "obvious" cases
(cherry picked from commit 2c4899c8d7346ae3a9dbd830939fda29efb7a6a6)

Move python test-suite macros to local.at, rename
- We'll want to use these in other test parts than just python. Make
  available everywhere and use "namespace" to avoid potential future
  clashes.
(cherry picked from commit 8acb7f7c1d8d7e93a04ca214f98660a40ee2b319)

Permit comparison operator strings (<, >= etc) in python ds constructor
- Creating ('foo', '>=', '1.2') dependency is much nicer than
  or'ing rpm.RPMSENSE_FOO for flags. Allow (but validate) the string
  usage, ints get passed as is.
(cherry picked from commit bf37b06d19b769572c06a667b31164d6ed279155)

Unbreak file user/groupname handling in build
- Fixes regression from commit a2d002a34bc567e8ce88c9ed30270d55d7c904fd,
  the librpmbuild "name cache" was used for unique string storage too
  and not just user/group-info lookup cache, duh.
- At least for now, making this separation explicit in the code
  by separating the "stash this string" operation from the actual
  user/group lookups.
(cherry picked from commit 50ab0945c5ddffd354692f8c31616c3575ebbd11)

Add a "unique string cache" to rpmug
- Used for storing unique strings just once
(cherry picked from commit 353a7a81257e2a2a322b211b6ebf11b750ca6e68)

Support GetEntry() for hashes without datatype too
(cherry picked from commit 3296c651b90b1caed216a3c65f024ea741ea13f9)

Eliminate ancient dependency loop whiteout mechanism
- Nobody has been relying on this for ages, and with the new ordering
  code since rpm 4.8.x loops are handled much more gracefully than
  before. RIP.
(cherry picked from commit 69187d6bb04d36934a7f9f276d90164e842ef54c)

Remove the now unused user/group caching code
(cherry picked from commit bc457015f6c2c82f84a2ba7e805883944a64f679)

Unify the user+group caching between librpm and librpmbuild
- The build version has getUidS() and getGidS() for which there is
  no counterpart in the rpmug api but there's not much point to them:
  they check whether the user/groupname exists but return our own
  string back to us even if it doesn't.
- The build version also caches more than current rpmug, but has an ugly
  hardwired limit causing (in theory) errors that can't be nicely
  handled, and is the last piece relying on RPMLOG_CRIT actually
  terminating the process. The librpm version doesn't fail, in the
  worst case its just a bit slower. And that can be fixed anytime by
  making it to use hash tables for caching.
(cherry picked from commit a2d002a34bc567e8ce88c9ed30270d55d7c904fd)

Split user+group caching to separate source (again), rename
- We'll want to unify this and the similar caching done in librpmbuild,
  so we need to expose these in the ABI at least, rename to get
  them namespaced and use a separate source module (again) as
  this is a pretty distinct functionality.
- This would really belong to librpmio but leaving here for now...
(cherry picked from commit 2a54555aa2144f56a2ba518c48830c60da78c4d4)

Remove hardcoded lock and mail group id's
- Rpm has no business making assumptions about arbitrary group id's,
  if these are not available through getgrname() when needed,
  that's a packaging problem.
(cherry picked from commit a26848218cfdefd0f8ee538a14a57c9fea4e7b2d)

Cut down the initial db checked hash allocation somewhat
- The instance numbers are often much much bigger than the number
  of actual packages, and the hash table grows automatically as needed
  so there's no need to over-allocate at the start. Apply some
  (fairly arbitrary) heuristics to limit the initial allocation size.
(cherry picked from commit e40a7c61c422e79838226c69cb84f7a624fa6127)

Replace verified header tracking bitfield with a hash table
- No functional changes, but allows getting rid of yet another custom
  (re)allocation scheme + ugly bitfield manipulation macros. Also the
  header instance numbers can be rather sparse, making hash a natural
  fit for the purpose.
(cherry picked from commit 78097d55f446c32911f629d4ce3ef79fe3c5c898)

Implement transaction ordering hinting
- Add support for new "OrderWithRequires: foo" spec syntax
  which has "if and only if foo is present in transaction, order
  the transaction as if this package required foo" semantics.
  While it looks, and in some ways is, a soft dependency, this
  is not the same as recommends/suggests etc: those have unknown
  depsolver policy dependent semantics attached to them, whereas
  ordering hints have a clear definition and is only relevant for rpm
  itself, depsolvers should not even look at the data.
- This allows packages to express correct ordering for optional
  functionality, such as

      %post
      if [ -x %{_bindir}/register-component ]; then
          %{_bindir}/register-component %{name}
      fi

  If the package containing %{_bindir}/register-component is included
  in the same transaction, it makes sense to have it installed before the
  package(s) that use it. But as it is fully optional, Requires would
  not be appropriate. Using OrderWithRequires allows this to be expressed
  without dragging in extraneous dependencies for optional functionality.
(cherry picked from commit 5c43095e1d78b3befe93c746fd182746c3b96c92)

Implement filtering of autogenerated dependencies
- This allows both excluding entire paths from dependency generation
  and also excluding individual generated dependencies by regexes
  settable from spec or other configuration.
- %__(provides|requires)_exclude regex controls is matched against
  generated dependencies, %__(provides|requires)_exclude_from is
  matched against the currently processed path, with buildroot
  stripped out.
- We'll probably want some "higher level" macros to go with this,
  but the mechanism is usable as-is already.
(cherry picked from commit 185de185262b2772fa692efc69633f41afc5832a)

Some further preliminaries for next bits
- Add a helper function for freeing regex pointers
- Move regMatch() to top of rpmfc.c, we'll need it shortly
(cherry picked from commit 27a17ec74a21eb5c8ca44972e15531244881cc07)

Refactor the helper execution out of rpmfcHelper()
- Split the macro name generation and grabbing of argv-style output
  into yet another helper to reduce the clutter in rpmfcHelper()
  before adding more stuff in there.
(cherry picked from commit ca3089f8bc4de7e2426b129f998a3c59daeebfd0)

Rename pattern -> path for, duh, path patterns
- 4.9 alpha used "pattern" but better fix the stupid name now than
  have to live with the non-obvious name forever
(cherry picked from commit a9bc1f51ae6bb6e1df0a5de71ac2a27b0932f144)

Support excluding by path or magic in file classification
- %__foo_exclude_pattern and %__foo_exclude_magic regex'es now allow
  excluding attributes that would otherwise match.
(cherry picked from commit f5a657112a8f9a107314dcd02767146e64953abe)

Remove broken versioned provides rpmlib() tracking
- Every single package since rpm >= 3.0.4 or so has a versioned provide
  through the automatically added N = VR provide, which hasn't gotten
  tracked in all these years. Drop the useless dependency.
(cherry picked from commit 17445a390a8686de6d1532b03cd4dc8314850dd3)

Add beginnings of python bindings test-suite
- Add some basic infrastructure: point PYTHONPATH to the testing
  directory, helper macros to allow use of in-line python in test-suite
- Throw in a couple of simple tests for starters
(cherry picked from commit 2a37d9a4dcfd172db9a63584ec2267702153e00b)

Kick out some long since invalid comments
(cherry picked from commit f63e19d2986609193b409fea7a52e5eb41478a48)

A bit of sanity checking in rpmtsRebuildDB()
- Don't permit rebuilddb on populated transaction as rebuild can
  and usually does change header instance numbering.
(cherry picked from commit 626e78429ff6dd77de77abb9073c3defacdd5726)

Bump library sonames
- Lots and lots of API changes, including what amounts to
  rewriting of librpmbuild external API... The only exception is
  librpmsign which is new and starts with 0

Internalize most direct rpmdb manipulation functions
- Since rpm 4.1 times, callers are supposed to use the rpmtsFooDB()
  variants instead of the lower-level rpmdb functions, and mixing
  them is not safe. Enforce the use of ts-level versions by making
  rpmdbLink(), rpmdbOpen(), rpmdbInit(), rpmdbClose(),
  rpmdbSync(), rpmdbVerify() and rpmdbRebuild() internal-only.
- Doing this now to eliminate a few needs for breaking API again
  in 4.10 (one can wish, right?)

Require pkg-config 0.24 for creating pkgconfig() dependencies
- The support for --print-requires|provides was only upstreamed in
  pkg-config 0.24, prior to that it relied on distros patching their
  pkg-config. Rpm relying on non-upstream stuff is not good...
  Now that it's upstream we can make a clean break and simply not
  even try to generate the dependencies with anything older.
- The upstreamed version behaves slightly differently from what distros
  were patching with, for rpm's purposes we also want
  --print-requires-private now.

Update translations to pick up recent changes

Fix bogus error reporting from autogenerated dependencies (ticket #181)
- Automatically generated dependencies do not relate to spec lines,
  use different error reporting for manually vs automatically added
  dependencies.

Oops, mono dependency extractors need a bunch of arguments
- Regression from the initial conversion to the new system in
  commit 8c7e53ec80e84f48bfc67181f3d5dd81ecdb7523
- The buildroot doesn't need passing as arg anymore but for now,
  just keep it compatible

Make rpmdeps honor RPM_BUILD_ROOT if set
- rpmdeps calls the internal dependency generator as an external
  dependency generator (yes its more than a bit wacky), and the
  internal generator needs to know the buildroot as path patterns
  expect non-buildroot paths for accuracy.

Pass RPM_BUILD_ROOT to helper scripts through environment always
- Many of the scripts need to know the buildroot in order to figure
  out correct resulting paths. This permits unifying the current
  adhoc methods of passing the data to the scripts.

Remember buildroot directory in rpmfc struct
- New constructor rpmfcCreate() which takes buildroot as an argument,
  and "flags" argument for future use. Calculate brlen at initialization
  now that we can.
- Preserve rpmfcNew() as a compatibility wrapper as it's something
  somebody could, in theory, have used legitimately.

Eliminate unused dir argument to getOutputFrom()

Unbreak perl module dependency extraction
- Dumb attribute vs macro name thinko/typo preventing it from working
  at all, duh.
- At least for now, revert back to magic based pattern: we dont really
  know where all the perl modules might live. OTOH this relies on
  the ugly "all .pm files are perl modules for now" hack inside rpmfc.c.
  We could of course use a loose /.*\\.pm path rule too for the same
  effect and eliminate the hack, but that'd leave strange stuff into
  fileclass tags when libmagic fails to detect its actually perl.
  Need to figure out something better here... maybe allow overriding
  libmagic detected strings from foo.attr or such.

Fix long-standing segfault on unknown tags on header iteration queries
- The simple and stupid tag cache was a bit too simple, failing
  to deal with unknown tags larger than our own tag table correctly.
  Use a hash table instead which is a far better suited for the
  sparse tag numbers anyway.

Eliminate dead RPMTAG_INSTALLPREFIX tag extension
- This hasn't been functional since rpm 4.6 at least: the tag is marked
  internal so it's not recognized as a valid query tag, and there's
  no point supporting this anyway, it was already deprecated backwards
  compatibility hack in rpm 2.x in 1998 era.

We're already considering <pthread.h> mandatory header elsewhere
- ... so might as well do so here too

Axe the rpmsq debug code which was never getting built anyway

Lose all the stillborn code in rpmsq.[ch]
- rpmsqThread(), rpmsqJoin(), rpmsqThreadEqual() and rpmsqExecve()
  have never been used... get rid of them while we're bumping sonames
  anyway

Oops, missing include in previous commit

Permit unicode paths in rpm.fd() (RhBug:654145)
- Python 3 has fs-specific converter function, for Python 2 just
  assume utf-8 and hope the best.

Add bunch of rpmvercmp() algorithm tests to the test-suite

Move the current "version compare" tests to rpm install tests
- These are more about rpm install/upgrade behavior than pure
  version comparison, although obviously version comparison is involved

l10n: Updated Ukrainian (uk) translation to 100%

New status: 746 messages complete with 0 fuzzies and 0 untranslated.

Transmitted-via: Transifex (www.transifex.net).

l10n: Updated Polish (pl) translation to 100%

New status: 746 messages complete with 0 fuzzies and 0 untranslated.

Transmitted-via: Transifex (www.transifex.net).

Update translations to pick up recent changes

Only force default umask during transaction (RhBug:494440)
- For rpm itself forging global umask on init is kinda convenient, but can
  be troublesome for API users. This is especially bad in python bindings
  where just importing the rpm module silently changes process umask with
  no good reason.
- Instead of global setting on init, only change the umask to 022 default
  for the duration of rpmtsRun() where it's necessary for consistent
  transaction results on implicitly created directories and files created
  by scriptlets. This way we dont affect callers and provide better
  "protection" for ourselves too - we don't know if API users change
  umask again behind our back if we just set it on initialization.
- To make matters more fun, Lua scripts can change our umask. Save
  and restore umask when running Lua scriptlets.

Always exit rpmtsRun() via rpmtsFinish()
- Fixes a memory leak from rpmtsSELabelInit()
- Ensures we get out of chroot() on the way out

Plug a minor memory leak in librpmbuild doPatch()

Revert rpmquery/rpmverify split, ain't gonna happen this time around
- Dealing with the inevitable fallout and popt-foo needs more time
  to handle, revert to the rpm 4.6-4.8 setup where rpmquery and rpmverify
  are just symlinks to /bin/rpm, allowing especially query aliases
  to work. Releasing an intermediate version where 'rpmquery --requires'
  and the like dont work would do nothing but hurt the future intention
  of splitting these things up for real.
- This effectively reverts commit 26125015e4321765582dce0b76f83530e7604d4e

Yet another round of enum-as-function-argument elimination
- Pass the yes/no magic argument to headerRead(), headerWrite() and
  headerSizeof() as int instead of enum.

Avoid enum as function argument for headerConvert()
- While this /nearly/ qualifies for enum, places like python
  argument converting will not be able to produce "true enum" values.
  So dont even try.

Remove RPMTAG_FILESTATUS tag extension
- This is a bad "API" for verification, it can't be controlled and
  causes heavy IO where one would not expect it. Getting rid of it now
  before anybody starts relying on it...
- Leaving :fstatus format extension alone however, it's at least harmless
  and produces a more predictable output than :vflags extension so it
  might be actually useful in scripts.

Remove no longer relevant references to build from arg sanity checks

Remove absolute paths from our popt exec aliases now that we can
- poptExecPath() pointing to meaningful place allows removal of these.
- Make test-suite rely on the --initdb exec alias so we catch out
 if anything here breaks

Make our popt exec path more useful, permit environment override
- In 4.4.x days, we used to have bunch of helper binaries in /usr/lib/rpm
  executed through popt ping-pong, but there's nothing now that we'd
  want to execute through aliases. Instead use bindir for the
  default path, and additionally permit overriding through
  RPM_POPTEXEC_PATH environment variable (mostly probably useful for
  the testsuite)

Eliminate pointless argument sanity check
- --root is valid for all the remaining modes, no point checking for it
- MODES_FOR_DBPATH is completely unused (and dbpath is a common option
  to all anyway)

Hide obsolete --nomd5 switches from help output
- We dont want new users to pick up using these old switches but
  preserving functionality for backwards compatibility for now

Basic protection against Lua os.exit() and posix.exec() (ticket #167)
- Track posix.fork() and only allow exit() and exec() if the script
  has forked. There are other questionable items in posix extensions
  too but these are the worst offenders.
- Using Lua registry for tracking forked status might be more Lua-way
  option but this'll do for now.

Remove unnecessary includes

Rearrange new cli utilities' popt tables for nicer output
- Use a separate table for the tool-specific options, include that from
  the "master" option table to get option group summary in --help.

Oops, rpmspec.c missing from POTFILES.in

Get rid of 'rpminstall' binary & manual afterall, flip flop
- It's a bad name for something that can also erase packages, leave
  the install/upgrade/erase modes for /bin/rpm instead.

Remove superfluous dbiSync() call (refactoring thinko or such)

Switch fsync off while building indexes

Fix index auto creation

Rename rpm.ii.offsets() to .instances() to match name of mi.instance()

l10n: Updated Italian (it) translation to 100%

New status: 741 messages complete with 0 fuzzies and 0 untranslated.

Transmitted-via: Transifex (www.transifex.net).

Don't restore db file atime/mtime after rebuild
- The files are regenerated from scratch, involving header record
  numbers moving around, possibly removing broken headers and all.
  Don't pretend nothing changed when some changes almost certainly,
  occurred, various API users rely on rpmdb mtime for determining
  whether the db has changed since they last accessed it.

Kill broken --rebuilddbpath popt alias
- It's been broken because of a typo for the last ten years and nobody
  noticed, doesn't seem like a particularly useful switch...

Eliminate silly "I am about to create a directory now" debug logging

Simplify the dbpath shuffle in db rebuilds a bit
- We already have the non-prefixed dbpath at hand, use that instead
  of recalculating the path from the prefixed version

Dont bother NULL'ing local variables on exit

Eliminate pointless (and racy) test for rebuilddb directory existence
- mkdir() will error out with a reasonable error message of its
  own, no point doing separate, buggy test with access()

Remove unused local variable

Hide --aid and --nosuggest switches for now
- These have been no-ops since rpm 4.6, but might resurface one day so
  leaving them around but out of sight...

Lose useless --fileconflicts cli-switch
- We always detect file conflicts (duh!) unless forced, no need for this

Move --dbpath into common rpm popt options table
- This ensures its available in all our executables without adding
  umphteen copies into rpmpopt (after the cli splits, this was missing
  in eg rpmdb executable...)

Eliminate stillborn code

Fix IndexIterator to not open an private dbi that never gets closed

Const-correctness: rpmdsRpmlib() doesn't (and must not) modify tblp