Preparing for rpm 4.7.1

Fix memory allocation for token array

This fixes a memory corruption due to write access out of
bounds of token array, whose size was computed incorrectly.
It was assumed that only '%' characters separate tokens,
which could lead to crashes on useless uses of '[' tokens,
such as "rpm -qa --qf '[]lalala'".
(cherry picked from commit 52e4b9bcaca60499e8bb7f23eb590ce01c89c574)

Log an error on short lead (RhBug:511101)
- if lead read returns short without it being an IO error, treat it
  as a case of "not an rpm package"
(cherry picked from commit d8071161f98ff703846281466cccf880e9dcb5c5)

Honor --nofiledigest on install too (RhBug:508021)
- query and install options clash, use popt callback to enable processing
(cherry picked from commit 7baf3235d2263d456fd11b6fa3ad605d0d1d1136)

Document --nodeps in rpmbuild manual (RhBug:482921)
(cherry picked from commit 16be29746ce4ecdedb2034c8d97b6455ba5ae620)

Dont accept '-' in manifests (RhBug:461353)
(cherry picked from commit b8102d8f6150b0438ba91cd53ff86a5391e8bdcf)

Dont treat filenames starting with - as stdin
(cherry picked from commit 0114bb51dd85dc4a875d5b9f8f9775a05ecd4187)

Oops, missing include for dirname()
(cherry picked from commit 666e26bd7a229063e6cab068c94b56e1b35e7ddb)

Create the directory used for transaction lock if necessary
- otherwise at least rpm --initdb can fail due to transaction locking failing
(cherry picked from commit 17f9073278206a979829fa41ac496476dde1a3ef)

Unbreak --excludepath (RhBug:409637)
- excluded paths aren't counted as actual relocations, dont bother
  checkig addPrefixes() return
(cherry picked from commit cb8241dda783f7e8c143b08fecf57fe89a39c3a6)

Fix compiler warning on const free
- we dont need popt to set the file variable as we manually process
(cherry picked from commit 2db564a85a57db624cc73dd0bb7b2875cff44f3d)

Make verify result not depend on verbosity level, uff... (RhBug:510213)
(cherry picked from commit 6649c23cac5823d0c7415df5cfd66e5aac5eebd2)

Add an index for obsoletes (RhBug:507702)
(cherry picked from commit 33d829d362ef7d529268b99e2f943d2ecda07d59)

Band-aid to dependency caching misbehaving with chrooted verify (RhBug:508074)
- disable dependency caching on chrooted verify to avoid ugly spew
  from paths containing outside paths while we're actually inside the
  root during verification
- correct fix would be to fix the temporary db path calculation

Handle hook unregistering itself
(cherry picked from commit d3956140c2757a5929d4517cf54e5d9c06e11355)

Fix rpm.unregister() Lua extension
- hook data is userdata, not light userdata
(cherry picked from commit d1b399761ffe554f3f3c4ced187c3b8ec58233fb)

Base64-encode %policy files to ensure it can be presented as strings
- RPMTAG_POLICIES is a string array but there's no guarantee that
  something marked %policy is a plaintext file that can be represented
  as \0-terminated string, base64-encoding them fixes that. Baby steps
  towards making %policy remotely usable, related to RhBug:505066.
- Also remove unnecessary failure code setting, processMetadataFile()
  assumes failure already, and dont try to insert NULL strings in case
  b64encode() or pgpArmorWrap() fails
(cherry picked from commit edbc9ead961fcbeb1733b47405041b653b521bcb)

Simplify logging a bit
- precalculate the message length, relying on C99 vsnprintf() semantics
- generate the log message and rest of the record in rpmlog() already,
  and just pass the record to lower level to do actual logging
- also something was wrong in the old version as valgrind complained
  about illegal reads, that is also cured here
(cherry picked from commit 271069f90046994b005a469c80c2e150a41af9f3)

Teach %files to accept multiple filelists (ticket #70, rhbz#475359)
(cherry picked from commit b02893092594b868296c5b3f58ab631e368bae1a)

Check arg in argvJoin() before dereferencing
(cherry picked from commit 194b6a5c2ab37753a143cd4d710bd09ccc0502e2)

Fix some typos in javadeps usage message (ticket #72)
(cherry picked from commit 0975d1e2c04718e290f868c77613640c044ce4f7)

Add -h/--help to rpm2cpio (ticket #63)
- patch originally from Debian, with slight adjustments to indentation
(cherry picked from commit 6b6e82f8e9c11aeecbd47038a0c637ff5c8f8a1f)

Pile of OSGi dependency generator fixes from Alphonse Van Assche (ticket #39)
- use Temp perl module to provide temp dir
- re-enable deps solving in Require-Bundle, Import-Package, Export-Package
  OSGI properties
- remove uses bundle of Export-Package OSGI property
- use RPM '>=' as version operator to match OSGI '='
- remove all .0 at the end of the version string
- typo fixes
(cherry picked from commit 7417cd283a3641ee62b282ae36c5d2d7df349d04)

Fix invalid memory access from freeing dirName too early
- if it doesn't crash, it can cause rpmdb provided file not seen in chroot,
  the other half of RhBug:506323
- streamline exit points to enable freeing allocated resources sanely
(cherry picked from commit 0055fecfde5404c5106ac0fc58052e9264da8592)

Fix Segfault for to be installed symlinks pointing to existing locations
fixes rhbz#505777
(cherry picked from commit 1b9e6d7f48a68fd677c70d04c9a6bb4274cf7b9f)

Add debugedit support for DWARF-3 (RhBug:505774)
- patch from Jakub Jelinek
(cherry picked from commit 71a7dd8b7a2df677214c18473eac661ea38fb649)

Fix out of source directory build (ticket #65)
(cherry picked from commit 8d79668a137e93b5b15613b6f8769d72df831fea)

Add parentheses (as kindly suggested by new gcc...)
(cherry picked from commit a86291ff774ff10277da4452fc47fc9870ccc991)

Make peace with newer git
(cherry picked from commit 17d66c47b181d9300dfc3813e8dd86d31c7b99a6)

Unbreak isLegacyPreReq()
- long long time ago the PREREQ bit was also turned on for scriptlet
  dependencies etc, this is no longer the case so the old mask doesn't work
- build part is not affected by the mask change as we never set
  PREREQ bit by ourselves
(cherry picked from commit b22fa73fea6873dfc3816433e130820a5d9f33da)

Updated mailing list information.
(cherry picked from commit 2d2aaebce79d0fd48b9fe82f61356f9e8190e915)

depMsg doesn't need _notpre() anymore
(cherry picked from commit 27d1f56f2945c59b39668685090977c6c2635431)

Map PreReq into Requires(pre,preun) at build
- this gives a more reasonable mapping to former behavior of PreReq
  when cutting loops
(cherry picked from commit 95c9e817ef6ed2cda5629f0c5edb6f7b19c209cf)

Deal with multiple scriptlet dependency bits in deptype format extension
- rpmbuild permits Requires(post,postun) style notation which gets lumped
  into single dependency, report them all
(cherry picked from commit 9c7bcba82ac3bbf792d6b86bcb45c60405b0db00)

Bring back former value of RPMSENSE_PREREQ
- packages using the legacy PreReq still widely exist distros having
  patched PREREQ back in, we'll want to be able to deal with the legacy
  packages best we can, and to do that we need to be able to test for
  the prereq bit
- this also fixes ordering brokenness introduced by commit
  502f88e0e67bb1df91e09a32a370b04bda36259e all the way from 2004:
  with RPMSENSE_PREREQ equalling RPMSENSE_ANY, all co-requisites are seen
  as pre-requisites due to isLegacyPrefix() returning bogons (RhBug:502269)
- previously RPMSENSE_SCRIPT_PRE etc were also marked RPMSENSE_PREREQ to
  permit legacy rpm versions to deal the fine grained scriptlet dependencies
  somehow, this we dont want anymore
(cherry picked from commit 67bd81fb25a2a57adc97172cf426c475aea41612)

Avoid filtering out erase pre-requisites on install
- Requires(pre,preun) etc are recorded as a single dependency entry,
  so filter out dependencies that are only install pre-requisites
(cherry picked from commit f243eb7d004394176c64ff24b5a461deb54d866b)

Build prereq is exactly the same as buildrequires
(cherry picked from commit 03e456de4a0ea7d574a7aeb3aa41937e1b7d18ee)

Fix calculation of hardlinked files (RhBug:503020)
- regression from commit 899dfb58927ec6e91014773430824462f4d0002e,
  size of hardlinked file set is the size of one file of the set
- add isHardLink() internal helper to avoid a copy-paste code
(cherry picked from commit cdfd0934841d4eccc26d7da7c35b23e6e9f76a9c)

Don't mess up problem altNEVR in python ts.check() (rhbz#501068)
- the use of strrchr() silently casts away the const from the problem
  set altNEVR string, which we then happily modify..
- similar to commit 62cc76e25cdfad78ac30bb28f626b474efdecddc
(cherry picked from commit 9322f737819a3d81088699b1d7fa667259245411)

Really updated Portugese Brazilian translation (Igor Pires Soares)
- commit 5384a45d5a2b3fb4e46c1c1748230fac4646233c is Spanish translation
  update from Domingo Becker, oops...

Updated Portugese Brazilian translation (Igor Pires Soares)

Minor fix to Japanese translation (Masaki Furuta)
(cherry picked from commit d295d14cd0fbce33ec778ef3b07a95269a4f8bfe)

Dont bother generation rpmds debug messages unless in debug mode
- rpmdsNotify() which does nothing but generate RPMLOG_DEBUG messages
  gets called often enough that avoiding the unnecessary
  rpmlog() and strcmp() calls is easily visible in wallclock times
(cherry picked from commit acd93ee570990ba3f549947dfe67a7d362f7c70d)

Hide NSS peculiarities from API
- PKCS#11 standard requires modules to be re-initialized after fork(),
  arrange this to occur automatically.
- Most of the time child processes will exec() something else so dont
  bother shutting down NSS for every child, only lazily re-initialize
  as needed.
- This lets us initialize NSS early to force preloading of its dlopen()'ed
  libraries to avoid issues on chroot(), without causing problems to API
  users which fork() after initializing rpm (such as func, urpmi etc).
(cherry picked from commit 2ce7b56e621b097b76a2e5059def7d0e5a64d53b)

Fix --with-kde with KDE3 (rhbz#466009).
(cherry picked from commit acfe923bf21a4402a48b6e357a53a398b107f0b3)

Fix a few file permissions from "make install"
- macros.perl, logrotate examples etc aren't scripts and shouldn't be
  executable. Ditto for python __init__.py
(cherry picked from commit 8a3e9a74e363f530ed2b7fee0672477f69c3c661)

Fix parsing of pubkey signature packets. Ick.
- busted all the way from commit bcb226480d0b60a8667eade77d81c29de4c3d6c9
(cherry picked from commit 5023d0a4e84e2877e3c715b57bd362f95f12ef06)

Preparing for rpm-4.7.0 final

Pad RSA signatures up to modulus size if necessary (rhbz#494049)
- unfortunately can't be detected at initial allocation so extra
  copy is needed at verification time
- this is commit 4c39a9df93c962c69e23ff48789cb950a105a44b backported

Check for termination signals during signing / signature checking loop
(cherry picked from commit fb19a98fa0ca1c152e1bd22322f5fd1350a48eb6)

Error out at build on unsupported payload compressors (rhbz#495429)
- only permit bzip2/lzma/xz payload compression if rpm built with the
  necessary libraries
(cherry picked from commit 0f967d157d3a02696898f848f4cd584e646b264f)

Updated Polish translation (Piotr Drąg)

Preparing for rpm-4.7.0-rc1

Updated Spanish translation (Oscar Bacho)

Updated Serbian translations (Milos Komarcevic)

Updated Catalan translation (Xavier Conde)

Make it clearer that PACKAGE_FILE logic applies to all -F, -U, and -i.
(cherry picked from commit 0f29cc7f2781cdcedab9c8a03786d45f14fc316b)

Remove obsolete info about --buildarch and --buildos.
(cherry picked from commit 48580a70bc7372d1227f07f3377f9c253e492385)

Fix PGP v4 fingerprint calculation (rhbz#493777)
- patch from openSUSE / Michael Schroeder
(cherry picked from commit 7a8aecbc8651cab2bd945db8ffd749f9a165bdf1)

Don't allow '~',  '/' characters and ".." sequence in NVR (rhbz#493157)
(cherry picked from commit 37a35d07211b612429fef6614888f5fa099dd27b)

Fixup Polish translation HEAD vs 4.7.x difference

Make sure installed files have state (rhbz#492947)
- rpmfsSetState() doesn't get called for skipped files like %ghost and
  %config(noreplace), causing incorrect file state ("no state") getting
  recorded in rpmdb, leading to inapproriate removal/rename on erase, ick
- For TR_ADDED, always default file states to RPMFILE_STATE_NORMAL, fsm
  changes it as necessary for skipped colors and such. Lazy alloc on
  rpmfsSetState() is not correct as rpmfsSetState() might not get called
  at all.
- originally broken by commit 8d6c4b8c95b59f5a71d90c582c2e98f5c7ed7b9d
(cherry picked from commit c40f6d5dcabfe0b68b830d96b01eaedac0b2d18d)

Use -mtune instead of -mcpu (rhbz#493696)
(cherry picked from commit 4c23ebdb81d8e8a00ccf7e92d7e3788081b2f57d)

Prefer more specific types over generic "text" in classification (rhbz#491349)
(cherry picked from commit e38cbe5b4e7bfa9c7b10e3926093b6887d97d6a1)

Handle XZ in %uncompress macro
- should've been in commit 8078d0ba24662308b10d9eb0f0da978584b7e757
(cherry picked from commit 3d63df622037796279514a4da3ddc6807a102c1d)

Rip the macro default settings in rpmrc setDefaults()
- these get nuked and not reloaded on package builds
- rpm(build) needs a properly set up macros file in any case
(cherry picked from commit a3922760832ec4329f1426a54012b28cf387b5f5)

Add built-in %getconfdir macro for getting rpmConfigDir() value
- define %_rpmconfigdir via %getconfdir in the main macro config, this
  avoids it getting lost on macro reloads as happens when building
  several packages at once
(cherry picked from commit 2d2bda29c159f16689c05fd4dda20a3f70597e1d)

Plug minor memleak from default rc and macro file paths
- build code can call these several times, only init once
(cherry picked from commit a5eeff6d42d6452a85942f89a6b3a1196ccc47bc)

Plug minor memleak from rpmGetCwd() on build
(cherry picked from commit b2e85dae836e9695e4ef3e83c819b3523ae81634)

Eliminate pointless xstrdup()'s, the strings are never modified
(cherry picked from commit a17b3b68f2c2320cd81e285e02c05ab881ad07fd)

process the "./" in file paths correctly (rhbz#491388)
(cherry picked from commit 4d31b0433f3f804f81955c32e63c93f31506e8ad)

Show query/verify selection options just once in --help
(cherry picked from commit 2e672f3fae9d8ff7ee64ae13cfa2fe65272c2ede)

Python doesn't need libelf, nss or popt directly
(cherry picked from commit 46f1247a276a66561b49f97364558bf8f89d2354)

librpmio doesn't need libmagic for anything
(cherry picked from commit 1df4d34fb97cd25134a89c06386b55dc98aa92f6)

Move leftover signature stuff from rpmlib.h to signature.h
- these aren't really usable or useful outside rpm, and even less so
  as all the rest of the signature stuff is in a private header too
(cherry picked from commit fd2658ec8434768f75a6b6d007f7df5415f44004)

Don't try to parse %patch on spec query (rhbz#487855)
(cherry picked from commit 54b027535f95fea9088f2cd12ed765fddb20c5c1)

Doxygen parameter name mismatch
(cherry picked from commit b187977fee788888007409465c7efa644d20ddef)

Add support for "lzma alone" compression format (lzdio)
- "lzma alone" is superseeded by XZ but it's used by Suse and Mandriva
  distros so it's nice to have as it doesn't need much, only open differs
  from XZ
- rpmlib() dependency versions are an uuuuuuuugly mess here: Suse used
  "PayloadIsLzma = 4.4.2-1" so that's what we provide to be most compatible
  (hopefully). Built packages require "PayloadIsLzma <= 4.4.6-1" however
  to be compatible with Mandriva 2008.0. Did I already say it's ugly?
- Based on similar patch in Mandriva by Per Øyvind Karlsen, but avoiding
  unnecessary renames in rpmio
(cherry picked from commit fa0898552d3c52249bc41e8104eda02c1bbd3359)

LZMA -> XZ renaming
- what we support now in payloads is XZ, not the former LZMA format, rename
  user- and header-visible parts to match this
- rpmlib(PayloadIsXz) dependency versioned 5.2-1 to avoid unnecessary
  incompatibility with what rpm5 has and what Mandriva is already using
- only provide the rpmlib dependency if actually built with xz support
- rpmFileIsCompressed() attempts to guess the magicless old lzma format
  by file suffix, so it can handle both right now
(cherry picked from commit 8078d0ba24662308b10d9eb0f0da978584b7e757)

Free all keys not only those on the first buckets
 - Thanks to Alexey Tourbin for pointing that out!
(cherry picked from commit c769eb0244294c0a9ac002bd7ecd06bddc4cd3ae)

Catch exceptions from python conversions in dbMatch()
- Prior to this, string conversion (eg on unicode object) could fall
  through to rpmtsInitIterator() with key of NULL, matching everything
  and only much later spitting out an obscure traceback. PyInt_FromLong()
  can fail too, causing us to look for bogons.
(cherry picked from commit 9317ebc83f611075874713a1099b1f5aa14c969c)

Silence compiler whining on rpmsort and rpminject
(cherry picked from commit c1180e3c4334b850d50f618f59de09a9ea06a025)

Plug a memleak in genCpioListAndHeader()
(cherry picked from commit 23d202e928d4af945765e501ee8fc7bd0614510e)

NSS supports MD2, we might as well handle it too
- also getHashType() is a "pure" function, mark it as such
(cherry picked from commit 4cf26d30f8a066f855117d1661b23521e6eed647)

Fix memleak on signature checking failure
- early exit from header iteration loop could previously leak from unfreed
  buf and header iterator
(cherry picked from commit 05e16d415492f4925782e3fcf6ef155cbdf124c3)

Eliminate pointless {} block inflating indentation level
- no functional changes
(cherry picked from commit 493913ed415acf8be26b13a785a9615ba5cb6981)

Don't return data from headerGet() on regionSwab() failure
- callers dont expect to free data if headerGet() returns failure,
  leaking memory
(cherry picked from commit 65f3e55d3592da8fb482b5344a28013029199115)

Port XZ payload compression to xz-4.999.8 API
- use SHA256 digests for archive error detection
- use 100MiB peak memory usage for decoding
- use better XZ detection in configure.ac
(cherry picked from commit 74c9a96c3c68de6376ee543d494a97c0f133bfaf)

Add test for _install_lang and status
(cherry picked from commit f70830356fd239d66e1aece81973ebc077acbe6e)

Revert couple of checksum -> digest renames
- physical cpio header and elf header have checksums, not digests
  (from commit 7acdfded4a82e86a673418c3953aa6bf8106d313)
- doesn't affect functionality though
(cherry picked from commit 298c919c00ffbc6ea988545092b02af5384bd7a4)

Fix documentation and help for the md5 -> filedigest move
- add aliases for obsolete {RPM}VERIFY_MD5 flags to
  not to break API
(cherry picked from commit c45cfb9c047b05ca29acb8d42186e97e17204e27)

Add md5->filedigest aliases (rhbz#487597)
- add %verify(nofiledigest) as %verify(nomd5) file attribute alias
- reference digests as digests not checksums
- make old md5 related symbols obsolete and use newer reference
- update man page accordingly
(cherry picked from commit 7acdfded4a82e86a673418c3953aa6bf8106d313)

 Polish translation update (Piotr Drąg)

Unbreak %_install_langs handling (rhbz#489235)
- using rpmfiFLangs() in skipFiles() broke the %_install_langs logic,
  causing all files to be skipped if install langs, eek
(cherry picked from commit cdcbd324fe41cd729434576200593c0fbda44a19)

Fix RPMTAG_FILESTATES in rpmdb
- sizeof(rpmfileState) != sizeof(char), and char is what goes to headers
  resulting in some pretty weird states despite being correct on disk
- add rpm_fstate_t type for the header presentation of states and
  use where appropriate
(cherry picked from commit 2b4507d852ac8469608bef2ce8e219d76b0c543e)

Initialize on declaration, cosmetics only...

Dont bother retrieving colors unless actually needed

Dont bother retrieving ts problem set unless actually needed

Dont bother retrieving altNEVR unless actually needed

Load macros before creating directories (rhbz#489104)
- %_sourcedir and friends can have things like %{name}, load macros
  before trying to create any directories when installing src.rpms
(cherry picked from commit ac7c3412278a03da6633758bca999827d4b59038)