Preparing for 4.8.0-beta1

Bump soname for all our libraries
- while the "really public" API of librpmio has only been enhanced,
  librpm and librpmbuild use some supposedly internal bits which *have*
  changed considerably, so just to prevent anybody thinking they can
  combine librpmio from rpm 4.7 and librpm from this...
- librpmbuild hasn't seen much real change but some (unfortunately)
  exposed struct members have changed so...
- librpm is mostly compatible but as rpmal has become internal API,
  we need to bump (annoyingly, as nothing actually uses rpmal ... sigh)

ts.check() is supposed to return empty list when no problems

Disable the entire rpm.td type for now
- need to figure out saner semantics & stuff...

Make python header iterator return keys, not values
- this is how python built-in dictionary works, be consistent with that
- also avoids having to decide what to do with rpm.td type right now...

Always return malloced data from i18n extensions for consistency

Bump up the python version requirement to match reality
- Python >= 2.6 is known to work, 2.5 might be possible with __future__
  imports but until somebody tests it...

Fix the posix chown test for selinux enabled systems (RhBug:543035)
- on selinux enabled systems, 'ls -l' mode string is longer than
  expected here, just trim the ls output to our expected length

Back out overly strict file type check on %ghost files
- we currently only support creating regular files for %ghosts which
  dont exist in the buildroot, but for files that do exist in the buildroot
  there's no reason to place such limits (eg its perfectly ok to have
  symlinks marked as %ghosts)

Use AS_HELP_STRING() for configure option output

Remove pointless message translation from check-buildroot
- these scripts aren't processed for translation and unlikely to ever be...
- fixes the remaining complaint from ticket #62

Remove ancient broken scripts from the repository
- also eliminates one more "bashism" complaint of ticket #62

Fiddling with ulimit settings does not belong to dep extractor scripts
- fixes one of the bashisms in ticket #62

Correctly pass optional tag argument from hdr.dsFromHeader() (ticket #108)

Dont try to pass anything to rpm.fi() from hdr.fiFromHeader()
- hdr.fiFromHeader() is just a deprecated backwards compatibility dummy
  and doesn't need to pass anything as there were no meaningful
  parameters in older versions

Dont fail build on unrecognized non-executable files (ticket #105)
- Generally only executable files are critical for dependency extraction,
  whereas oddball application data files can cause unnecessary build
  failure due to libmagic misdetections etc, so just let non-executables
  pass with a warning and mark them as unknown data

Just use autoreconf in autogen.sh (ticket #109)
- instead of doing stuff by "hand" and getting it wrong, let autoreconf
  worry about getting it right (if nothing else, we can then blame
  autoreconf instead of ourselves ;)

Fix signature password checking result on abnormal conditions (RhBug:496754)
- Execve() failure wasn't returning an error code, causing rpm to
  think the password was ok when we couldn't even try verifying
- Stricter return code checking from the password checking child:
  the password can only be ok if the child exits with WIFEXITED() *and*
  WIFEXITCODE() of 0. Also WIFEXITCODE() should only be called if
  WIFEXITED() returns true.

We can't handle OpenPGP subkeys or secret keys, so dont even try
- parsing subkeys ends up overwriting data in the main key, causing
  bogus signature checking failures
- this is the final missing piece of RhBug:436812, short of adding
  proper support for subkeys (maybe someday...)

Dont blow up on headers without requireflags in rpmdsNew()

Nuke leftover debug junk

Support constructing header data from python
- no proper i18n string support yet, just the basic types
- basic data type validation only, no overflow checking for integer types
- for lists, validate all items before trying to insert anything
- duplicate tag creation not permitted
- appending not permitted, only assignment (and deletion already)
- there are probably bugs...
- watch out for librpm bugs when passed incomplete headers, ugh

Disable rpm.td type for now
- its not that clear that exporting the td type is really useful
  (certainly not in its current form), avoid exporting an interface we
  might not want to support

Fix hdrContains() return value on error

Remove bogus rpmpopt.pot file (ticket #77)
- this is supposed to automatically generated on update-po time from
  toplevel rpmpopt file and merged into rpm.pot but has been broken for
  a long long time and also the $ translation marking has been deprecated
  for security reasons

Remove hdr.has_key() method, support 'key in h' style instead
- Python 3 removed has_key() from dictionaries, as the 'in' way is the
  way of the future support that from the start (has_key() is not in
  any released rpm version so its safe to remove)

Remove unnecessary hdr.instance() method
- this is available through tag extension now, no point having a
  separate method for it

Typos in exception messages

Error out early trying to install on readonly fs (ticket #99, RhBug:464750)
- simply make readonly filesystems appear as full, preventing install
  early instead of failing with cpio errors in middle of transaction

Convert French man page to Unix line-endings

Fix build with binutils-gold (ticket #107)
- patch from Michal Čihař

Add RPMTAG_EPOCHNUM tag extension
- return RPMTAG_EPOCH but convert non-existent epoch to 0, as rpm internals
  treat it

Add spec package type with access to headers to python rpmb module
- permits python to access parsed headers from spec files
- ticket #14, RhBug:462726

Permit header object generation from PyCObjects
- needed for generating header objects from other extension modules &
  might be handy in some other cases too
- patently type-unsafe but as long as python doesn't provide a better
  way, not really our headache

Lose the silly specFromSpec()
- its our own private data structure we're accessing here, no need
  for extra wrappers and nothing outside spec-py.c needs this

Turn current python spec methods into read-only attributes via getseters
- incompatible, but nobody is really using the spec bindings for
  anything as there's been very little you've been able do with them
- having the stuff accessible as getseters means we dont need 50 different
  fooSet() methods if/when we permit modifying these from python

Sanitize python spec.sources()
- spec without sources is perfectly valid, just return an empty list
  instead of invalid NULL return without exception set and simplify

Put a bit of sanity into python spec methods
- prep, build etc missing from spec are not errors
- instead of returning NULLs (with no exception set!), just return None
  for anything that doesn't exist
- dont bother with NULL checks, if s->spec is NULL then something else
  has screwed up big time

Oops, tp_dealloc doesn't return anything

Fix rpmProblem reference counting in python bindings

Declare a few python functions only taking one argument as such

Rip python checkSignals() wtf'ery
- since the function takes no arguments, declare it as such...

Python archscore() only ever takes one argument, simplify

Make python ts.problems() return a python list, not rpm.ps object
- rpm.ps object only supports iteration and subscript (with wonderfully
  wacko semantics), returning a regular list serves us better
- rip the now useless rpm.ps object type

Remove unused psFromPs()

Eliminate broken rpmps append() method from python bindings (RhBug:538218)
- The code to insert new problems has been using invalid conversion code
  causing crashes since 2004 and nobody noticed, safe to say this is an
  unused interface. Additionally the method argument flags were wrong, it
  was declared as METH_VARARGS but actually expected METH_O semantics. RIP.

Add in-memory hash for caching rpmdb dependency lookups
- worst case behavior for uncached dependency lookups can be disastrous,
  eg > 35s vs < 1s on my laptop for trying to remove /bin/sh provider
- we only bother caching rpmdb lookups, the other cases plenty fast already
- using in-memory cache avoids nasty in vs out of chroot issues with
  temporary db files, which otherwise were about as fast

Document our new format extensions

Add file verifyflags format extension

Add file state format extension

Update rpmtd formats comments to match reality
- we dont require exact int32 etc types, any numeric type works

Convert relative imports within rpm package to absolute imports

Permit any file-like object in rpm.setLogFile()
- using PyObject_AsFileDescriptor() does away with another Python 3
  incompatibility and makes it more flexible.. but also more murky
  as rpmlogSetFile() only accepts FILE * streams...

Update module initialization to work with both Python 2.x and 3.x
- split common initialization tasks to separate functions, so that only the
  details of initializing a python module object differ
- patch from David Malcolm

Remove unnecessary (cmpfunc) casts from our type objects
- cmpfunc is no more in Python 3 and casting NULL to anything makes
  little sense anyhow

Eliminate ambiguous tp_compare and tp_richcompare from rpm.ds
- both comparison types are highly ambiguous, eg what on earth does
  "foo provides bar = 1" < "bar requires foo > 2" mean?
- if straight ds1.evr vs ds2.evr comparison is needed, we'll be better
  off supporting that through rpm.versionCompare() which has clear semantics
- avoids another Python 3 incompatibility too

Add ds.Compare() as a thin wrapper over rpmdsCompare()

Type-check rpm.ds() comparison/search arguments everywhere
- also make them only accept one argument, simplifying arg parsing

Rip out stillborn code

Eliminate the ambigious tp_compare from rpm.hdr
- Avoids another Python 3 incompatibility as it doesn't have tp_compare
  anymore
- We could add a compatible tp_richcompare, but comparisons like
  'if h1 < h2: do foo' are highly ambiguous, callers are better of
  using explicit rpm.versinCompare(h1, h2) instead

Use PyObject_AsFileDescriptor() instead of object type comparison
- this permits any file-like object implementing .fileno() method
  (including rpm.fd) to be dup'ed, not just PyFile subtypes
- this also avoids yet another incompatibility with Python 3 which doesn't
  have PyFile_Check() and PyFile_AsFile() at all

Dont bother calculating hardlink counts when the value is not used
- speeds up non-verbose --list queries by some ~50%

Support multiple python versions in brp-python-bytecompile (RhBug:53117)
- For *.py files in python library path, use matching python interpreter
  version for compiling, this is especially needed for Python 3 which
  is very different from Python 2 code. And even if the code compiled
  with a wrong version, it would be recompiled at run-time when invoked
  with the intended python version, causing verification errors etc.
- For *.py files outside the library path, use "system python" which
  might not be always correct but we dont really know any better.
- Patch from David Malcolm

Argh, typo in previous commit

Remove explicit Py_TPFLAGS_HAVE_RICHCOMPARE from ds type flags
- HAVE_RICHCOMPARE is included in Py_TPFLAGS_DEFAULT since at least
  Python 2.3 which is as far back as we care, no need to explicitly
  set it. Eliminating the unnecessary flag removes another Python 3
  compatibility issue as the flag is gone there.

Make disk space problem reporting slightly saner (RhBug:517418)
- Only report disk space/inode issues for packages that are affected
  instead of piling up all the problems in all filesystems on all remaining
  packages
- The messages are still ambiguous at best, need to figure out something
  better one of these days...

Let Python decide the "native" string type for tag names
- Py_BuildValue("s", ...) returns unicode objects in Python 3, string
  objects in Python 2, this is what we want here

Permit unicode as ts.dbMatch() key argument

Allow unicode objects as tag name everywhere

Add conversion function for handling python unicode -> string issues
- In Python 3 everything is unicode, forcing each and every caller to
  convert manually is a bit much.

Make --httpproxy and friends work again (RhBug:529214)
- macro fiddling to pass the macros set by --httpproxy etc popt aliases
  to the url helper
- ftp proxy and http proxy control the same thing (http proxy) now to
  keep things simple
- while at it, add %__urlhelper_localopts for local customization needs
  without having to override the entire __urlhelperopts macro

On Python 3, use macros to alias all usage of PyInt_ to PyLong_ equivalents
- Python 3 unified PyInt with PyLong, the former no longer exists
- Based on a patch by David Malcolm

Replace PyString usage with PyBytes everywhere
- In Python 2.6 PyBytes is just an alias for PyString, Python 3.0
  removed PyString entirely
- Add compatibility defines for Python < 2.6
- Based on David Malcolm's Python 3.x efforts

Ensure RPMSENSE_RPMLIB bit is always set on rpmlib() requires in rpmds flags
- some packages in the wild have rpmlib() requires without the flag set
  due to older rpm not always setting it (for one, rpmdeps as external
  dependency  generator could cause such deps), causing bogus dependency
  failures on install
- only fix up dependencies coming from a header, rpmdsSingle() correctness
  is up to the caller

Ensure rpmlib() dependency sanity on build
- only requires on rpmlib(foo) are allowed
- make sure any rpmlib() foo dependencies have RPMSENSE_RPMLIB bit set,
  rpmdeps as external dependency generator can create rpmlib() dependencies
  without the bit set, and also any manual rpmlib() deps wont have it

Fix memory leaks on error exit from parseRCPOT()

Remove leftovers from python header files
- rpmSingleHeaderFromFD() and hdrLoad() are now implemented in python,
  declarations accidentally left here
- make rpmMergeHeaders() static, nothing outside header-py.c needs

Convert all usage of two-expression exception raising to modern syntax

Replace all usage of the two-expression
    raise foo, 'bar'
syntax with the long-equivalent
    raise foo('bar')
as the old syntax was removed in Python 3 (PEP 3109), and the new syntax
is supported in Python 2

PyVarObject_HEAD_INIT() compatibility macro for Python < 2.6

Generalize type object initialization to work with both Python 2.* and Python 3.*

The layout of PyVarObject changed between python 2 and python 3, and this leads
to the existing code for all of the various PyTypeObject initializers failing to
compile with python 3

Change the way we initialize these structs to use PyVarObject_HEAD_INIT directly,
rather than merely PyObject_HEAD_INIT, so that it compiles cleanly with both major
versions of Python

Py_TYPE() compatibility macro for Python < 2.6

Generalize access to ob_type so that they work with both Python 2.* and Python 3.*

Python 2's various object structs use macros to implement common fields at the top of each
struct.

Python 3's objects instead embed a PyObject struct as the first member within the more refined
object structs.

Use the Py_TYPE() macro when accessing ob_type in order to encapsulate this difference.

Avoid using python's print for Python 3.x compatibility
- print chanced from statement to a function in python 3, for our
  purposes sys.stdout.write() is sufficient and avoids dealing with
  the incompatibilities between Python 2.x and 3.x
- suggested by David Malcolm / Ville Skyttä

Unbreak lzdio/xzdio
- revert part of b0d1038190be5cb4b45e2c2c7c84ee7022164ba2 which broke
  the split-personality lzdio/xzdio

Skip posttrans scripts of failed transaction elements

Since we really want a FILE* then get one in the first place
- this is visible in the librpmbuild exported goo, rename the member
  to force build-breakage on the poor souls trying to use librpmbuild API

Use a helper function for finding fileno of specific io type
- also differentiate between lzdio and xzdio here

Lose unnecessary url type checking from fdSize()
- we're only dealing with local files once fd is opened

Lose unused leftover definitions

Eliminate ufdio-specific read, write, seek and close
- we dont do network IO anymore so ufdio only differs from fdio by
  downloading the file on open if necessary, after that it's just fdio

Use fd.tell() instead of going around through os.lseek() with fdno

Add tell() method to rpm.fd class

Add ftell() clone to FD_t

Avoid unnecessary dup'ing of file descriptors on header list operations
- convert to rpm.fd on python side already add use internal helper
  which only accepts rpm.fd type to avoid having to dup around on
  every item

Accept rpm.fd() types file objects everywhere in python bindings
- turn rpmfdFromPyObject() into a python-level object converter, add
  a separate C-level getter for the fd pointer itself
- take advantage of python refcounting to handle differences between
  native vs converted rpm.fd in callers so we can simply decref the
  rpmfdFromPyObject() result without having to worry whether it was
  converted or not (ie should we close it or not)

Make fdUpdateDigests() static now that its possible

Make FD_t struct opaque, finally

Eliminate last remaining FD_t struct privacy violation
- add getter for fd digest bundle, uninline the setter

Remove cpio stuff from FD_t
- only the FSM cares about cpio position, move it there - there's only
  ever one fd active inside FSM, no need to track it per-fd

Move debug goo defs to rpmio.c