testsuite: run-debuginfod-find.sh: Be more verbose on failure

To help diagnose timing glitches in debuginfod testing, print more
diagnostics on a metric-timeout failure.

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>

readelf: Type DIE offset is from start of CU.

While inspecting some type units I noticed the type offset seemed off.
We were printing the offset as is, but it should include the offset of
the unit. There was actually a testcase for this, run-readelf-types.sh
but that had the same bug in the expected output. Fixed both.

Signed-off-by: Mark Wielaard <mark@klomp.org>

readelf, libdw: blocks aren't expressions for DWARF version 4

For DWARF version 4 or higher a block form really encodes a block,
not an expression location. Also constant offsets can be expressed
as DW_FORM_implicit_const in DWARF version 5.

Signed-off-by: Mark Wielaard <mark@klomp.org>

PR27413: use bsdtar to unpack deb-related formats

dpkg-deb has been reported to be fragile when running under
debuginfod, whereas bsdtar (libarchive) is happy with all these
flavors of files.  Switch to a bsdtar based pipeline, now
equipped with an escaped glob pattern that adapts to a variety
of interior data.tar* compression formats.

No testsuite impact.  .ipk format tested with some random openwrt and
kino-extension binaries found on the net.  Some of these are built
with out buildid, and hardly any with debuginfo, but whatever, bsdtar
and elfutils extract whatever info is there.

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>
Signed-off-by: Dorinda Bassey <dorindabassey@gmail.com>

tests: Quote make variables in TESTS_ENVIRONMENT

Commit eb922a1b8f3a ("tests: use ${CC} instead of 'gcc' in tests")
exports ${CC} into the test environment, but doesn't quote the
value for the assignment. That doesn't work properly if the value
contains whitespace. In a multilib/biarch environment however, it's
common to set CC="gcc -m32" or similar. That causes tests to print
error messages: "/bin/sh: line 2: -m32: command not found".

Fix that by adding quotes around all make variables (not just $CC)
used in setting up TESTS_ENVIRONMENT.

Signed-off-by: Alexander Miller <alex.miller@gmx.de>

elfutils.spec.in: Escape %%check in comment.

Signed-off-by: Mark Wielaard <mark@klomp.org>

tests/run-debuginfod-find.sh: skip test if cpio isn't available.

Signed-off-by: Érico Rolim <erico.erc@gmail.com>

NEWS: add one more debuginfod brag

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>

Prepare for 0.183

Set version to 0.183
Update NEWS and elfutils.spec.in.
Set copyright year in configure.ac and printversion.
Regenerate po/*.po files.

Signed-off-by: Mark Wielaard <mark@klomp.org>

backends/ppc_initreg.c: include <asm/ptrace.h>.

Necessary on musl for struct pt_regs definition, doesn't affect the
build on glibc, since <sys/user.h> includes the same header.

Signed-off-by: Érico Rolim <erico.erc@gmail.com>

ar: Pull should_truncate_fname() into file scope

Get rid of a nested function this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

PR27092: debuginfod low-memory handling

A couple of closely related pieces of work allow more early warning
about low storage/memory conditions:

- New prometheus metrics to track filesystem freespace, and more
  details about some errors.
- Frequent checking of $TMPDIR freespace, to trigger fdcache
  emergency flushes.
- Switch to floating point prometheus metrics, to communicate
  fractions - and short time intervals - accurately.
- Fix startup-time pthread-creation error handling.

Testing is smoke-test-level only as it is hard to create
free-space-limited $TMPDIRs. Locally tested against tiny through
medium tmpfs filesystems, with or without sqlite db also there.  Shows
a pleasant stream of diagnostics and metrics during shortage but
generally does not fail outright.  However, catching an actual
libstdc++- or kernel-level OOM is beyond our ken.

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>

PR27323 debuginfod: improve query concurrency with grooming

Start using a second sqlite3 database connection for webapi query
servicing.  This allows much better concurrency when long-running
grooming operations are in progress.

No testsuite impact.  Grooming times are too short to try to hit with
concurrent requests.  OTOH the existing tests did show some
interesting regressions that needed fixing, like needing not to
dual-wield db and dbq when doing rpm-dwz-related lookups from during
scanning, and the way in which corrupted databases are reported.
These needed some automated invocations of gdb on the running
debuginfod binaries that just failed their testing, for in-situ
debugging.

Hand-tested for function on a huge 20GB index file.  Allowed webapi
queries to be run throughout random points of the grooming process,
including especially the long count(*) report loops before & after.

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>

readelf: Remove show_op_index variable

advance_pc() uses show_op_index to save whether the current op_index is
> 0 OR the new op_index is > 0.

The new op index is calculated via

new_op_index = (op_index + op_advance) % max_ops_per_instr;

since all of the variables involved are unsigned,
new_op_index >= op_index is always true.

So...

if op_index > 0, then new_op_index > 0
if op_index == 0, then new_op_index >= 0

and if the new_op_index is > 0, then the old one was as well.

In any case, we only need to check the new_op_index, since show_op_index
used to OR the two comparisons.

In other words:

 op_index > 0  |  new_op_index > 0  || show_op_index
 ------------------------------------------------
      true           true                true
     false           true                true
      true          false                true     xx
     false          false                false

... but since the third line (marked with xx) is not possible,
the table becomes:

 op_index > 0  |  new_op_index > 0  || show_op_index
 ------------------------------------------------
      true           true                true
     false           true                true
     false          false                false

... and show_op_index is equal to (new_op_index > 0).
So, remove the show_op_index variable and simply replace it by comparing
the new op_index > 0.

libdwfl: use GNU strerror_r only when available.

Some C libraries don't provide the GNU version of strerror_r, only the
XSI-compliant one. We use the GNU version when available, since it fits
the code better, and otherwise use the XSI-compliant one.

https://sourceware.org/bugzilla/show_bug.cgi?id=21010

Signed-off-by: Érico Rolim <erico.erc@gmail.com>

tests: use ${CC} instead of 'gcc' in tests

To better support cross-compilation Gentoo provides a way
to configure system without 'gcc' binary and only provide
tool-prefixed tools, like 'x86_64-pc-linux-gnu-gcc'.
The packages are built as ./configure --host=x86_64-pc-linux-gnu.

In https://bugs.gentoo.org/718872 Agostino Sarubbo found
a few test failures that use hardcoded 'gcc' instead of
expected ${CC}. The change propagates detected ${CC} at
configure time to test scripts.

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

readelf: Pull regname() into file scope

Get rid of a nested function this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

readelf: Pull left() info file scope

Get rid of a nested function this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

readelf: Pull same_set() info file scope

Get rid of a nested function this way

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

readelf: Pull add_dump_section() into file scope

Get rid of a nested function this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

arlib-argp: Pull text_for_default() into file scope

Get rid of a nested function this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

zstrptr: Pull print_string() into file scope

Get rid of a nested function this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

addr2line: Pull show_note() and show_int() in file scope

Get rid of the nested functions

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

elf-from-memory: Refactor to get rid of nested function

Try to unify the 32/64 bit code paths and get rid of the nested
handle_segment() this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

elf-from-memory: Restructure code to get rid of nested handle_segment()

Use one loop for both 32 and 64  bit case. This allows for only one call
site of the old handle_segment(), which we can then inline into the for
loop.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

strip: Remove no_symtab_updates() function

The no_symtab_updates() function was being called at the beginning of
all case labels in this switch, so we can just call it once before the
switch. Then it only has one call-site, so inline this short function
there.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

strip: Pull update_section_size() into file scope

Get rid of a nested function this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

strip: Pull relocate() info file scope

Pull relocate() info file scope and get rid of a nested function this
way. Refactor remove_debug_relocations() to minimize the parameters we
need to pass to relocate().

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

strip: Replace nested check_preserved function with loop

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

elflint: Recognize SHF_GNU_RETAIN as extra section flag.

SHF_GNU_RETAIN is like SHF_LINK_ORDER it can appear on any section
and should be ignored by elflint. Add all such flags to a new
EXTRA_SHFLAGS and use it consistently in check_sections.

https://sourceware.org/bugzilla/show_bug.cgi?id=27134

Signed-off-by: Mark Wielaard <mark@klomp.org>

Add coverage target

Implement a target for capturing code coverage using lcov.
It is available when elfutils is configured using --enable-gcov.

Tested with
autoreconf -if && ./configure --enable-maintainer-mode --enable-gcov &&
make && make check && make coverage

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

src/elflint.c: add debug print for GNU_RETAIN and others

Signed-off-by: Mark Wielaard <mark@klomp.org>

src/elflint.c: fix printing of unknown flags

before the change section_flags_string() ignored unknown section
flags: snprintf() did write numeric value into buffer, but
"*cp = '\0'" negated the effect.

The change advances the 'cp' pointer'.

While at it add a '|' separator between known and unknown flags.

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

src/readelf: use qsort instead of qsort_r.

This program is single threaded, so using qsort with a global variable
isn't a danger. The interface for qsort_r isn't standardized (and
diverges between glibc and FreeBSD, for example), which makes usage of
qsort, where possible, preferrable.

Signed-off-by: Érico Rolim <erico.erc@gmail.com>

Split the top level .gitignore file

Move subdirectory parts of the top level .gitignore into appropriate
subdirectories.  This would be consistent with ChangeLog files,
currently one has to update the top level ChangeLog file when
the top level .gitignore file is changed in a way that affects
a specific subdirectory only.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

.gitignore: update

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libcpu: linking i386_gendis requires obstack.

Signed-off-by: Mark Wielaard <mark@klomp.org>

Handle SHF_GNU_RETAIN in eu-readelf and eu-elflint.

readelf -S now shows 'R' when SHF_GNU_RETAIN is set.
elflint accepts SHF_GNU_RETAIN when set on section in --gnu mode.

Signed-off-by: Mark Wielaard <mark@klomp.org>

libelf: Sync elf.h from glibc.

Adds SHF_GNU_RETAIN.

Signed-off-by: Mark Wielaard <mark@klomp.org>

Modernize gettext infrastructure

Switch to use AM_GNU_GETTEXT, AM_GNU_GETTEXT_VERSION, and
AM_GNU_GETTEXT_REQUIRE_VERSION, this allows to stop bundling gettext
infrastructure files and let autoreconf invoke autopoint which will set
the gettext infrastructure up.

Use this opportunity to create separate .gitignore files for m4/ and po/
directories.

Tested with
autoreconf -if && ./configure --enable-maintainer-mode && make && make distcheck

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

src: consistently use _(Str) instead of gettext(Str)

Make use of the _(Str) macro provided by <config.h>.

The change was made automatically using the following command:
$ git grep -l '\<gettext *(' src |xargs sed -i 's/\<gettext *(/_(/g'

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libcpu: consistently use _(Str) instead of gettext(Str)

eu-config.h defines _(Str) to dgettext ("elfutils", Str) instead of
a simple gettext (Str) for a reason: the library might be indirectly
used by clients that called bindtextdomain with a domain different
from "elfutils".

The change was made automatically using the following command:
$ git grep -l '\<gettext *(' libcpu |xargs sed -i 's/\<gettext *(/_(/g'

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

lib: consistently use _(Str) instead of gettext(Str)

eu-config.h defines _(Str) to dgettext ("elfutils", Str) instead of
a simple gettext (Str) for a reason: the library might be indirectly
used by clients that called bindtextdomain with a domain different
from "elfutils".

The change was made automatically using the following command:
$ git grep -l '\<gettext *(' lib |xargs sed -i 's/\<gettext *(/_(/g'

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

Consistently define _(Str) using dgettext ("elfutils", Str)

Move the definition of _(Str) macro to lib/eu-config.h which already
provides a definition of N_(Str) macro.  Since lib/eu-config.h is
appended to config.h, it is included into every compilation unit
and therefore both macros are now universally available.

Remove all other definitions of N_(Str) and _(Str) macros from other files
to avoid conflicts and redundancies.

The next step is to replace all uses of gettext(Str) with _(Str).

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libebl: consistently use _(Str) instead of gettext(Str)

libeblP.h defines _(Str) to dgettext ("elfutils", Str) instead of
a simple gettext (Str) for a reason: the library might be indirectly
used by clients that called bindtextdomain with a domain different
from "elfutils".

The change was made automatically using the following command:
$ git grep -l '\<gettext *(' libebl |xargs sed -i 's/\<gettext *(/_(/g'

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libelf: Make sure we have at least a full ELF header available.

When elf_memory is called we could get a slightly too small image
that doesn't contain a full ELF header (but does contain at least
the e_ident values). Require the full header before even validating
the rest of the ELF header fields.

https://sourceware.org/bugzilla/show_bug.cgi?id=27076

Signed-off-by: Mark Wielaard <mark@klomp.org>

elflint: Always print symbol name (if known) in error messages.

Adding the symbol name associated with the symbol index number
makes the error messages a little bit more useful. We used to say:

section [59] '.symtab': symbol 9: st_value out of bounds

But now says:

section [59] '.symtab': symbol 9 (.annobin_size.c.hot): st_value out of bounds

Signed-off-by: Mark Wielaard <mark@klomp.org>

po: remove empty translation files

Remove translation files that do not contain any translation strings,
not even a single fuzzy one.  These files are also unused because they
are not listed in the LINGUAS file.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

m4: remove unneeded Makefile.am

m4 files do not have to listed in EXTRA_DIST, in fact,
biarch.m4 has not been listed since its very beginning in 2013,
and nobody seems to have noticed so far.

Tested with
autoreconf -if && ./configure --enable-maintainer-mode && make && make distcheck

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

configure.ac: remove unneeded AC_CONFIG_MACRO_DIR([m4])

Makefile.am already contains "ACLOCAL_AMFLAGS = -I m4",
that is enough for autoreconf to do the right thing.

Tested with
autoreconf -if && ./configure --enable-maintainer-mode && make && make distcheck

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

Fix spelling typos in NEWS, NOTES, TODO, and in comments of configure.ac

accidently -> accidentally
approriate -> appropriate
depencies -> dependencies
endianess -> endianness
funtions -> functions
indeces -> indices
indentified -> identified
ist -> is
mutliple -> multiple
nessesary -> necessary
optimze -> optimize
severly -> severely
suport -> support
tranformation -> transformation

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

tests: fix spelling typos in error diagnostics and comments

Cannnot -> Cannot
decriptors -> descriptors
experssions -> expressions
explit -> explicit
falg -> flag
irrelevent -> irrelevant
mininum -> minimum
outselves -> ourselves
proces -> process
versio -> version

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

src: fix spelling typos in comments and ChangeLog

Indeces -> Indices
adress -> address
affort -> afford
dont' -> don't
futher -> further
higest -> highest
indeces -> indices
interate -> iterate
occured -> occurred
overlow -> overflow
sectin -> section
succesful -> successful
teminated -> terminated

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libelf: fix spelling typos in comments

Auxialiary -> Auxiliary
constucted -> constructed
desriptor -> descriptor
endianess -> endianness
responsibilty -> responsibility
sufficent -> sufficient

elf.h comes from glibc and therefore is excluded.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libdwfl: fix spelling typos in comments and ChangeLog

adresses -> addresses
boundery -> boundary
explictly -> explicitly
fo -> for
layed -> laid
partical -> particular
setion -> section
substract -> subtract
wil -> will

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libdwelf: fix spelling typos in comments

algorith -> algorithm
occured -> occurred

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libdw: fix spelling typos in comments and ChangeLog

Retieve -> Retrieve
apporiate -> appropriate
distinquish -> distinguish
dynamicly -> dynamically
indeces -> indices
lenght -> length
minium -> minimum
occured -> occurred
setion -> section
unknow -> unknown

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libcpu: fix spelling typos in comments

layed -> laid
adressing -> addressing

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libasm: fix spelling typos in comments

endianess -> endianness
setion -> section

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

config: fix spelling typos in comments and %changelog

directoy -> directory
fo -> for
funtions -> functions
ist -> is
mutliple -> multiple
priviliges -> privileges
reenable -> re-enable

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

backends: fix spelling typos in comments

adress -> address
sigle -> single

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

debuginfod: fix spelling typos in error diagnostics and comments

Initalize -> Initialize
Unsucessful -> Unsuccessful
expession -> expression
incompatiblity -> incompatibility

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

src: fix spelling typos in argp help text and error diagnostics

Since all these help text strings are marked for translation, apply the fixes
to translation strings as well, this helps to avoid translations becoming fuzzy.

lenght -> length
occured -> occurred
endianess -> endianness
reversable -> reversible

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libdwelf: fix spelling typos in strings returned by dwelf_elf_e_machine_string

embeded -> embedded
Semicondutor -> Semiconductor

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

doc: fix spelling typos

filesytem -> filesystem
requries -> requires
hte -> the
recieve -> receive
varients -> variants
preceeded -> preceded

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

Remove unused tests/configure.ac

tests/configure.ac was introduced 15 years ago by commit
d7f8d0caa7a357f9f4765e5dc93255f5057eba2e.  However, the ability to build
tests as a separate project was broken by the same author 4 years later
by commit 22359e265395fd2f8267190ef97f5417770e6206, if not earlier.

An attempt to run autoreconf in tests would currently fail
with the following automake error:
automake: error: cannot open < config/eu.am: No such file or directory

Apparently, nobody builds tests as a separate project for more than 10
years, so cleanup the remains of that unused and broken code.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

configure.ac: simplify argp check

Rewrite argp check using the same AC_SEARCH_LIBS based method used
earlier in the fts check.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

configure.ac: fix typo in error diagnostics

Fixes: da855fc9c ("Support building when fts and obstack aren't part of libc")
Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

Remove unused Makefile variable GCC_INCLUDE

It appears to be unused since the first commit in the revision history.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

link_map: Pull read_addrs() into file scope

Get rid of a nested function this way.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

link_map: Pull release_buffer() into file scope

Get rid of a nested function this way. Add a memory_closure struct to
keep the functions clean.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

Fix automake warnings

Apparently, commit 2f02e81510946a4c8e9157ad0b72d92894b9acd7 that removed
$(EXEEXT) suffix from shared libraries was incomplete: it missed the
fact that some libraries were included into noinst_PROGRAMS, resulting
to the following automake warnings:

libasm/Makefile.am:66: warning: deprecated feature: target 'libasm.so' overrides 'libasm.so$(EXEEXT)'
libdw/Makefile.am:114: warning: deprecated feature: target 'libdw.so' overrides 'libdw.so$(EXEEXT)'
libelf/Makefile.am:116: warning: deprecated feature: target 'libelf.so' overrides 'libelf.so$(EXEEXT)'

Fix this by renaming noinst_PROGRAMS to noinst_DATA and removing no
longer needed lib{asm,dw,elf}_so_SOURCES variables and add lib{asm,dw,elf).so
to CLEANFILES.

Fixes: 2f02e8151094 ("Drop $(EXEEXT) suffix from shared libraries")
Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>
Signed-off-by: Mark Wielaard <mark@klomp.org>

libdwfl: switch to DEBUGINFOD_SONAME, remove libdebuginfod.so fallback

Since DEBUGINFOD_SONAME is as good as ("libdebuginfod-" VERSION ".so")
for dlopen, switch to use the name which is a part of the API.

Given that DEBUGINFOD_SONAME is always available now, remove the no longer
needed fall back to dlopen of "libdebuginfod.so".

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

debuginfod: create libdebuginfod.so.1 before libdebuginfod.so

This would allow to switch from "libdebuginfod-" VERSION ".so"
to DEBUGINFOD_SONAME in __libdwfl_debuginfod_init, and to remove the
fall back to dlopen of "libdebuginfod.so" which would no longer be needed.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

debuginfod: export DEBUGINFOD_SONAME macro in debuginfod.h

Add DEBUGINFOD_SONAME macro to API for use by those of libdebuginfod
clients that would like to dlopen the library in the same way as
__libdwfl_debuginfod_init does.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

link_map: Inline consider_phdr() into only caller

This gets rid of the tested function and is shorter.

Signed-off-by: Mark Wielaard <mark@klomp.org>

Drop $(EXEEXT) suffix from shared libraries

According to GNU Automake documentation [1], $(EXEEXT) is the suffix
that should be used for executables, it is not applicable for shared libraries.

[1] https://www.gnu.org/software/automake/manual/html_node/EXEEXT.html

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

libdwfl: Use 64bit GElf_Addr instead of size_t to calculate address.

size_t is too small on 32 bit systems to analyze a 64 bit core file.

Signed-off-by: Mark Wielaard <mark@klomp.org>

segment_report_module: Inline consider_notes() into only caller

Get rid of a nested function this way.

Signed-off-by: Mark Wielaard <mark@klomp.org>

segment_report_module: Pull read_portion() into file scope

Signed-off-by: Mark Wielaard <mark@klomp.org>

segment_report_module: Pull finish_portion() into file scope

Use a read_state struct here to minimize the amount of parameters we
pass.

Signed-off-by: Mark Wielaard <mark@klomp.org>

debuginfod: correct prometheus metric typo

The "-" character is not allowed in a metric label_name, whoops,
so use "_" for one of the new sqlite metrics.

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>

debuginfod: use clock_gettime(CLOCK_MONOTONIC) for intervals

On Mark's request, use a monotonic clock for metrics/reports related
to time interval measurement.  gettimeofday can jump a bit, which
could distort metrics.  Tests unaffected.

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>

debuginfod: sqlite3 metrics

Add metrics for tracking sqlite3 error counts and query performance.

The former looks like a new sibling of the "error_count" family, and
is tested by dd-corrupting a live database file then triggering some
debuginfod activity.

    error_count{sqlite3="file is not a database"} 1

The latter looks like _count/_sum pairs for each type of sqlite
prepared-statement used in the code, and is grep smoke-tested.  They
should assist a sysadmin in tuning db storage.  This example shows a
6.4 ms/operation cost:

    sqlite3_milliseconds_count{step-done="rpm-file-intern"} 318
    sqlite3_milliseconds_sum{reset="rpm-file-intern"} 2033

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>

segment_report_module: Inline consider_phdr() into only caller

Get rid of the nested function this way

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Inline consider_dyn() into only caller

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Unify d32/d64 loops

Just like we did before, use only one loop here and check for 32/64 bit
in the loop body. This way we only have one call site for consider_dyn

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Inline read_phdr() into only caller

There is now only one caller for this nested function, so get rid of it
by just inlining it there.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Use one loop for p32/p64 arrays

Do one loop check for 32/64 bit inside the loop, instead of outside.
This way we have only one call site for the function called in the loop
body.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Get rid of nested final_read() function

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Use a struct for build id information

Keep the three build id fields in a struct. This will be an important
clean up later.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Remove nested release_buffer() function

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Get rid of segment_read()

Just inline the memory_callback call everywhere segmenty_read was used.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

debuginfod-client: Initialize struct handle_data errbuf to the empty string.

Signed-off-by: Mark Wielaard <mark@klomp.org>

debuginfod-client: Add debuginfod_set_verbose_fd and DEBUGINFOD_VERBOSE

Introduce a new function debuginfod_set_verbose_fd which will produce
verbose output on a given file descriptor (STDERR_FILENO if the
environment variable DEBUGINFOD_VERBOSE is set) showing how the search
for a particular client query is going.

Example output:

debuginfod_find_debuginfo 1234567890
server urls "https://debuginfod.elfutils.org/ http://dbgd.usersys.com:3632/"
checking build-id
checking cache dir /home/mark/.cache/debuginfod_client
using timeout 90
init server 0 https://debuginfod.elfutils.org/
url 0 https://debuginfod.elfutils.org/buildid/1234567890/debuginfo
init server 1 http://dbgd.usersys.com:3632/
url 1 http://dbgd.usersys.com:3632/buildid/1234567890/debuginfo
query 2 urls in parallel
server response HTTP response code said error
url 0 The requested URL returned error: 404 Not Found
server response HTTP response code said error
url 1 The requested URL returned error: 404 Not Found
not found No such file or directory (err=-2)

Signed-off-by: Mark Wielaard <mark@klomp.org>

debuginfod: Handle "/" and report unrecognized operations

This doesn't change any functionality, but simply shows something a little
user friendlier when accessing the server "by hand" (in a browser).

Signed-off-by: Mark Wielaard <mark@klomp.org>

debuginfod: add thread-busy metrics to webapi service

Improve monitoring of debuginfod instances by tracking thread_busy
status for the threads responding to http requests.  While these are
usually short-lived, longer archive-uncompress operations can take
long enough time to show up on top/uptime.  This should also assist
noticing abusive clients and guide scaling of the service.

Signed-off-by: Frank Ch. Eigler <fche@redhat.com>

IBM Z: Fix endianess problem in pid_memory_read

The cached reads lack the big endian adjustments done in the fallback
path.

Signed-off-by: Andreas Krebbel <krebbel@linux.ibm.com>

segment_report_module: Remove nested finish() function

This works just as well with a goto-out style label.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>

segment_report_module: Get rid of variable-length arrays

This prevents a jump which is needed in a later patch.

Signed-off-by: Timm Bäder <tbaeder@redhat.com>