Try to avoid an invalid datafile after failed init

Clarify mdb_dbi_open doc

The concurrency restriction is on threads within a single process.
Multiple processes can use mdb_dbi_open without affecting each other.

C90-compatible code for SysV semaphores

ITS#7987 fix excessive space for single write txn

ITS#7994 fix prev commit

Strip docs promising behaviors that we don't promise to hold.
Strip MDB_txnid_t typedef.

ITS#7994 Access to current transaction ID.

I, David Barbour, hereby place the following modifications to OpenLDAP
Software (and only these modifications) into the public domain. Hence,
these modifications may be freely used and/or redistributed for any
purpose with or without attribution and/or other notice.

Fix SysV semaphores - repair mti_txnid.

Similar to 443a7e40c4280cfd07cbf80c5de62ea072b136e3.

For ITS#7789: Ensure mapsize >= pages in use.

Check new mapsizes against mm_last_pg.  Move
mdb_env_init_meta0() so it can set mm_last_pg earlier.

Fix WIN32 -> _WIN32

mdb_strerror: Silence warning @ Windows

Fix comments

Clean up SysV semaphore code.

Change MDB_LOCK_FORMAT to differ from Posix semaphores/mutexes.
Do not use array/member length 0 for MDB_txninfo.mt2.

Fix robust mutexes - repair mti_txnid.

Broken by e3b6c359a935283c21e1fd7d03b790d87d53b933, if
commit() crashes in write_meta before setting mti_txnid.

Simplify recent changes a bit.

ITS#7961,#7987 Re-fix txn init.

More fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522:
Don't modify another thread's write txn. Reinit me_txn0 fully.

ITS#7971 LMDB: clarification in mdb_txn_renew0().

ITS#7970 LMDB: Critical Heisenbug

Inconsistent reading & SIGSEGV due to the race condition.

ITS#7969 LMDB: volatile & __synchronize().

Globally shared fields of meta-data are not 'volatile'.

ITS#7959 fix prev commit

fstat returns -1, not an errno. Move code into its own function
for reuse.

ITS#7961 fix txn init

More fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522

ITS#7959 Check fstat return value

Signed-off-by: Jean-Christophe DUBOIS <jcd@tribudubois.net>

ITS#7841 trivial cleanup

TRIVIA - lmdb: clean testdb-dir while "make test".

ITS#7956 fix compact of empty env

ITS#7955, #7671 fix MDB_PREV_DUP

ITS#7953 .gitignore *.lo

ITS#7952 .gitignore mdb_dump/load

Don't use -fPIC for static lib

Use robust mutexes by default

Making it optional on pthreads just complicates things;
they're always robust on other implementations

Use SysV semaphores instead of POSIX

Since they can cleanup after themselves on process exit

Must do dlist_free before releasing Wmutex

MDB_ROBUST: Use MDB_PID_T. Drop a wmutex variable.

Free write mutex earlier in txn_reset0

Add MDB_ROBUST

Android also only has memalign

new date

ITS#7943 reinit txn flags

When reusing the main write txn

Plug leak in 4d02c741b120786df1b87ee9ed49c1d3f9bc7522

Free writer txn on env_close

Silence some clang warnings

Release 0.9.14

Change retry to num times 60.  Testing shows that on a known dataset, this has the same growth behavior as 2.4.39, while num times 20 resulted in significant growth.

More for me_pgoldest

Leave it in main env struct, it doesn't need to be rolled back
with nested txns.

Remember oldest reader txnid

Don't walk the readers table unless we really need to.

Use a single write txn

ITS#7913 cleanup

we already checked for data == NULL, drop unnecessary if

More for MIPS

Move CACHEFLUSH, avoid unnecessary if()

Partially revert ada26306992babeccad0c5443fbd76e28dd24cd6

Of course, MacOSX only has posix_memalign, and only in recent versions.
(Older versions could use valloc instead. That precludes ever changing
the LMDB pagesize to be different from the OS pagesize.) Not all that
crucial since it only affects mdb_env_copyfd1.

Microoptimize loose pages

Fix loose pages in mdb_freelist_save().

Leaving them in dirty_list caused breakage.  Instead merge them
into me_pghead at the end, when no more pages will be allocated.

Split out mdb_midl_xmerge, add MDB_IDL_ALLOCLEN

ITS#7917

ITS#7917 fix mdb_dbi_open

Don't let dummy go out of scope

Just use memalign, not posix_memalign

Everything has it. Solaris doesn't have posix_memalign.

More for MIPS

Do a cacheflush after writing data pages, separate from meta's cacheflush

ITS#7793 more for branch key update

ITS#7793 doc update, again

ITS#7793 update branch key if needed

More for MIPS

Paranoia for 3630066843b7ca6b2cd12911d3e2fe3314cd4549 do the
cacheflush before setting mti_txnid.

ITS#7913 mdb_cursor_get(*_DUP) cleanup

FIRST_DUP/LAST_DUP should succeed even on non-duplicate values
PREV_DUP should reset cursor's EOF flag.

Fix MIPS cache coherency on Linux

MIPS chips require manual control of on-chip caches. The cacheflush
syscall being used here only exists on MIPS Linux, other OSs will
require revisiting.

Update date

more for mdb_cursor_count

return MDB_NOTFOUND if the cursor is empty

Fix mdb_copy & co when MDB pagesize < OS pagesize

ITS#7789 doc updates

ITS#7789 Fix mdb_env_write_meta().

Always write mapsize = max(other metapage:mapsize, env:mapsize).

Revert ITS#7789 commits, let's try this again.

Revert "ITS#7789 Fix resize vs MDB_NOMETASYNC, and a comment."
Revert "ITS#7789 more"
Revert "Revert "ITS#7789 update RESIZED errmsg text""
Revert "ITS#7789 update RESIZED errmsg text"
Revert "ITS#7789 persist mapsize changes"

This reverts commit 02285aca58f5629547263ba09e7dd685dcf6b4b5.
This reverts commit 38e71c68de2ad61fb0fd72fd40214fd9a94479b9.
This reverts commit a5e4eecb1e59e9645113bb4c63d06a23a2c4bdf9.
This reverts commit d8e18551c3f03d5205f4dc8d1711e494d3814b17.
This reverts commit 5926e54bba7c976e0837221efb20cbff384207b8.

Fix env_open mode bits

Fix mdb_cursor_count, reject uninit'd cursor

Silence prototype warnings

Typo

ITS#7896 fix for mdb_env_map

Don't pass non-NULL map address unless MDB_FIXEDMAP was used.

More for cursor EOF

Must also set in sub-cursor if deleting entire subDB

Zero-init copy2 writebuf

MDB_MAXKEYSIZE = 0 (dynamic value) when MDB_DEVEL

MDB_DEVEL doxygen fix

ITS#7789 Fix resize vs MDB_NOMETASYNC, and a comment.

Windows fixes

Always set the filesize when opening for writes. Otherwise
can't use backups from mdb_copy.

Windows compat

We mainly use Win32 functions, so cannot just use C-runtime strerror
to return error messages. We have to use Win32-specific messages.
Unfortunately, we document the API to return C-runtime error codes,
so we can't just switch to all Win32 error codes.

Fix loading of printable dump

Off-by-one in end check, would complain on valid input.

ITS#7789 more

persist size changes from env_open() as well. This was the
original behavior.

Revert "ITS#7789 update RESIZED errmsg text"

This reverts commit d8e18551c3f03d5205f4dc8d1711e494d3814b17.
And partially reverts mapsize check. Only mapsize increases are relevant.

ITS#7825 more

Set read txn's dbiseqs to env's. Set child txn's dbiseqs to parent's.
Simplify DBI_CHANGED test, no need to check md_name. No-op dbi_close
of already closed handle.

Updates #7789, #7825

ITS#7825 more

only update dbiseq in dbi_open on write txns

ITS#7825 tweak prev commit

dbiseqs are only checked in write txns so omit from read txns

ITS#7825 add MDB_BAD_DBI error code

Use DBI sequence numbers to detect DBIs being closed while in use.

ITS#7789 update RESIZED errmsg text

ITS#7789 persist mapsize changes

Write decreases too, not just increases. Check for any size change
that was not requested by this process.

Update LMDB version date/info

ITS#7892 Fix MacOSX section name

ITS#7713 cleanups

'#ifdef MDB_DEVEL' -> '#if MDB_DEVEL'
Fix comments, use actual PAGEBASE macro as originally intended.
Actually enable 64K pages. Set MDB_DATA_VERSION for testing only.

Fixes for loose pages

mdb_txn_commit(child): Give loose pages to parent.
Use a pointer beyond the page header instead of mp_next, so
we will not need to save/restore mp_pgno. This avoids a crash
caused by references to mp_pgno.

Re-fix cursor EOF

Fix in 534dcc721287cfe1051191a5cd7d3df6cf1dc409 was in wrong place

ITS#7713 handle 65536 byte page size

Fix mp_lower/mp_upper to exclude PAGEHDRSZ, which means our
max mp_upper is now pagesize - PAGEHDRSZ and won't overflow.
Currently must define MDB_DEVEL to use. Will be default for
LMDB 1.0/OpenLDAP 2.5

Set xcursor EOF after deleting last entry

Compacting copy doesn't need to snapshot metas

Windows fixes

Play games with object file layout

Use gcc section attribute to keep less frequently used functions
away from main code.

Rationalize mdb_env_copy2 API

More tweaks to copyfd2

Make sure the writer thread starts and stops when we expect it to.

More copyfd2 tweaks