Fully initialize allocated memory.

__pyx_CyFunctionObject.defaults must be fully zeroed or a segfault or
memory corruption may occur if the object is visited by the garbage
collector before defaults is later populated. Uninitialized memory is
cast to PyObject* with undefined results:

  static int __Pyx_CyFunction_traverse(__pyx_CyFunctionObject *m, visitproc visit, void *arg)
  {
      ...
      if (m->defaults) {
          PyObject **pydefaults = __Pyx_CyFunction_Defaults(PyObject *, m);
          int i;
          for (i = 0; i < m->defaults_pyobjects; i++)
              Py_VISIT(pydefaults[i]);
                       ^^^^^^^^^^^^^

refactor analyse_types() and friends to work more like a transform by returning the node or a replacement

match simple keyword arguments that are passed into cdef function calls out-of-order

fix safety coercion after call node optimisation

move major part of SimplifyCalls transform into type analysis in GeneralCallNode

fix error test after enabling keyword arguments in simple C functions

fix compiler crash

fix error test after enabling keyword arguments in simple C functions

simple optimisation that statically maps keyword arguments to positional arguments when called signature is known

add some more typing in FlowControl.py

disable incorrect optimisation for set.discard()

minor tweak

declare some classes in FlowControl.py final to speed up internal method calls

clean up and improve static type declarations in FlowControl.py a bit

slight code simplification

extend test case

rst fix

clean up the C library wrapping tutorial a bit and add a section on callbacks

clarify comment in example

Oops, we do handle raise MemoryError() gracefully.

Undo a couple of documentation fixes (where the old style was intentional).

Fix one instance of code highlighting

Fix various typos in the documentation

Update code samples to use newer Cython / Python syntax

Fix broken code samples (indent, spaces, failing doctest)

Prefer the use of C++ style pointer declarations (char *c -> char* c)

Remove extra commas before colons (,:: -> ::)

Introduce more consistent capitalization of Python, Cython and NumPy

Fix some internal and external links in the documentation

merge 0.18.x branch into master

remove warning about missing 'const' support from docs and fix advice on declaring macros as 'enum' (which works only for ints)

exclude test in Py2.4

Added tag 0.18 for changeset 76f33728e853

increase master version to 0.19-dev

merge 0.18.x branch into master

prepare release of 0.18

fix a corner case where float(x) would not call x.__float__() for a float subtype

Added tag 0.18rc1 for changeset 9a11631e0edb

merge 0.18.x branch into master

Merge pull request #179 from cgohlke/patch-3

Fix overflow_check CompileError with msvc

Fix overflow_check CompileError with msvc

--HG--
extra : transplant_source : %3FH%B6t%1FFL%D8%2BF%7CV%7D%10T9%EA%CB%A0%00

Fix overflow_check CompileError with msvc

fix doctest dependency on dict order

set version to 0.18rc1

enable control flow analysis for stack allocated structured variables (struct, union, array, C++ class)

simplify code a bit

use interned Python string constant instead of calling through __Pyx_GetAttrString()

merge 0.18.x branch into master

fix C compiler warnings about missing PyModuleDef field initialisers in Py3.[01]

merge 0.18.x branch into master

fix new test in Py2.[45]

rewrite except-as semantics using try-finally - seems to be the easiest way to get flow control analysis working for all cases

merge 0.18.x branch into master

Merge pull request #164 from strohel/master

Add test for memoryview of extension type

merge 0.18.x branch into master

Merge pull request #178 from strohel/cpp-catch-in-nogil

Fix calling an "except +" cpp function in a nogil function

enable except-as target deletion only when language level is 3

disable broken optimisation for except-as special case

remove some code redundancy

extend except-as test case

make except-as delete the target after the except clause

merge 0.18.x branch into master

fix test when using NumPy 1.7

merge 0.18.x branch into master

fix new memory view error test in Py2.4

--HG--
extra : transplant_source : %8A%F1%17%5C%A7%CA%1C%B1%17%A1%C5t%06O%5BI%F2%19Vq

fix new memory view error test in Py2.4

Fix calling an "except +" cpp function in a nogil function

For a source:
|cdef extern from "<foo>":
|    cdef void foo_cpp() nogil except +
|
|cdef call_foo() nogil:
|    foo_cpp()

We used to generate something like this to actually call foo_cpp() in call_foo():
|try{foo_cpp();}
|catch(...) {
|  Py_BLOCK_THREADS; __Pyx_CppExn2PyErr(); Py_UNBLOCK_THREADS
|  `code.error_goto(self.pos))`
|}

where Py_BLOCK_THREADS expands to "PyEval_RestoreThread(_save);".
__Pyx_CppExn2PyErr() (and alternatives, see SimpleCallNode) calls CPython A API
methods so it needs to be guarded in a nogil environment.

One problem is that "PyThreadState *_save" is only declared by "with nogil:"
block, so a .cpp file that doesn't compile is generated for the above code.

However, I think the real issue is that Py_(UN)BLOCK_THREADS is inappropriate
here, as it isn't allowed to be called recursively and is valid only directly
in a Py_BEGIN_ALLOW_THREADS ... Py_END_ALLOW_THREADS. IMO PyGILState_Ensure()
and PyGILState_Release() (through `code.put_ensure_gil()` and a friend) is the
correct thing to call here as it is allowed to be called recursively and
actually ensures the current thread can call CPython C API.

This patch does exactly this (and it breaks the generated code to multiple
lines as it would be way too long otherwise), plus it extends the
cpp_exceptions_nogil.pyx test with above example that doesn't compile with this
fix not applied.

Note that we explicitly pass declare_gilstate=True to put_ensure_gil(), as
PyGILState_Ensure() docs state that recursive calls to it must not share the
PyGILState_STATE. C++-style declaring a variable inside a block should be
no-problem here, as try{} .. catch() is obviously valid only in a C++ code.

--HG--
extra : transplant_source : %AA%F3%BDk%FE%F9%01%7F%8C%A4n%5E%DA4%97%A5%D9%AF%D60

changelog

Fix calling an "except +" cpp function in a nogil function

For a source:
|cdef extern from "<foo>":
|    cdef void foo_cpp() nogil except +
|
|cdef call_foo() nogil:
|    foo_cpp()

We used to generate something like this to actually call foo_cpp() in call_foo():
|try{foo_cpp();}
|catch(...) {
|  Py_BLOCK_THREADS; __Pyx_CppExn2PyErr(); Py_UNBLOCK_THREADS
|  `code.error_goto(self.pos))`
|}

where Py_BLOCK_THREADS expands to "PyEval_RestoreThread(_save);".
__Pyx_CppExn2PyErr() (and alternatives, see SimpleCallNode) calls CPython A API
methods so it needs to be guarded in a nogil environment.

One problem is that "PyThreadState *_save" is only declared by "with nogil:"
block, so a .cpp file that doesn't compile is generated for the above code.

However, I think the real issue is that Py_(UN)BLOCK_THREADS is inappropriate
here, as it isn't allowed to be called recursively and is valid only directly
in a Py_BEGIN_ALLOW_THREADS ... Py_END_ALLOW_THREADS. IMO PyGILState_Ensure()
and PyGILState_Release() (through `code.put_ensure_gil()` and a friend) is the
correct thing to call here as it is allowed to be called recursively and
actually ensures the current thread can call CPython C API.

This patch does exactly this (and it breaks the generated code to multiple
lines as it would be way too long otherwise), plus it extends the
cpp_exceptions_nogil.pyx test with above example that doesn't compile with this
fix not applied.

Note that we explicitly pass declare_gilstate=True to put_ensure_gil(), as
PyGILState_Ensure() docs state that recursive calls to it must not share the
PyGILState_STATE. C++-style declaring a variable inside a block should be
no-problem here, as try{} .. catch() is obviously valid only in a C++ code.

Merge pull request #177 from strohel/propagate-error-memoryview

Fix error propagation from memoryview-returning functions

Fix error propagation from memoryview-returning functions

A code like
|cdef double[:] foo():
|    raise AttributeError('dummy')

generated C code like this:
|  __pyx_L1_error:;
|  (...)
|  __pyx_r.memview = NULL;
|  __Pyx_AddTraceback("view_return_errors.foo", __pyx_clineno, __pyx_lineno, __pyx_filename);
|  __pyx_L0:;
|  if (unlikely(!__pyx_r.memview)) {
|    PyErr_SetString(PyExc_TypeError,"Memoryview return value is not initialized");
|  }
|  __Pyx_RefNannyFinishContext();
|  return __pyx_r;
|}

Which is incorrect in error case, because we set __pyx_r.memview to NULL and
then we test it, so that the PyErr_SetString() is always called in the error
case, which swallows previously-set error. (it also swallowed the traceback,
which I don't understand)

A fix is to jump to return_from_error_cleanup label in case return type is
memoryview, as it is currently done for the case when buffers are present.

A testcase that fauils w/out this fix applied is included, too.

v2: fix test under Python 3 by not using StandardError

--HG--
extra : transplant_source : G%B5%99Og%D1%81%25k%8F%1F%7B%02V%3E%B9%A4y%FF%EA

Fix error propagation from memoryview-returning functions

A code like
|cdef double[:] foo():
|    raise AttributeError('dummy')

generated C code like this:
|  __pyx_L1_error:;
|  (...)
|  __pyx_r.memview = NULL;
|  __Pyx_AddTraceback("view_return_errors.foo", __pyx_clineno, __pyx_lineno, __pyx_filename);
|  __pyx_L0:;
|  if (unlikely(!__pyx_r.memview)) {
|    PyErr_SetString(PyExc_TypeError,"Memoryview return value is not initialized");
|  }
|  __Pyx_RefNannyFinishContext();
|  return __pyx_r;
|}

Which is incorrect in error case, because we set __pyx_r.memview to NULL and
then we test it, so that the PyErr_SetString() is always called in the error
case, which swallows previously-set error. (it also swallowed the traceback,
which I don't understand)

A fix is to jump to return_from_error_cleanup label in case return type is
memoryview, as it is currently done for the case when buffers are present.

A testcase that fauils w/out this fix applied is included, too.

v2: fix test under Python 3 by not using StandardError

Add test for memoryview of extension type

A test for a bug fixed in commit 478b939a4c99a77c0863cfd.

v2: add commit link above
v3: # tag: instead of # tags:, drop cpp tag as it means something different
    that I originally thought

There was a bug that produced C code where gcc emitted warnings:
extension_type_memoryview.c: In function ‘__pyx_pf_25extension_type_memoryview_test_getitem’:
extension_type_memoryview.c:1468:15: warning: assignment from incompatible pointer type
extension_type_memoryview.c: In function ‘__pyx_pf_25extension_type_memoryview_2test_getitem_typed’:
extension_type_memoryview.c:1565:15: warning: assignment from incompatible pointer type
extension_type_memoryview.c:1568:18: warning: assignment from incompatible pointer type

And g++ failed with errors:
extension_type_memoryview.c: In function ‘PyObject* __pyx_pf_25extension_type_memoryview_test_getitem(PyObject*)’:
extension_type_memoryview.c:1468:213: error: cannot convert ‘__pyx_obj_25extension_type_memoryview_ExtensionType*’ to ‘PyObject*’ in assignment
extension_type_memoryview.c: In function ‘PyObject* __pyx_pf_25extension_type_memoryview_2test_getitem_typed(PyObject*)’:
extension_type_memoryview.c:1565:213: error: cannot convert ‘__pyx_obj_25extension_type_memoryview_ExtensionType*’ to ‘PyObject*’ in assignment
extension_type_memoryview.c:1568:20: error: cannot convert ‘PyObject*’ to ‘__pyx_obj_25extension_type_memoryview_ExtensionType*’ in assignment

Merge pull request #176 from larsmans/fix-indent

fix indentation error in userguide

fix indentation error in userguide

--HG--
extra : transplant_source : %7B%A4%F1%C4/%E4l%2C_%BFF%5B%B7%9C%9F%E0_%2B%15%3D

fix indentation error in userguide

merge 0.18.x branch back into master

fix compiler crash in error case

optimise abs(long long)

merge 0.18.x branch back into master

avoid unused utility code for abs()

simplify abs() optimisation for C integers and fix it for the most negative int/long value

fix test

suppress C compiler warning on power operation on unsigned C int types

improve test output in failure case

Added tag 0.18b1 for changeset c1a18ab6b080

merge 0.18.x branch back into master

move exception class into shadow function as we may not want to export it under the cython.* namespace at this point

remove references to 'minierror' module from Shadow.py

undo code removal - not entirely clear what to make of it

set version to 0.18b1

removed broken minivect related code from branch since minivect will not be released as part of 0.18

implement relative import support for .pxd files in cythonize()

merge 0.18 branch back into master

work around missing relative cimport support in cythonize()

merge 0.18 branch back into master

changelog

fix cimport in libcpp.string

update 'const' section in string handling tutorial to reflect the new 'const' language support

replace 'const_xyz' work-arounds in standard .pxd files by real 'const' declarations