implement 'raise ... from None' in Py3.3

--HG--
extra : rebase_source : 9ad9c4ea052a3eae0888f02a07ba4c40d62ddddf

changelog

--HG--
extra : rebase_source : ca6bbd2378e2e67004b236da8a67e6b607aa0ae2

Fix docs about non-extern variables in pxd files.

fix build

externalise some utility code functions

externalise some utility code functions

make a couple of parser errors non-fatal to keep parsing

clean up exec test file

extended test case

implement tuple compatibility form of Py2 exec statement

clean up exec() code a little

improve error message on failing exec()

safety fix

patch inspect.isfunction() in pyregr tests to include CyFunction

add disabled test case

support keyword arguments for C function pointers

fix kwargs mapping in Py2.[45]

provide fallback for cpdef functions that were previously called with full Python semantics

fix one more test fixing after changing declared C function argument names

add test for keyword arguments passed into cdef functions with optional arguments, fix parameter names in test

fix illegal Python names in C lower cased declarations

rename test

--HG--
rename : tests/run/simplify_calls.pyx => tests/run/cdef_function_kwargs.pyx

convert function argument names in libc declarations to lower case to make their use as keyword arguments more natural

extend cdef function kwargs tests to include functions from the libc standard declarations

changelog

fix ticket 801: wrong declarations in math.pxd for frexp() and ldexp()

improve error reporting on mapped keyword arguments for C functions, implement out-of-order keywords and C method mapping

Merge pull request #183 from jrray/master

Fix runtime crash as described on cython-devel.

Fully initialize allocated memory.

__pyx_CyFunctionObject.defaults must be fully zeroed or a segfault or
memory corruption may occur if the object is visited by the garbage
collector before defaults is later populated. Uninitialized memory is
cast to PyObject* with undefined results:

  static int __Pyx_CyFunction_traverse(__pyx_CyFunctionObject *m, visitproc visit, void *arg)
  {
      ...
      if (m->defaults) {
          PyObject **pydefaults = __Pyx_CyFunction_Defaults(PyObject *, m);
          int i;
          for (i = 0; i < m->defaults_pyobjects; i++)
              Py_VISIT(pydefaults[i]);
                       ^^^^^^^^^^^^^

reimplement SimplifyCalls transform in-place in GeneralCallNode.analyse_types()

refactor analyse_types() and friends to work more like a transform by returning the node or a replacement

match simple keyword arguments that are passed into cdef function calls out-of-order

fix safety coercion after call node optimisation

move major part of SimplifyCalls transform into type analysis in GeneralCallNode

fix error test after enabling keyword arguments in simple C functions

fix compiler crash

fix error test after enabling keyword arguments in simple C functions

simple optimisation that statically maps keyword arguments to positional arguments when called signature is known

add some more typing in FlowControl.py

disable incorrect optimisation for set.discard()

minor tweak

declare some classes in FlowControl.py final to speed up internal method calls

clean up and improve static type declarations in FlowControl.py a bit

slight code simplification

extend test case

rst fix

clean up the C library wrapping tutorial a bit and add a section on callbacks

clarify comment in example

Oops, we do handle raise MemoryError() gracefully.

Undo a couple of documentation fixes (where the old style was intentional).

Fix one instance of code highlighting

Fix various typos in the documentation

Update code samples to use newer Cython / Python syntax

Fix broken code samples (indent, spaces, failing doctest)

Prefer the use of C++ style pointer declarations (char *c -> char* c)

Remove extra commas before colons (,:: -> ::)

Introduce more consistent capitalization of Python, Cython and NumPy

Fix some internal and external links in the documentation

merge 0.18.x branch into master

remove warning about missing 'const' support from docs and fix advice on declaring macros as 'enum' (which works only for ints)

exclude test in Py2.4

Added tag 0.18 for changeset 76f33728e853

increase master version to 0.19-dev

merge 0.18.x branch into master

prepare release of 0.18

fix a corner case where float(x) would not call x.__float__() for a float subtype

Added tag 0.18rc1 for changeset 9a11631e0edb

merge 0.18.x branch into master

Merge pull request #179 from cgohlke/patch-3

Fix overflow_check CompileError with msvc

Fix overflow_check CompileError with msvc

--HG--
extra : transplant_source : %3FH%B6t%1FFL%D8%2BF%7CV%7D%10T9%EA%CB%A0%00

Fix overflow_check CompileError with msvc

fix doctest dependency on dict order

set version to 0.18rc1

enable control flow analysis for stack allocated structured variables (struct, union, array, C++ class)

simplify code a bit

use interned Python string constant instead of calling through __Pyx_GetAttrString()

merge 0.18.x branch into master

fix C compiler warnings about missing PyModuleDef field initialisers in Py3.[01]

merge 0.18.x branch into master

fix new test in Py2.[45]

rewrite except-as semantics using try-finally - seems to be the easiest way to get flow control analysis working for all cases

merge 0.18.x branch into master

Merge pull request #164 from strohel/master

Add test for memoryview of extension type

merge 0.18.x branch into master

Merge pull request #178 from strohel/cpp-catch-in-nogil

Fix calling an "except +" cpp function in a nogil function

enable except-as target deletion only when language level is 3

disable broken optimisation for except-as special case

remove some code redundancy

extend except-as test case

make except-as delete the target after the except clause

merge 0.18.x branch into master

fix test when using NumPy 1.7

merge 0.18.x branch into master

fix new memory view error test in Py2.4

--HG--
extra : transplant_source : %8A%F1%17%5C%A7%CA%1C%B1%17%A1%C5t%06O%5BI%F2%19Vq

fix new memory view error test in Py2.4

Fix calling an "except +" cpp function in a nogil function

For a source:
|cdef extern from "<foo>":
|    cdef void foo_cpp() nogil except +
|
|cdef call_foo() nogil:
|    foo_cpp()

We used to generate something like this to actually call foo_cpp() in call_foo():
|try{foo_cpp();}
|catch(...) {
|  Py_BLOCK_THREADS; __Pyx_CppExn2PyErr(); Py_UNBLOCK_THREADS
|  `code.error_goto(self.pos))`
|}

where Py_BLOCK_THREADS expands to "PyEval_RestoreThread(_save);".
__Pyx_CppExn2PyErr() (and alternatives, see SimpleCallNode) calls CPython A API
methods so it needs to be guarded in a nogil environment.

One problem is that "PyThreadState *_save" is only declared by "with nogil:"
block, so a .cpp file that doesn't compile is generated for the above code.

However, I think the real issue is that Py_(UN)BLOCK_THREADS is inappropriate
here, as it isn't allowed to be called recursively and is valid only directly
in a Py_BEGIN_ALLOW_THREADS ... Py_END_ALLOW_THREADS. IMO PyGILState_Ensure()
and PyGILState_Release() (through `code.put_ensure_gil()` and a friend) is the
correct thing to call here as it is allowed to be called recursively and
actually ensures the current thread can call CPython C API.

This patch does exactly this (and it breaks the generated code to multiple
lines as it would be way too long otherwise), plus it extends the
cpp_exceptions_nogil.pyx test with above example that doesn't compile with this
fix not applied.

Note that we explicitly pass declare_gilstate=True to put_ensure_gil(), as
PyGILState_Ensure() docs state that recursive calls to it must not share the
PyGILState_STATE. C++-style declaring a variable inside a block should be
no-problem here, as try{} .. catch() is obviously valid only in a C++ code.

--HG--
extra : transplant_source : %AA%F3%BDk%FE%F9%01%7F%8C%A4n%5E%DA4%97%A5%D9%AF%D60

changelog

Fix calling an "except +" cpp function in a nogil function

For a source:
|cdef extern from "<foo>":
|    cdef void foo_cpp() nogil except +
|
|cdef call_foo() nogil:
|    foo_cpp()

We used to generate something like this to actually call foo_cpp() in call_foo():
|try{foo_cpp();}
|catch(...) {
|  Py_BLOCK_THREADS; __Pyx_CppExn2PyErr(); Py_UNBLOCK_THREADS
|  `code.error_goto(self.pos))`
|}

where Py_BLOCK_THREADS expands to "PyEval_RestoreThread(_save);".
__Pyx_CppExn2PyErr() (and alternatives, see SimpleCallNode) calls CPython A API
methods so it needs to be guarded in a nogil environment.

One problem is that "PyThreadState *_save" is only declared by "with nogil:"
block, so a .cpp file that doesn't compile is generated for the above code.

However, I think the real issue is that Py_(UN)BLOCK_THREADS is inappropriate
here, as it isn't allowed to be called recursively and is valid only directly
in a Py_BEGIN_ALLOW_THREADS ... Py_END_ALLOW_THREADS. IMO PyGILState_Ensure()
and PyGILState_Release() (through `code.put_ensure_gil()` and a friend) is the
correct thing to call here as it is allowed to be called recursively and
actually ensures the current thread can call CPython C API.

This patch does exactly this (and it breaks the generated code to multiple
lines as it would be way too long otherwise), plus it extends the
cpp_exceptions_nogil.pyx test with above example that doesn't compile with this
fix not applied.

Note that we explicitly pass declare_gilstate=True to put_ensure_gil(), as
PyGILState_Ensure() docs state that recursive calls to it must not share the
PyGILState_STATE. C++-style declaring a variable inside a block should be
no-problem here, as try{} .. catch() is obviously valid only in a C++ code.

Merge pull request #177 from strohel/propagate-error-memoryview

Fix error propagation from memoryview-returning functions

Fix error propagation from memoryview-returning functions

A code like
|cdef double[:] foo():
|    raise AttributeError('dummy')

generated C code like this:
|  __pyx_L1_error:;
|  (...)
|  __pyx_r.memview = NULL;
|  __Pyx_AddTraceback("view_return_errors.foo", __pyx_clineno, __pyx_lineno, __pyx_filename);
|  __pyx_L0:;
|  if (unlikely(!__pyx_r.memview)) {
|    PyErr_SetString(PyExc_TypeError,"Memoryview return value is not initialized");
|  }
|  __Pyx_RefNannyFinishContext();
|  return __pyx_r;
|}

Which is incorrect in error case, because we set __pyx_r.memview to NULL and
then we test it, so that the PyErr_SetString() is always called in the error
case, which swallows previously-set error. (it also swallowed the traceback,
which I don't understand)

A fix is to jump to return_from_error_cleanup label in case return type is
memoryview, as it is currently done for the case when buffers are present.

A testcase that fauils w/out this fix applied is included, too.

v2: fix test under Python 3 by not using StandardError

--HG--
extra : transplant_source : G%B5%99Og%D1%81%25k%8F%1F%7B%02V%3E%B9%A4y%FF%EA