merge 0.18.x branch into master

Merge pull request #179 from cgohlke/patch-3

Fix overflow_check CompileError with msvc

Fix overflow_check CompileError with msvc

--HG--
extra : transplant_source : %3FH%B6t%1FFL%D8%2BF%7CV%7D%10T9%EA%CB%A0%00

Fix overflow_check CompileError with msvc

fix doctest dependency on dict order

set version to 0.18rc1

enable control flow analysis for stack allocated structured variables (struct, union, array, C++ class)

simplify code a bit

use interned Python string constant instead of calling through __Pyx_GetAttrString()

merge 0.18.x branch into master

fix C compiler warnings about missing PyModuleDef field initialisers in Py3.[01]

merge 0.18.x branch into master

fix new test in Py2.[45]

rewrite except-as semantics using try-finally - seems to be the easiest way to get flow control analysis working for all cases

merge 0.18.x branch into master

Merge pull request #164 from strohel/master

Add test for memoryview of extension type

merge 0.18.x branch into master

Merge pull request #178 from strohel/cpp-catch-in-nogil

Fix calling an "except +" cpp function in a nogil function

enable except-as target deletion only when language level is 3

disable broken optimisation for except-as special case

remove some code redundancy

extend except-as test case

make except-as delete the target after the except clause

merge 0.18.x branch into master

fix test when using NumPy 1.7

merge 0.18.x branch into master

fix new memory view error test in Py2.4

--HG--
extra : transplant_source : %8A%F1%17%5C%A7%CA%1C%B1%17%A1%C5t%06O%5BI%F2%19Vq

fix new memory view error test in Py2.4

Fix calling an "except +" cpp function in a nogil function

For a source:
|cdef extern from "<foo>":
|    cdef void foo_cpp() nogil except +
|
|cdef call_foo() nogil:
|    foo_cpp()

We used to generate something like this to actually call foo_cpp() in call_foo():
|try{foo_cpp();}
|catch(...) {
|  Py_BLOCK_THREADS; __Pyx_CppExn2PyErr(); Py_UNBLOCK_THREADS
|  `code.error_goto(self.pos))`
|}

where Py_BLOCK_THREADS expands to "PyEval_RestoreThread(_save);".
__Pyx_CppExn2PyErr() (and alternatives, see SimpleCallNode) calls CPython A API
methods so it needs to be guarded in a nogil environment.

One problem is that "PyThreadState *_save" is only declared by "with nogil:"
block, so a .cpp file that doesn't compile is generated for the above code.

However, I think the real issue is that Py_(UN)BLOCK_THREADS is inappropriate
here, as it isn't allowed to be called recursively and is valid only directly
in a Py_BEGIN_ALLOW_THREADS ... Py_END_ALLOW_THREADS. IMO PyGILState_Ensure()
and PyGILState_Release() (through `code.put_ensure_gil()` and a friend) is the
correct thing to call here as it is allowed to be called recursively and
actually ensures the current thread can call CPython C API.

This patch does exactly this (and it breaks the generated code to multiple
lines as it would be way too long otherwise), plus it extends the
cpp_exceptions_nogil.pyx test with above example that doesn't compile with this
fix not applied.

Note that we explicitly pass declare_gilstate=True to put_ensure_gil(), as
PyGILState_Ensure() docs state that recursive calls to it must not share the
PyGILState_STATE. C++-style declaring a variable inside a block should be
no-problem here, as try{} .. catch() is obviously valid only in a C++ code.

--HG--
extra : transplant_source : %AA%F3%BDk%FE%F9%01%7F%8C%A4n%5E%DA4%97%A5%D9%AF%D60

changelog

Fix calling an "except +" cpp function in a nogil function

For a source:
|cdef extern from "<foo>":
|    cdef void foo_cpp() nogil except +
|
|cdef call_foo() nogil:
|    foo_cpp()

We used to generate something like this to actually call foo_cpp() in call_foo():
|try{foo_cpp();}
|catch(...) {
|  Py_BLOCK_THREADS; __Pyx_CppExn2PyErr(); Py_UNBLOCK_THREADS
|  `code.error_goto(self.pos))`
|}

where Py_BLOCK_THREADS expands to "PyEval_RestoreThread(_save);".
__Pyx_CppExn2PyErr() (and alternatives, see SimpleCallNode) calls CPython A API
methods so it needs to be guarded in a nogil environment.

One problem is that "PyThreadState *_save" is only declared by "with nogil:"
block, so a .cpp file that doesn't compile is generated for the above code.

However, I think the real issue is that Py_(UN)BLOCK_THREADS is inappropriate
here, as it isn't allowed to be called recursively and is valid only directly
in a Py_BEGIN_ALLOW_THREADS ... Py_END_ALLOW_THREADS. IMO PyGILState_Ensure()
and PyGILState_Release() (through `code.put_ensure_gil()` and a friend) is the
correct thing to call here as it is allowed to be called recursively and
actually ensures the current thread can call CPython C API.

This patch does exactly this (and it breaks the generated code to multiple
lines as it would be way too long otherwise), plus it extends the
cpp_exceptions_nogil.pyx test with above example that doesn't compile with this
fix not applied.

Note that we explicitly pass declare_gilstate=True to put_ensure_gil(), as
PyGILState_Ensure() docs state that recursive calls to it must not share the
PyGILState_STATE. C++-style declaring a variable inside a block should be
no-problem here, as try{} .. catch() is obviously valid only in a C++ code.

Merge pull request #177 from strohel/propagate-error-memoryview

Fix error propagation from memoryview-returning functions

Fix error propagation from memoryview-returning functions

A code like
|cdef double[:] foo():
|    raise AttributeError('dummy')

generated C code like this:
|  __pyx_L1_error:;
|  (...)
|  __pyx_r.memview = NULL;
|  __Pyx_AddTraceback("view_return_errors.foo", __pyx_clineno, __pyx_lineno, __pyx_filename);
|  __pyx_L0:;
|  if (unlikely(!__pyx_r.memview)) {
|    PyErr_SetString(PyExc_TypeError,"Memoryview return value is not initialized");
|  }
|  __Pyx_RefNannyFinishContext();
|  return __pyx_r;
|}

Which is incorrect in error case, because we set __pyx_r.memview to NULL and
then we test it, so that the PyErr_SetString() is always called in the error
case, which swallows previously-set error. (it also swallowed the traceback,
which I don't understand)

A fix is to jump to return_from_error_cleanup label in case return type is
memoryview, as it is currently done for the case when buffers are present.

A testcase that fauils w/out this fix applied is included, too.

v2: fix test under Python 3 by not using StandardError

--HG--
extra : transplant_source : G%B5%99Og%D1%81%25k%8F%1F%7B%02V%3E%B9%A4y%FF%EA

Fix error propagation from memoryview-returning functions

A code like
|cdef double[:] foo():
|    raise AttributeError('dummy')

generated C code like this:
|  __pyx_L1_error:;
|  (...)
|  __pyx_r.memview = NULL;
|  __Pyx_AddTraceback("view_return_errors.foo", __pyx_clineno, __pyx_lineno, __pyx_filename);
|  __pyx_L0:;
|  if (unlikely(!__pyx_r.memview)) {
|    PyErr_SetString(PyExc_TypeError,"Memoryview return value is not initialized");
|  }
|  __Pyx_RefNannyFinishContext();
|  return __pyx_r;
|}

Which is incorrect in error case, because we set __pyx_r.memview to NULL and
then we test it, so that the PyErr_SetString() is always called in the error
case, which swallows previously-set error. (it also swallowed the traceback,
which I don't understand)

A fix is to jump to return_from_error_cleanup label in case return type is
memoryview, as it is currently done for the case when buffers are present.

A testcase that fauils w/out this fix applied is included, too.

v2: fix test under Python 3 by not using StandardError

Add test for memoryview of extension type

A test for a bug fixed in commit 478b939a4c99a77c0863cfd.

v2: add commit link above
v3: # tag: instead of # tags:, drop cpp tag as it means something different
    that I originally thought

There was a bug that produced C code where gcc emitted warnings:
extension_type_memoryview.c: In function ‘__pyx_pf_25extension_type_memoryview_test_getitem’:
extension_type_memoryview.c:1468:15: warning: assignment from incompatible pointer type
extension_type_memoryview.c: In function ‘__pyx_pf_25extension_type_memoryview_2test_getitem_typed’:
extension_type_memoryview.c:1565:15: warning: assignment from incompatible pointer type
extension_type_memoryview.c:1568:18: warning: assignment from incompatible pointer type

And g++ failed with errors:
extension_type_memoryview.c: In function ‘PyObject* __pyx_pf_25extension_type_memoryview_test_getitem(PyObject*)’:
extension_type_memoryview.c:1468:213: error: cannot convert ‘__pyx_obj_25extension_type_memoryview_ExtensionType*’ to ‘PyObject*’ in assignment
extension_type_memoryview.c: In function ‘PyObject* __pyx_pf_25extension_type_memoryview_2test_getitem_typed(PyObject*)’:
extension_type_memoryview.c:1565:213: error: cannot convert ‘__pyx_obj_25extension_type_memoryview_ExtensionType*’ to ‘PyObject*’ in assignment
extension_type_memoryview.c:1568:20: error: cannot convert ‘PyObject*’ to ‘__pyx_obj_25extension_type_memoryview_ExtensionType*’ in assignment

Merge pull request #176 from larsmans/fix-indent

fix indentation error in userguide

fix indentation error in userguide

--HG--
extra : transplant_source : %7B%A4%F1%C4/%E4l%2C_%BFF%5B%B7%9C%9F%E0_%2B%15%3D

fix indentation error in userguide

merge 0.18.x branch back into master

fix compiler crash in error case

optimise abs(long long)

merge 0.18.x branch back into master

avoid unused utility code for abs()

simplify abs() optimisation for C integers and fix it for the most negative int/long value

fix test

suppress C compiler warning on power operation on unsigned C int types

improve test output in failure case

Added tag 0.18b1 for changeset c1a18ab6b080

merge 0.18.x branch back into master

move exception class into shadow function as we may not want to export it under the cython.* namespace at this point

remove references to 'minierror' module from Shadow.py

undo code removal - not entirely clear what to make of it

set version to 0.18b1

removed broken minivect related code from branch since minivect will not be released as part of 0.18

implement relative import support for .pxd files in cythonize()

merge 0.18 branch back into master

work around missing relative cimport support in cythonize()

merge 0.18 branch back into master

changelog

fix cimport in libcpp.string

update 'const' section in string handling tutorial to reflect the new 'const' language support

replace 'const_xyz' work-arounds in standard .pxd files by real 'const' declarations

add failing Py3 exception test

minor test cleanup

move doctests into tested functions

extended test case

Merge pull request #175 from steinn/pyximport_fix

fix import of pyx modules when '' is in sys.path

fix import of pyx modules when '' is in sys.path

If '' is in sys.path and a module is found the package_path
is relative and breaks the build process.

fix import of pyx modules when '' is in sys.path

If '' is in sys.path and a module is found the package_path
is relative and breaks the build process.

--HG--
extra : transplant_source : 9%EA%CC%A6%3D%1B9R%EF%0DmM%CFZ%18%F3%EC%06%3B%B7

Merge pull request #174 from stevenwinfield/pyxbld_fix

Use OS-dependent directory separator - a / on windows is interpreted by ...

Use OS-dependent directory separator - a / on windows is interpreted by LINK as a command line switch

--HG--
extra : transplant_source : %A8%F23%AF%26%BC%82y1%86S%1Ac%D3%40%089o%DCQ

fix cimport in libcpp.string

--HG--
extra : transplant_source : %E6%CA%F8%11%E8%81u%B9%95%3D%27%C1%0F%F3O%8A%12%3Cnl

update 'const' section in string handling tutorial to reflect the new 'const' language support

--HG--
extra : transplant_source : U%15%0B%8E%81%02%F2kE%AA%07u%EF%82%3D14%F1C%86

replace 'const_xyz' work-arounds in standard .pxd files by real 'const' declarations

--HG--
extra : transplant_source : H%91%CF%08t%B1%908%AE%26%81%1B%F9%2C%9A%3Fh%ECWK

Use OS-dependent directory separator - a / on windows is interpreted by LINK as a command line switch

Merge remote-tracking branch 'remotes/main/0.17'

Make __pyx_import_star_type_names static to remove link errors when freezing.

preprocess byte string literal escaping instead of doing repeated replacements at runtime

undo Py3.3 surrogates support fixes - breaks too many special cases with strings

undo Py3.3 surrogates support fixes - breaks too many special cases with strings

extended (failing) test cases

Merge pull request #173 from yarikoptic/upstream-0.17

BF: replace show-ref with rev-parse --verify for determining current treeish location

fix Unicode string initialisation in PyPy

add error test case for unknown \N{...} Unicode escape name

implement \N{...} Unicode escapes for literals

add <locals> to __qualname__ for closures as defined by PEP 3155

safety fixes and a little branch prediction helping in CyFunction utility code

fix surrogates in Unicode literals in Python 3.3 (the UTF-8 codec rejects them explictly)

move __Pyx_InitStrings() utility function into StringTools.c

fix test

implement __qualname__ special attribute on Python functions/classes (PEP 3155)

make cleanup safety fix more explicit

fix merge conflict

fix comparison of single character unicode literals

--HG--
extra : rebase_source : 5e91ffb0a20724dc92084bb68288cb6000814dca

Prep for 0.17.4 release.

generate safer cleanup code that also works in the case something goes badly wrong early at module init time

--HG--
extra : rebase_source : 015495e6aee6c59b11ee9169d2ad597ff54bfd0c

More overflowcheck documentation.

Merge branch 'bugs'

Conflicts:
CHANGES.rst
Cython/__init__.py

merge

add test tags