你能在Python类型注释中指定方差吗?

问题描述 投票:1回答:1

你能发现下面代码中的错误吗? Mypy不能。

from typing import Dict, Any

def add_items(d: Dict[str, Any]) -> None:
    d['foo'] = 5

d: Dict[str, str] = {}
add_items(d)

for key, value in d.items():
    print(f"{repr(key)}: {repr(value.lower())}")

Python发现错误,当然,有助于告知我们'int' object has no attribute 'lower'。太糟糕了,直到运行时才告诉我们这个。

据我所知,mypy没有捕获此错误,因为它允许dadd_items参数的参数是协变的。如果我们只是从字典中读取,那将是有意义的。如果我们只是阅读,那么我们希望参数是协变的。如果我们准备读取任何类型,那么我们应该能够读取字符串类型。当然,如果我们只是阅读,那么我们应该输入typing.Mapping

自从我们写作以来,我们实际上希望参数是逆变的。例如,对于某人来说传递Dict[Any, Any]是完全合理的,因为那将完全能够存储字符串键和整数值。

如果我们正在阅读和写作,那么除了参数不变之外别无选择。

有没有办法指定我们需要什么样的方差?更好的是,mypy是否足够复杂,以至于期望通过静态分析来确定方差应该是合理的,这应该作为错误提交?或者Python中的类型检查的当前状态是不是能够捕获这种编程错误?

python covariance typing mypy
1个回答
1
投票

你的分析是不正确的 - 这实际上与方差无关,而mypy中的Dict类型实际上是不变的w.r.t.它的价值。

相反,问题是你已经声明你的Dict的值是Any类型,动态类型。这实际上意味着你希望mypy基本上不打字 - 检查与你的Dict值相关的任何内容。而且由于你选择了类型检查,它自然不会发现任何与类型相关的错误。

(这是通过奇妙地将Any放置在类型晶格的顶部和底部来实现的。基本上,给定一些类型T,情况是Any总是T的子类型,T总是Any的子类型.Mypy auto-magically选择哪个关系导致没有错误。)

通过运行以下程序,您可以看到Dict对您自己是不变的:

from typing import Dict

class A: pass
class B(A): pass
class C(B): pass

def accepts_a(x: Dict[str, A]) -> None: pass
def accepts_b(x: Dict[str, B]) -> None: pass
def accepts_c(x: Dict[str, C]) -> None: pass

my_dict: Dict[str, B] = {"foo": B()}

# error: Argument 1 to "accepts_a" has incompatible type "Dict[str, B]"; expected "Dict[str, A]"
# note: "Dict" is invariant -- see http://mypy.readthedocs.io/en/latest/common_issues.html#variance
# note: Consider using "Mapping" instead, which is covariant in the value type
accepts_a(my_dict)

# Type checks! No error.
accepts_b(my_dict)

# error: Argument 1 to "accepts_c" has incompatible type "Dict[str, B]"; expected "Dict[str, C]"
accepts_c(my_dict)

只有对accept_b的调用成功,这与预期的方差一致。


要回答有关如何设置方差的问题 - mypy的设计使得数据结构的方差在定义时设置,并且在调用时无法真正改变。

因此,由于Dict被定义为不变的,所以你不能真正地改变它是协变的或不变的。

有关在定义时设置方差的更多详细信息,请参阅mypy reference docs on generics

正如您所指出的,您可以使用Mapping声明要接受Dict的只读版本。通常情况下,您可能想要使用任何PEP 484数据结构的只读版本 - 例如Sequence是List的只读版本。

AFAIK虽然没有Dict的默认只写版本。但是你可以通过使用protocols自己来解决这个问题,这是一种希望很快就要标准化的结构化方法,而不是名义上的输入:

from typing import Dict, TypeVar, Generic
from typing_extensions import Protocol

K = TypeVar('K', contravariant=True)
V = TypeVar('V', contravariant=True)

# Mypy requires the key to also be contravariant. I suspect this is because
# it cannot actually verify all types that satisfy the WriteOnlyDict
# protocol will use the key in an invariant way.
class WriteOnlyDict(Protocol, Generic[K, V]):
    def __setitem__(self, key: K, value: V) -> None: ...

class A: pass
class B(A): pass
class C(B): pass

# All three functions accept only objects that implement the
# __setitem__ method with the signature described in the protocol.
#
# You can also use only this method inside of the function bodies,
# enforcing the write-only nature.
def accepts_a(x: WriteOnlyDict[str, A]) -> None: pass
def accepts_b(x: WriteOnlyDict[str, B]) -> None: pass
def accepts_c(x: WriteOnlyDict[str, C]) -> None: pass

my_dict: WriteOnlyDict[str, B] = {"foo": B()}

#  error: Argument 1 to "accepts_a" has incompatible type "WriteOnlyDict[str, B]"; expected "WriteOnlyDict[str, A]"
accepts_a(my_dict)

# Both type-checks
accepts_b(my_dict)
accepts_c(my_dict)

要回答你的隐含问题(“如何让mypy在这里检测类型错误/正确键入检查我的代码?”),答案是“简单” - 只是不惜一切代价避免使用Any。每次你这样做,你都是故意在类型系统中打开一个洞。

例如,一种更加类型安全的方式来声明你的dict的值可以是任何东西都应该使用Dict[str, object]。现在,mypy会将对add_items函数的调用标记为不类型安全。

或者,如果您知道您的值将是异构的,请考虑使用TypedDict

您甚至可以通过启用Disable dynamic typing系列命令行标志/配置文件标志来使mypy禁止使用Any的某些用法。

也就是说,在实践中,完全不允许使用Any通常是不现实的。即使你可以在你的代码中满足这个理想,许多第三方库要么没有注释,要么没有完全注释,这意味着他们总是使用Any。因此,遗憾的是,完全取消它们的使用往往需要大量的额外工作。

© www.soinside.com 2019 - 2024. All rights reserved.