广播自定义功能

Question

我想构建一个广播支持的自定义功能。

特别是，我有两个数组，一个是日期，另一个是时间，我想合并两个，就像在datetime.datetime.combine中一样。

我想有这样的东西（这是我拥有的价值观，但问题更为笼统）：

x = array([datetime.date(2019, 1, 21), datetime.date(2019, 1, 21),
           datetime.date(2019, 1, 21)])
y = array([datetime.time(0, 0), datetime.time(0, 15), datetime.time(0, 30)]

我想做这样的事情：

datetime.combine(out[:,0], out[:,1])

得到相同的结果：

np.asarray([datetime.combine(i,j) for i,j in zip(x,y)])

更普遍：

假设我有一个函数f(a,b)，我有两个numpy数组x,y。有没有办法应用广播规则并获得f(x,y)？

Answer 1

如果你想挖掘ufuncs代码，自定义c是好的。但是你的说明性案例适用于datetime对象。 np.frompyfunc对此非常有用。对于对象dtype数组，numpy必须在（接近）Python级别迭代，在每个对象上运行Python代码。如果在对象数组上调用ufunc，它会将任务委托给每个对象的相应方法（如果方法不存在则失败）。

让我们构建你的日期数组：

In [20]: from datetime import datetime   

In [35]: alist = [datetime(2019,1,21,0,0), datetime(2019,1,21,0,10),datetime(2020,1,21,0,0)]                                                           
In [36]: x = np.array([a.date() for a in alist])                                
In [37]: y = np.array([a.time() for a in alist])                                
In [38]: x                                                                      
Out[38]: 
array([datetime.date(2019, 1, 21), datetime.date(2019, 1, 21),
       datetime.date(2020, 1, 21)], dtype=object)
In [39]: y                                                                      
Out[39]: 
array([datetime.time(0, 0), datetime.time(0, 10), datetime.time(0, 0)],
      dtype=object)

并结合列表理解：

In [41]: np.array([datetime.combine(i,j) for i, j in zip(x,y)])                 
Out[41]: 
array([datetime.datetime(2019, 1, 21, 0, 0),
       datetime.datetime(2019, 1, 21, 0, 10),
       datetime.datetime(2020, 1, 21, 0, 0)], dtype=object)

和frompyfunc：

In [43]: np.frompyfunc(datetime.combine, 2,1)(x,y)                              
Out[43]: 
array([datetime.datetime(2019, 1, 21, 0, 0),
       datetime.datetime(2019, 1, 21, 0, 10),
       datetime.datetime(2020, 1, 21, 0, 0)], dtype=object)

有了frompyfunc，我们可以申请广播

In [44]: np.frompyfunc(datetime.combine, 2,1)(x,y[:,None])                      
Out[44]: 
array([[datetime.datetime(2019, 1, 21, 0, 0),
        datetime.datetime(2019, 1, 21, 0, 0),
        datetime.datetime(2020, 1, 21, 0, 0)],
       [datetime.datetime(2019, 1, 21, 0, 10),
        datetime.datetime(2019, 1, 21, 0, 10),
        datetime.datetime(2020, 1, 21, 0, 10)],
       [datetime.datetime(2019, 1, 21, 0, 0),
        datetime.datetime(2019, 1, 21, 0, 0),
        datetime.datetime(2020, 1, 21, 0, 0)]], dtype=object)

x可以用frompyfunc构建：

In [46]: np.frompyfunc(lambda a: a.date(),1,1)(alist)                           
Out[46]: 
array([datetime.date(2019, 1, 21), datetime.date(2019, 1, 21),
       datetime.date(2020, 1, 21)], dtype=object)

---

frompyfunc版本的联合收割机更快一点

In [47]: timeit np.frompyfunc(datetime.combine, 2,1)(x,y)                       
5.39 µs ± 181 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
In [48]: timeit np.array([datetime.combine(i,j) for i, j in zip(x,y)])          
11.8 µs ± 66.2 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

虽然[48]时间的很大一部分来自阵列接口：

In [51]: timeit [datetime.combine(i,j) for i, j in zip(x,y)]                    
3.91 µs ± 41.2 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

来自combine和x的列表版本的y甚至更快。

In [52]: %%timeit xy=zip(x.tolist(),y.tolist()) 
    ...: [datetime.combine(i,j) for i,j in xy] 
190 ns ± 0.579 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

Answer 2

如果你正在寻找numpy.vectorize之外的东西，你可能想要检查numpy ufuncs：

https://docs.scipy.org/doc/numpy-1.16.1/reference/ufuncs.html

你可以尝试创建自己的自定义ufunc https://docs.scipy.org/doc/numpy/user/c-info.ufunc-tutorial.html