Python子进程中的多个输入和输出进行通信

Question

我需要做类似这篇文章的事情，但我需要创建一个可以多次提供输入和输出的子流程。该帖子接受的答案有很好的代码......

from subprocess import Popen, PIPE, STDOUT

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
grep_stdout = p.communicate(input=b'one\ntwo\nthree\nfour\nfive\nsix\n')[0]
print(grep_stdout.decode())

# four
# five

...我想继续这样：

grep_stdout2 = p.communicate(input=b'spam\neggs\nfrench fries\nbacon\nspam\nspam\n')[0]
print(grep_stdout2.decode())

# french fries

但是，我收到以下错误：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/opt/local/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/subprocess.py", line 928, in communicate
    raise ValueError("Cannot send input after starting communication")
ValueError: Cannot send input after starting communication

如果我理解正确的话，proc.stdin.write() 方法不允许您收集输出。保持线路开放以进行持续输入/输出的最简单方法是什么？

编辑：======================

看起来

pexpect

对于我想要做的事情来说是一个有用的库，但我很难让它工作。这是我的实际任务的更完整的解释。我正在使用

hfst

来获取单个（俄语）单词的语法分析。下面演示了它在 bash shell 中的行为：

$ hfst-lookup analyser-gt-desc.hfstol
> слово
слово   слово+N+Neu+Inan+Sg+Acc 0.000000
слово   слово+N+Neu+Inan+Sg+Nom 0.000000

> сработай
сработай    сработать+V+Perf+IV+Imp+Sg2 0.000000
сработай    сработать+V+Perf+TV+Imp+Sg2 0.000000

> 

我希望我的脚本能够一次获得一种形式的分析。我尝试了这样的代码，但它不起作用。

import pexpect

analyzer = pexpect.spawnu('hfst-lookup analyser-gt-desc.hfstol')
for newWord in ['слово','сработай'] :
    print('Trying', newWord, '...')
    analyzer.expect('> ')
    analyzer.sendline( newWord )
    print(analyzer.before)

# trying слово ...
# 
# trying сработай ...
# слово
# слово слово+N+Neu+Inan+Sg+Acc 0.000000
# слово слово+N+Neu+Inan+Sg+Nom 0.000000
# 
# 

我显然误解了

pexpect.before

的作用。我怎样才能一次获得每个单词的输出？

Answer 1

Popen.communicate()

是一种辅助方法，可将数据一次性写入

stdin

并创建线程以从

stdout

和

stderr

提取数据。当完成写入数据后，它会关闭

stdin

，并读取

stdout

和

stderr

，直到这些管道关闭。你不能再做第二次

communicate

，因为孩子在返回时已经退出了。

与子进程的交互会话要复杂一些。

一个问题是子进程是否认识到它应该是交互式的。在大多数命令行程序用于交互的 C 库中，从终端（例如 Linux 控制台或“pty”伪终端）运行的程序是交互式的，并经常刷新其输出，但那些通过 PIPES 从其他程序运行的程序是非交互的。交互式并且很少刷新它们的输出。

另一个是你应该如何读取和处理

stdout

和

stderr

而不会出现死锁。例如，如果您阻止读取

stdout

，但

stderr

填满了管道，则孩子将停止并且您被卡住。您可以使用线程将两者拉入内部缓冲区。

还有一个问题是如何处理意外退出的孩子。

对于像 linux 和 OSX 这样的“unixy”系统，编写

pexpect

模块是为了处理交互式子进程的复杂性。对于 Windows，据我所知没有好的工具可以做到这一点。

Answer 2

这个答案应归功于@J.F.Sebastian。感谢您的评论！

以下代码得到了我预期的行为：

import pexpect

analyzer = pexpect.spawn('hfst-lookup analyser-gt-desc.hfstol', encoding='utf-8')
analyzer.expect('> ')

for word in ['слово', 'сработай']:
    print('Trying', word, '...')
    analyzer.sendline(word)
    analyzer.expect('> ')
    print(analyzer.before)

Answer 3

每当您想要向流程发送输入时，请使用

proc.stdin.write()

。每当您想从过程中获取输出时，请使用

proc.stdout.read()

。构造函数的

stdin

和

stdout

参数都需要设置为

PIPE

。

Answer 4

HFST 具有 Python 绑定：https://pypi.python.org/pypi/hfst

使用这些应该可以避免整个刷新问题，并且会给你一个比解析 pexpect 的字符串输出更干净的 API。

从 Python REPL，您可以使用

获取一些有关绑定的文档

dir(hfst)
help(hfst.HfstTransducer)

或阅读https://hfst.github.io/python/3.12.2/QuickStart.html

抓取文档的相关部分：

istr = hfst.HfstInputStream('hfst-lookup analyser-gt-desc.hfstol')
transducers = []
while not (istr.is_eof()):
    transducers.append(istr.read())
istr.close()
print("Read %i transducers in total." % len(transducers))
if len(transducers) == 1:
  out = transducers[0].lookup_optimize("слово")
  print("got %s" % (out,))
else: 
  pass # or handle >1 fst in the file, though I'm guessing you don't use that feature

Answer 5

向标准输入写入一行，从标准输出读取一行，循环

基于 Ustad Eli 的这个例子：

主.py

from subprocess import Popen, PIPE, STDOUT
import time

p = Popen(['./upline.py'], stdout=PIPE, stdin=PIPE)

p.stdin.write('Hello world\n'.encode())
p.stdin.flush()
print(p.stdout.readline().decode()[:-1])

time.sleep(1)

p.stdin.write('bonne journeé\n'.encode())
p.stdin.flush()
print(p.stdout.readline().decode()[:-1])

time.sleep(1)

p.stdin.write('goodbye world\n'.encode())
p.stdin.flush()
print(p.stdout.readline().decode()[:-1])

上线.py

#!/usr/bin/env python

import sys

for line in sys.stdin:
    print(line.upper(), end='', flush=True)

输出：

HELLO WORLD
BONNE JOURNEÉ
GOODBYE WORLD

HELLO WORLD

立即出现，然后等待一秒，然后

BONNE JOURNEÉ

，再过一秒

GOODBYE WORLD

。

在 Python 3.11.4、Ubuntu 23.04 上测试。