Azure Functions 的实例正在共享变量?

问题描述 投票:0回答:3

不确定这个问题是否有意义,但这就是我所观察到的。我的 Azure 函数使用 BlobTrigger 处理上传到 Blob 存储的 PDF 文件。一切正常,直到我一次上传多个 blob,在这种情况下,使用下面的代码我观察到以下内容:

  • 第一个 context.getLogger() 正确记录触发函数的每个 blob。

  • 在Azure文件共享中,每个PDF文件都被正确保存。

  • 第二个 context.getLogger() 在许多情况下返回不正确的结果(来自其他文件之一),就好像变量在我的 Function 实例之间共享一样。请注意,第 [19] 行对于每个 PDF 都是唯一的。

  • 我稍后在代码中注意到类似的行为,其中记录了来自错误 PDF 的数据。

编辑:需要明确的是,我知道当多个实例并行运行时,日志不会按顺序排列。然而,当我上传 10 个文件时,大多数结果都是重复的,而不是在行 [19] 中获得 10 个唯一结果,并且当基于 X 我想做 Y 时,这个问题稍后会在我的代码中恶化,并且 10 次调用中有 9 次产生垃圾数据。

主类

public class main {
   @FunctionName("veninv")
       @StorageAccount("Storage")
       public void blob(
           @BlobTrigger(
                   name = "blob",
                   dataType = "binary",
                   path = "veninv/{name}") 
               byte[] content,
           @BindingName("name") String blobname,
           final ExecutionContext context
           ) {

         context.getLogger().info("BlobTrigger by: " + blobname + "(" + content.length + " bytes)");

           //Writing byte[] to a file in Azure Functions file storage
               File tempfile = new File (tempdir, blobname);
               OutputStream os = new FileOutputStream(tempfile);
               os.write(content);
               os.close();

               String[] lines  = Pdf.getLines(tempfile);
               context.getLogger().info(lines[19]);
           }
    }

Pdf.class

   public static String[] getLines(File PDF) throws Exception {
           PDDocument doc = PDDocument.load(PDF);
           PDFTextStripper pdfStripper = new PDFTextStripper();
           String text = pdfStripper.getText(doc);
           lines = text.split(System.getProperty("line.separator"));
           doc.close();
           return lines;
   }

我不太明白这里发生了什么,所以希望得到一些帮助。

java azure-functions azure-blob-trigger
3个回答
6
投票

是的。如果您不是在“隔离模式”下运行,Azure 函数调用可以共享变量。我需要看到所有代码都是 100% 确定的,但看起来 lines 对象被声明为

static
并且它可以在调用之间共享。我们尝试将
static String[]
更改为
String[]
,看看问题是否消失?
Azure 函数很容易上手,很容易忘记执行环境。您的函数调用并不像看起来那样孤立。有一个父线程调用您的函数,并且许多静态变量不是“线程安全的”。静态变量代表全局状态,因此可以全局访问。此外,它不附加任何特定的对象实例。变量的“静态性”与它所在的内存空间有关,而不是与它的值有关。因此,同一个变量可以从引用它的所有类实例中访问。

PS。您已经通过减少并发性解决了答案中的问题

here

,但这可能会以可扩展性为代价。我建议对其进行负载测试。静态变量也很有用。许多都是线程安全的,您希望在 Azure 函数中使用它们,例如 httpClient 或 sqlClient 数据库连接!读一下第三点,这里


1
投票

您确定每次都将每个文件上传到不同的唯一 blob 吗?您可以通过记录 blobname 参数进行检查。
  1. 由于您将文件存储在临时目录中
  2. File tempfile = new File (tempdir, blobname);
  3. ,如果 blob 名称与 #1 中提到的相同,它将覆盖最后一次写入的内容。如果可以直接从字节或流构造 pdf,您可以考虑这样做,而不是在文件系统中创建中间文件。如果我没记错的话,您使用的是
    PDFBox
    ,它支持从 byte[] 加载 https://pdfbox.apache.org/docs/2.0.3/javadocs/index.html?org/apache/pdfbox/pdmodel /PDDocument.html(检查接受 byte[] 的加载方法重载)。我也回答了您与此相关的另一个问题 检查是否有静电场导致此问题。
  4. 您不需要使用您想要引入的单独队列。虽然如果实际问题得到解决,你根本不需要它,但 Blob 触发器已经使用内部队列,默认并发数为 24,但你可以在 host.json 中配置它。
  5. https://learn.microsoft.com/en-us/azure/azure-functions/functions-bindings-storage-blob-trigger?tabs=java#concurrency-and-memory-usage
  6. 更新:

看起来像在你的 pdf 类中,你在方法之外的某个地方将“lines”声明为静态,这是此问题的根本原因。这与功能无关,而是

static

的魔鬼:) 下面是正确的代码(注意“lines”变量现在是该方法的本地变量):

public static String[] getLines(File PDF) throws Exception { PDDocument doc = PDDocument.load(PDF); PDFTextStripper pdfStripper = new PDFTextStripper(); String text = pdfStripper.getText(doc); String[] lines = text.split(System.getProperty("line.separator")); doc.close(); return lines; }



0
投票
host.json

更改为以下内容,以停止并发函数调用,似乎已经解决了我的问题:

{
    "version": "2.0",
    "extensions": {
        "queues": {
            "batchSize": 1,
            "newBatchThreshold": 0
        }
    }
}

非常感谢@KrishnenduGhosh-MSFT 的帮助。我仍然不确定为什么并发函数调用会导致我遇到的问题,但考虑到我的程序还连接到 SQL 数据库和 Sharepoint 站点(两者都受到限制),顺序处理无论如何都是最佳解决方案。

© www.soinside.com 2019 - 2024. All rights reserved.