inference 相关问题

推理是从已知或假设为真实的前提中得出逻辑结论的行为或过程。得出的结论也称为惯用语。在逻辑领域研究有效推理的定律。

ModelError：调用 InvokeEndpoint 时发生错误 (ModelError)，从主服务器收到客户端错误 (400)，并显示消息“{

我已经在aws sagemaker上训练了mistral 7B模型，模型权重存储在S3位置。我已经部署了端点，当我尝试调用端点时，出现以下错误

model amazon-sagemaker large-language-model inference mistral-7b

回答 1 投票 0

llama-cpp-python Ubuntu 上的日志打印

我使用 llama-cpp-python 在 Ubuntu 上本地运行 LLM。在生成响应时，它会打印其日志。如何停止打印日志？我找到了一种方法来停止 llama.cpp 的日志打印，但不是 llam...

ubuntu large-language-model inference llama-cpp-python llamacpp

回答 1 投票 0

与 pytorch 模型相比，ONNX 是否提高了推理效率？

所以我一直在使用Hugginface wave2vecCTC 进行语音识别。我想做尽可能多的优化。我在搜索过程中发现的一种方法是将模型转换为 ONNX。所以我写了...

optimization pytorch onnx inference

回答 1 投票 0

扫雷 AI - 推断安全单元知识的某种边缘情况的问题

我正在学习 CS50 的 Python 人工智能入门课程，我非常喜欢它。当我运行我的脚本时，似乎一切正常，但 CS50 检查器发现某种边缘......

python artificial-intelligence cs50 inference minesweeper

回答 1 投票 0

在 Sagemaker Inference 中找不到模型路径

我正在尝试执行与姿势相关的活动作为推理的一部分。我正在使用 Fastapi 通过以下方式在 Sagemaker 上执行推理 https://sii.ua/blog/en/deploying-custom-models-on-aws-sag...

python-3.x deep-learning fastapi amazon-sagemaker inference

回答 1 投票 0

SageMaker batchTransform MultiRecord 错误 - 无法将数据解析为 JSON。确保 Content-Type 标头设置为“application/json”

我正在尝试调用 sagemaker 批量转换输入文件 example.jsonl {“number”：“0060540745”，“brand_name”：“XYZ”，“generic_keywords”：“123”...

amazon-web-services amazon-sagemaker inference

回答 1 投票 0

ViT 模型的 HuggingFace Inference API 问题 - “图像特征提取”错误

我的 Vision Transformer (ViT) 模型 rshrott/vit-base-renovation2 的推理 API 遇到问题。 https://huggingface.co/rshrott/vit-base-renovation2 当我尝试使用 A...

machine-learning huggingface-transformers inference image-classification

回答 1 投票 0

在远程服务器中训练的 Yolov7 权重仅适用于那里

服务器中的权重仅在服务器中工作，当我下载权重并在本地电脑中运行它时，我注意到它根本没有检测到任何对象。使用的命令 python train.py --epochs 10 --

conv-neural-network object-detection yolo inference yolov7

回答 1 投票 0

Transformers：如何使用 CUDA 进行推理？

我已经用GPU微调了我的模型，但推理过程非常慢，我认为这是因为推理默认使用CPU。这是我的推理代码： txt =“这是个好地方”

python pytorch huggingface-transformers inference

回答 2 投票 0

如何对部署在 nvidia triton 上的 T5 张量模型进行推理？

我已经在nvidia triton服务器上部署了T5tensorrt模型，下面是config.pbtxt文件，但是在使用triton客户端推断模型时遇到问题。根据 config.pbtxt 文件...

inference tensorrt triton huggingface

回答 1 投票 0

Fuseki config.ttl 文件，用于使用 TransitiveReasoner 和 TDB2 进行推理

使用包含以下内容的配置文件时，我可以在 Windows 10 下运行 Apache Jena Fuseki 4.6.1，没有任何问题： <#service1> rdf:类型 fusioni:服务 ; #. 。。 fusioni：数据集...

inference fuseki tdb

回答 1 投票 0

我需要一个 fusionki config.ttl 文件来使用 TransitiveReasoner 和 TDB2 进行推理

使用包含以下内容的配置文件时，我可以在 Windows 10 下运行 Apache Jena Fuseki 4.6.1，没有任何问题： `<#service1> rdf:类型 fusioni:服务 ; 。。。 fusioni：数据集&...

inference fuseki inference-engine

回答 1 投票 0

Pytorch LayerNorm 的平均值和 std div 在推理时不固定

我正在努力在 torch.LayerNorm 之后重新创建输入。据我所知，LayerNorm 的平均值和标准差在推理阶段是固定的。因此，我想我可以提取...

deep-learning pytorch normalization transformer-model inference

回答 1 投票 0

模型对 Sagemaker 失败的推断

我已将张量流模型 model.tar.gz 上传到 Sagemaker，然后执行以下代码进行推理导入boto3 导入 json 客户端 = boto3.client('sagemaker-runtime') 响应=客户。

amazon-sagemaker inference

回答 1 投票 0

如何在CPU上并行运行多个推理？

我在 PyTorch 中实现了一些模型，它们的性能在自定义平台上进行评估（围绕 Pytorch 进行包装，保持整体界面）。然而这真的很慢：测试 10k

python deep-learning pytorch inference

回答 1 投票 0

Jena Riot 推断无效的 RDF（以文字作为主语）

我正在将 Jena riot CLI 工具推断出的 RDF 馈送到 shacl cli 工具中。我的架构定义包含如下内容： lob:帐号 rdfs:域 lob:帐户； rdfs:范围 xsd:str...

rdf jena inference rdfs shacl

回答 1 投票 0

将脚本从 pytorch 转换为 onnx 时遇到问题

将 pytorch 脚本转换为 onnx 时遇到问题。我收到错误消息： onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument：[ONNXRuntimeError]：2：INVALID_ARGUMENT：意外的...

python yolov5 inference onnxruntime

回答 1 投票 0

Yolov8 结果：AttributeError：“列表”对象没有属性“路径”- 未找到属性

我正在 Colab 中使用 Yolov8 对象检测模型。代码正确地运行图像子文件夹，并且模型在终端中输出正确的结果，但是我无法...

csv save predict inference yolov8

回答 1 投票 0

使用any

来自https://github.com/Microsoft/TypeScript/pull/3622：超类型崩溃：如果 B 是 A 的超类型，则 A & B 等效于 A。然而：输入 a = 字符串 & 任意； // 解决任意问题，而不是

typescript intersection any inference

回答 1 投票 0

如何在.net应用程序中使用openvino？

我想知道是否可以在.net应用程序中使用openvino？我已将 yolo 网络转换为 onnx 网络以与 ml.net 一起使用。接下来我想做的是实现开放...

.net inference openvino

回答 3 投票 0

inference 相关问题

最新问题