使用图像分类的Tensorflow lite android studio医疗诊断应用程序

问题描述 投票:1回答:1

问题:我正在尝试将https://github.com/obeshor/Plant-Diseases-Detectorhttps://github.com/pillarpond/image-segmenter-android结合在一起

第一个应用程序,Plant应用程序,允许处理单个图像,并且模型已经可以在其上运行。

第二个应用程序,图像分割应用程序,具有强大的图像分割功能,供用户和研究人员了解模型的外观。

由于图像分割应用程序的复杂性,我想将Plant应用程序合并到分割应用程序中。

细分应用的问题是,我需要将细分应用从连续视频更改为单个图像,并为输入特征建模。我不知道有没有简单的方法可以做到这一点。

用于医学图像分类的模型已经完成,并且可以在Plant应用程序上使用。

应用程序的预期结果:输入是医学图像,输出是带有正区域的图像,正区域用总体正/负指示高亮显示,并带有置信度百分比。

问题:是否有人链接到将这两个应用程序或指南组合在一起以创建新应用程序的方法。在过去的五个月中,我一直在从事此工作,但是在第二代码中查找区域以更改模型输入特性,集成标签以及将摄像机从连续图像更改为单个图像时遇到了问题。

谢谢,希望我提供了足够的信息。

android-studio tensorflow image-processing tensorflow-lite
1个回答
0
投票

应用程序的预期结果:输入是医学图像,输出是具有突出显示阳性区域的图像,其中总体正/负指示具有置信度百分比。

听起来,当您说突出显示阳性区域时,意味着要突出显示分类模型检测到的特定疾病的区域。如果这是您的意思,就我所知,我不认为有一种简单的方法可以按照您所描述的方式将这两个模型结合起来。

细分应用的问题是,我需要将细分应用从连续视频更改为单个图像,并为输入特征建模。我不知道是否有简单的方法可以做到这一点。

从实时视频处理更改为单幅图像处理应该很简单。第二部分,模型输入特性,由于多种原因,改变起来并不容易。

1]图像分割(Deeplab)模型期望图像作为输入。我们不能突然更改输入格式,并希望它能神奇地工作。

2)众所周知,基于CNN的图像分类模型很难让人理解。它只是给您标签和信心,但它基于整个图像。输出不包含有关图像中哪些区域对特定(标签,置信度)对贡献最大的任何信息。因此,如果我们能够以某种方式修改分割模型以获取其他信息,那么图像分类模型将一开始就不会提供任何此类有用的信息。

相反,我建议您搜索有关此主题的一些研究论文,看看您是否可以实现这些想法。例如,我的快速搜索给了我this paper。并且应该有更多关于医学图像分类/分割的论文,在这些论文中我没有专业知识可以帮助您进一步。

© www.soinside.com 2019 - 2024. All rights reserved.