Pandas:查找 Excel 文件中的工作表列表

问题描述 投票:0回答:13

新版本的Pandas使用以下接口加载Excel文件:

read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])

但是如果我不知道可用的表格怎么办?

例如,我正在使用以下表格的 Excel 文件

数据 1、数据 2 ...、数据 N、foo、bar

但我不知道

N
先验。

有没有办法从 Pandas 的 Excel 文档中获取工作表列表?

python excel pandas openpyxl xlrd
13个回答
498
投票

您仍然可以使用 ExcelFile 类(和

sheet_names
属性):

xl = pd.ExcelFile('foo.xls')

xl.sheet_names  # see all sheet names

xl.parse(sheet_name)  # read a specific sheet to DataFrame

请参阅解析文档了解更多选项...


88
投票

您应该明确指定第二个参数(sheetname)为None。像这样:

 df = pandas.read_excel("/yourPath/FileName.xlsx", None);

“df”都是作为 DataFrame 字典的工作表,您可以通过运行以下命令来验证它:

df.keys()

结果是这样的:

[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']

请参阅 pandas 文档了解更多详细信息:https://pandas.pydata.org/pandas-docs/stable/ generated/pandas.read_excel.html


21
投票

从 Excel(xls.、xlsx)检索工作表名称的最简单方法是:

tabs = pd.ExcelFile("path").sheet_names 
print(tabs)

然后读取并存储特定工作表的数据(例如工作表名称为“Sheet1”、“Sheet2”等),例如“Sheet2”:

data = pd.read_excel("path", "Sheet2") 
print(data)

15
投票

这是我发现的最快的方法,灵感来自@divingTobi 的答案。所有基于 xlrd、openpyxl 或 pandas 的答案对我来说都很慢,因为它们都首先加载整个文件。

from zipfile import ZipFile
from bs4 import BeautifulSoup  # you also need to install "lxml" for the XML parser

with ZipFile(file) as zipped_file:
    summary = zipped_file.open(r'xl/workbook.xml').read()
soup = BeautifulSoup(summary, "xml")
sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]


5
投票
#It will work for Both '.xls' and '.xlsx' by using pandas

import pandas as pd
excel_Sheet_names = (pd.ExcelFile(excelFilePath)).sheet_names

#for '.xlsx' use only  openpyxl

from openpyxl import load_workbook
excel_Sheet_names = (load_workbook(excelFilePath, read_only=True)).sheet_names
                                      

4
投票

如果你:

  • 关心表现
  • 执行时不需要文件中的数据。
  • 想要使用传统库而不是滚动自己的解决方案

以下是在 ~10Mb

xlsx
xlsb
文件上进行的基准测试。

xlsx, xls

from openpyxl import load_workbook

def get_sheetnames_xlsx(filepath):
    wb = load_workbook(filepath, read_only=True, keep_links=False)
    return wb.sheetnames

基准: ~ 14 倍速度提升

# get_sheetnames_xlsx vs pd.read_excel
225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

xlsb

from pyxlsb import open_workbook

def get_sheetnames_xlsb(filepath):
  with open_workbook(filepath) as wb:
     return wb.sheets

基准测试: ~ 速度提升 56 倍

# get_sheetnames_xlsb vs pd.read_excel
96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

备注:


3
投票

我尝试过 xlrd、pandas、openpyxl 和其他此类库,随着读取整个文件,文件大小增加,所有这些库似乎都需要指数时间。上面提到的使用“on_demand”的其他解决方案对我来说不起作用。如果您只想首先获取工作表名称,以下函数适用于 xlsx 文件。

def get_sheet_details(file_path):
    sheets = []
    file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
    # Make a temporary directory with the file name
    directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
    os.mkdir(directory_to_extract_to)

    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(file_path, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()

    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['@sheetId'],
                'name': sheet['@name']
            }
            sheets.append(sheet_details)

    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets

由于所有 xlsx 基本上都是压缩文件,因此我们提取底层 xml 数据并直接从工作簿中读取工作表名称,与库函数相比,这只需几分之一秒的时间。

基准测试:(在包含 4 张的 6mb xlsx 文件上)
熊猫,xlrd: 12 秒
openpyxl: 24 秒
建议方法: 0.4 秒

由于我的要求只是读取工作表名称,因此整个时间读取的不必要的开销困扰着我,所以我改用了这条路线。


3
投票

基于@dhwanil_shah 的答案,您不需要提取整个文件。使用

zf.open
可以直接从压缩文件中读取。

import xml.etree.ElementTree as ET
import zipfile

def xlsxSheets(f):
    zf = zipfile.ZipFile(f)

    f = zf.open(r'xl/workbook.xml')

    l = f.readline()
    l = f.readline()
    root = ET.fromstring(l)
    sheets=[]
    for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
        sheets.append(c.attrib['name'])
    return sheets

连续的两个

readline
很难看,但内容只在文字的第二行。无需解析整个文件。

此解决方案似乎比

read_excel
版本快得多,而且很可能也比完整提取版本快。


3
投票

如果你阅读Excel文件

dfs = pd.ExcelFile('file')

然后使用

dfs.sheet_names
dfs.parse('sheetname')

另一种变体

df = pd.read_excel('file', sheet_name='sheetname')

2
投票
from openpyxl import load_workbook

sheets = load_workbook(excel_file, read_only=True).sheetnames

对于我正在使用的 5MB Excel 文件,没有

load_workbook
标志的
read_only
需要 8.24 秒。使用
read_only
标志只花了 39.6 毫秒。如果您仍然想使用 Excel 库而不是转向 xml 解决方案,那么这比解析整个文件的方法要快得多。


1
投票
  1. 使用 load_workbook readonly 选项,之前看到的明显等待很多秒的执行在毫秒内发生了。然而,该解决方案仍然可以改进。

     import pandas as pd
     from openpyxl import load_workbook
     class ExcelFile:
    
         def __init__(self, **kwargs):
             ........
             .....
             self._SheetNames = list(load_workbook(self._name,read_only=True,keep_links=False).sheetnames)
    
  2. Excelfile.parse 所需的时间与读取完整 xls 的时间相同,约为 10 秒。此结果是使用以下软件包版本的 Windows 10 操作系统获得的

     C:\>python -V
     Python 3.9.1
    
     C:\>pip list
     Package         Version
     --------------- -------
     et-xmlfile      1.0.1
     numpy           1.20.2
     openpyxl        3.0.7
     pandas          1.2.3
     pip             21.0.1
     python-dateutil 2.8.1
     pytz            2021.1
     pyxlsb          1.0.8
     setuptools      49.2.1
     six             1.15.0
     xlrd            2.0.1
    

1
投票
import pandas as pd

path = "\\DB\\Expense\\reconcile\\"

file_name = "202209-v01.xlsx"

df = pd.read_excel(path + file_name, None)
print(df)

sheet_names = list(df.keys())

# print last sheet name
print(sheet_names[len(sheet_names)-1])

last_month = df.get(sheet_names[len(sheet_names)-1])
print(last_month)

0
投票

如果使用

pd.read_excel()
sheet_name=None
来读取工作表名称,设置
nrows=0
可以显着提高速度。

对包含九张纸的 8MB XLSX 文件进行基准测试:

%timeit pd.read_excel('foo.xlsx', sheet_name=None, nrows=0).keys()
>>> 145 ms ± 50.4 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

%timeit pd.read_excel('foo.xlsx', sheet_name=None).keys()
>>> 16.5 s ± 2.04 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

这利用了这样一个事实:(如您所料)

pandas
一旦到达
nrows
参考)就会停止阅读。

© www.soinside.com 2019 - 2024. All rights reserved.