如何使用Python从多页面网站抓取数据

问题描述 投票:0回答:1

我正在尝试从网站上抓取数据表 越南药物银行

我正在尝试用Python抓取它,但是它没有响应

import requests
import pandas as pd

params = {
    'size': 20,
    'sort': 'id,desc',
}

url = 'https://drugbank.vn/danh-sach-thuoc'

data_list = []  # Danh sách chứa dữ liệu từ các trang

for page in range(40000):  # Lặp qua 5 trang dữ liệu
    params['page'] = page

    r = requests.get(url, params=params)
    data = r.json()

    data_list.extend(data)  # Gộp dữ liệu vào danh sách

# Tạo DataFrame từ danh sách dữ liệu
df = pd.DataFrame(data_list)

# Xuất dữ liệu ra file Excel
excel_file = 'Linhngo3.xlsx'
python web-scraping web-crawler webdataset
1个回答
0
投票

您可以尝试使用他们的 Ajax JSON API:

import pandas as pd
import requests

api_url = "https://drugbank.vn/services/drugbank/api/public/thuoc"

params = {
    "page": "1",
    "size": "20",
    "isHide": "ne(Yes)",
    "sort": ["tenThuoc,asc", "id"],
}

all_dfs = []
for params["page"] in range(0, 3):    # <--- increase page size here
    data = requests.get(api_url, params=params).json()
    all_dfs.append(pd.DataFrame(data))

final_df = pd.concat(all_dfs)
print(final_df.head(20))

打印:

             id                      images                        tenThuoc dotPheDuyet soQuyetDinh    pheDuyet hieuLuc     soDangKy                                                                                             hoatChat            phanLoai                              nongDo                                                                                                                                                                                                                                                                                              taDuoc                                                  baoChe                                                                                                                          dongGoi tieuChuan   tuoiTho                                           congTySx           congTySxCode      nuocSx                                                                                                 diaChiSx                                congTyDk    nuocDk                                                                                  diaChiDk giaKeKhai huongDanSuDung huongDanSuDungBn  nhomThuoc isHide   rate  rutSdk rutSdkFile  chuY   ten                                               meta rows  state
0   VD-23889-15                      [None]                         Casoran              662/QÐ-QLD  17/12/2015    None  VD-23889-15                       Cao hoa hòe (3:1) ; Cao dừa cạn (6:1) ; Cao tâm sen (4:1) ; Cao cúc hoa (3:1)   Thuốc không kê đơn             160mg; 20mg; 15mg; 10mg                                                                                                                                                                                                                                                                             Lactose, Glucose, NaCMC                                               Thuốc cốm                                                                                                              Hộp 10 gói x 3g cốm      TCCS  48 tháng             Công ty cổ phần công nghệ cao Traphaco           TRAPHACO_CNC    Việt Nam                                                               Xã Tân Quang, huyện Văn Lâm, tỉnh Hưng Yên                Công ty cổ phần Traphaco  Việt Nam                                                              75 Yên Ninh, Ba Đình, Hà Nội      None           None             None  Đông dược   None  104.5       0         []  None  None          {'fileName': '1555918263013_152(19).pdf'}   []    202
1   VN-17674-14                      [None]                  Docetaxel 20mg          84  135/QÐ-QLD  04/03/2014    None  VN-17674-14                                                                                           Docetaxel         Thuốc kê đơn                            20mg/2ml                                                                                                                                                                                                                                                                                                                   dung dịch đậm đặc dùng để pha tiêm truyền                                                                               Hộp chứa 1 lọ thuộc 0,72mL và 1 lọ dung môi 1,28mL       NSX  24 tháng  Teva Pharmaceutical Works Private Limited Company    TEVA_PHARMACEUTICAL    Hungary                                                                     Tancsics Mihaly ut 82, H-2100 Godollo    Công ty TNHH DP và Hoá chất Nam Linh  Việt Nam                                      22/6 đường 15, P. Tân Kiểng, Quận 7, TP. Hồ Chí Minh      None           None             None              None  086.5       0         []  None  None       {'fileName': '1555480276269_84_1_30_45.pdf'}   []    202
2   VD-24071-16                      [None]                        Hà thủ ô               97/QÐ-QLD  23/03/2016    None  VD-24071-16                                                                               Cao đặc rễ hà thủ ô đỏ  Thuốc không kê đơn                              300mg                                                                                                                                                                                              Glucose, Tinh bột, Magnesi stearat, Chocolate, Đường trắng, Calci carbonat, bột Talc, Titan dioxyd, PVP                                     Viên nén bao đường                                                                                                               Hộp 5 vỉ x 20 viên       TCCS  36 tháng             Công ty cổ phần công nghệ cao Traphaco           TRAPHACO_CNC    Việt Nam                                                               Xã Tân Quang, huyện Văn Lâm, tỉnh Hưng Yên  Công ty cổ phần công nghệ cao Traphaco  Việt Nam                                                Xã Tân Quang, huyện Văn Lâm, tỉnh Hưng Yên      None           None             None  Đông dược   None  095.5       0         []  None  None         {'fileName': '1557123146318_153(194).pdf'}   []    202
3   VN-17635-14                      [None]                            1-AL          85  135/QÐ-QLD  04/03/2014    None  VN-17635-14                                           Levocetirizine (dưới dạng Levocetirizine dihydrochloride)         Thuốc kê đơn                                 5mg  Lactose, Microcrystalline Cellulose (Chemical pH 102), Polyvinyl Pyrollidone (PVP K-30), Crosscarmellose Sodium (Ac-Di-Sol), Colloidal Silicon Dioxide (Aerosil), Talc, Magnesium Stearate, Titanium Dioxide, Hydroxypropyl Methyl Cellulose 5 cps, Polyethylene Glycol 400, Lake Quinoline Yellow                                       Viên nén bao phim                                                                                                               Hộp 20 vỉ x10 viên       NSX  24 tháng                                        FDC Limited                    FDC       India                                             L-121-B, Phase III A, Verna Indl. Estate, Verna Salcete, Goa             Amtec Healthcare Pvt., Ltd.     India                                     #204, Dattasai Complex, RTC X Roads, Hyderabad 500020      None           None             None              None  073.0       0         []  None  None       {'fileName': '1554683212637_85_194_199.pdf'}   []    202
4   VN-17818-14                      [None]                            1-AL          86  294/QÐ-QLD  12/06/2014    None  VN-17818-14                                                                      Levocetirizine Dihydrochloride   Thuốc không kê đơn                           15mg/30ml                     Sodium citrate, Disodium edetate, Methyl hydroxybenzoate, Propyl hydroxybenzoate, Ordinary sugar, Sorbitol solution 70% (Liquid Sorbitol 70%) (Non crystallizing), Glycerin (Glycerol), Anhydrous citric acid, Orange flavour RS 15215, Sunset Yellow FCF Supra, Purified water                                                    Siro                                                                                                                    Hộp 1 lọ 30ml       NSX  24 tháng                                        FDC Limited                    FDC       India                                     B-8, MIDC Industrial area Waluj, Aurangabad 431136 Maharashtra State             Amtec Healthcare Pvt., Ltd.     India                                     #204, Dattasai Complex, RTC X Roads, Hyderabad 500020      None           None             None              None    100       0         []  None  None       {'fileName': '1554907153480_86_172_175.pdf'}   []    202
5   VN-19115-15                      [None]      20% Fat Emulsion Injection          91  548/QÐ-QLD  06/10/2015    None  VN-19115-15                                                                                         Soybean oil         Thuốc kê đơn                                 20%                                                                                                                                                                                                                                                                                                                             Nhũ tương tiêm truyền tĩnh mạch                                                                                                            Túi polyethylen 250ml       NSX  24 tháng          Guangdong Otsuka Pharmaceutical Co., Ltd.  OTSUKA_PHARMACEUTICAL  Trung Quốc  High and New technology Industries Development Area, Ronggui street, Shunde district, Foshan, Guangdong                 Công ty TNHH Otsuka OPV  Việt Nam                                Lô 27, đường 3A, khu công nghiệp Biên Hòa 2, tỉnh Đồng Nai      None           None             None              None  077.5       0         []  None  None  {'fileName': '1554988683741_Nhãn 91_909-914.pdf'}   []    202
6   VD-22915-15                      [None]                         3B-Medi         151  514/QÐ-QLD  09/09/2015    None  VD-22915-15                                                                 Vitamin B1; Vitamin B6; Vitamin B12   Thuốc không kê đơn             125 mg; 125 mg; 250 mcg                                                                                                                                                           Dầu đậu nành, Sáp ong trắng, Lecithin, Gelatin, Glycerin, methyl parapen, Vanillin, Sorbitol, Titan dioxide, Ponceau 4R, Nước tinh khiết.                                           Viên nang mềm                                                                                                              Hộp 10 vỉ x 10 viên      TCCS  36 tháng                Công ty cổ phần dược phẩm Me Di Sun                MEDISUN    Việt Nam                                                521 ấp An Lợi, xã Hoà Lợi, huyện Bến Cát, tỉnh Bình Dương     Công ty cổ phần dược phẩm Me Di Sun  Việt Nam                                 521 ấp An Lợi, xã Hoà Lợi, huyện Bến Cát, tỉnh Bình Dương      None           None             None   Tân dược   None  104.5       0         []  None  None         {'fileName': '1555918927432_151(193).pdf'}   []    202
7   VD-26870-17                      [None]                     3B-Medi tab         158  229/QLD-ÐK  22/06/2017    None  VD-26870-17  Vitamin B1 (Thiamin mononitrat) ; Vitamin B6 (Pyridoxin hydroclorid) ; Vitamin B12 (Cyanocobalamin)        Thuốc kê đơn             100 mg; 200 mg; 200 mcg                                                                                                                                                 Lactose, tinh bột mì, povidon, avicel 101, magnesi stearat, talc, HPMC 606, HPMC 615, PEG 6000, talc, erythrosin red, black iron oxid, titan dioxid                                       Viên nén bao phim                                                                                                              Hộp 10 vỉ x 10 viên      TCCS  36 tháng                Công ty cổ phần dược phẩm Me Di Sun                MEDISUN    Việt Nam                                      521 khu phố An Lợi, phường Hoà Lợi, thị xã Bến Cát, tỉnh Bình Dương     Công ty cổ phần dược phẩm Me Di Sun  Việt Nam                       521 khu phố An Lợi, phường Hoà Lợi, thị xã Bến Cát, tỉnh Bình Dương      None           None             None   Tân dược   None  113.5       0         []  None  None          {'fileName': '1557124558512_158(50).pdf'}   []    202
8   VD-26140-17                      [None]                            3BTP         157   41/QÐ-QLD  06/02/2017    None  VD-26140-17      Vitamin B1 (Thiamin nitrat) ; Vitamin B6 (Pyridoxin hydroclorid) ; Vitamin B12 (Cyanocobalamin)        Thuốc kê đơn             100 mg; 200 mg; 200 mcg                                                                                                                                                                                     Lactose, copovidon, colloidal, anhydrous silica, sucralose, vanilin, erythrosin, crospovidon, glyceryl behenate                                       Viên nén phân tán                                                                                                              Hộp 10 vỉ x 10 viên      TCCS  24 tháng                   Công ty cổ phần dược phẩm Hà Tây               HATAPHAR    Việt Nam                                                          Tổ dân phố số 4 - La Khê - Hà Đông - Tp. Hà Nội        Công ty cổ phần dược phẩm Hà Tây  Việt Nam                                                      10A - Quang Trung - Hà Đông - Hà Nội      None           None             None   Tân dược   None  113.5       0         []  None  None      {'fileName': '1554385275429_VD-26140-17.pdf'}   []    202
9   VD-16258-12                      [None]                       3Bpluzs F         133   20/QĐ-QLD  12/01/2012    None  VD-16258-12                                                    Vitamin B1; Vitamin B6 ; Vitamin B12; Sắt sulfat         Thuốc kê đơn       12,5mg; 12,5mg; 50mcg; 16,2mg                                                                                                         Dầu đậu nành, dầu cọ, sáp ong trắng, lecithin, getalin, glycerin, sorbitol, vanillin, methyl paraben, propyl paraben, titan dioxyd, màu sắt oxyd đỏ, allura red, erythrosin red, ponceau 4R                                           Viên nang mềm  Hộp 12 vỉ, 20 vỉ x 12 viên, hộp 3 vỉ, 6 vỉ, 10 vỉ, 30 vỉ, 50 vỉ x 10 viên, chai 30 viên, 60 viên, 100 viên, 200 viên, 500 viên       TCCS  36 tháng              Công ty cổ phần Dược phẩm Phương Đông     ORIENT_PHARMA_CORP    Việt Nam                            Lô số 7, đường số 2, KCN. Tân Tạo, P. Tân Tạo A, Q. Bình Tân, TP. Hồ Chí Minh   Công ty cổ phần Dược phẩm Phương Đông  Việt Nam             Lô số 7, đường số 2, KCN. Tân Tạo, P. Tân Tạo A, Q. Bình Tân, TP. Hồ Chí Minh      None           None             None   Tân dược   None  077.5       0         []  None  None           {'fileName': '1557117506459_133(7).pdf'}   []    202
10  VD-17429-12                      [None]                      3Bvit ando         136  224/QÐ-QLD  24/09/2012    None  VD-17429-12                                          Vitamin B1; Vitamin B6; Vitamin B12; Vitamin B2; Vitamin PP  Thuốc không kê đơn  12,5mg; 12,5mg; 12,5mcg; 2mg; 10mg                                                                                                                                                                                                                                                                                                                                           Viên nén bao phim                                                                                                              Hộp 10 vỉ x 10 viên      TCCS  24 tháng                   Công ty cổ phần dược phẩm Hà Tây               HATAPHAR    Việt Nam                                                                      La Khê - Văn Khê - Hà Đông - Hà Nội        Công ty cổ phần dược phẩm Hà Tây  Việt Nam                                                        10A Quang Trung - Hà Đông - Hà Nội      None           None             None   Tân dược   None  064.0       0         []  None  None          {'fileName': '1557118224699_136(41).pdf'}   []    202
11    VN2-52-13                      [None]                     4-Epeedo-50          81   64/QÐ-QLD  01/04/2013    None    VN2-52-13                                                                             Epirubicin hydrochloride        Thuốc kê đơn                                50mg                                                                                                                                                                                                                                                                       methylparaben BP, lactose B.P                                   Bột đông khô pha tiêm                                                                                                                        Hộp 1 lọ        NSX  24 tháng                     Naprod Life Sciences Pvt. Ltd.            NAPROD_LIFE       Ấn Độ                                        G-17/1, MIDC, Tarapur, Industrial Area, Boisar, Dist.Thane-401506          Naprod Life Sciences Pvt. Ltd.     Ấn Độ             304, Town Centre, Andheri kurla Road, Andheri (E), Mumbai, Maharastra, 400059      None           None             None              None  082.0       0         []  None  None           {'fileName': '1554693018188_81-831.pdf'}   []    202
12  VN-18586-15                      [None]     4.2% w/v Sodium Bicarbonate          89   82/QÐ-QLD  09/02/2015    None  VN-18586-15                                                                                     Natri bicarbonat        Thuốc kê đơn                             10,5 mg                                                                                                                                                                                                                                                                 Dinatri edetat-2H2O, Nước pha tiêm                          Dung dịch tiêm truyền tĩnh mạch                                                                                        Chai thủy tinh 250ml; hộp 10 chai x 250ml       NSX  24 tháng                               B.Braun Melsungen AG                 BBRAUN         Đức                                                                                          34209 Melsungen    B.Braun Medical Industries Sdn. Bhd.  Malaysia      Bayan Lepas Free Industrial Zone, Plot 164, Phase 2, 11900 Bayan Lepas, Pulau Pinang      None           None             None              None  104.5       0         []  None  None  {'fileName': '1554775075590_Nhãn 89_247_250.pdf'}   []    202
13  VN-16866-13                      [None]  5% Dextrose 500ml inj Infusion          82  184/QÐ-QLD  05/07/2013    None  VN-16866-13                                                                                           Dextrose          Thuốc kê đơn                                 25g                                                                                                                                                                                                                                                                                   Nước cất pha tiêm                                   Dung dịch tiêm truyền                                                                                                                       Chai 500ml     JP XV  36 tháng                           Dai Han Pharm. Co., Ltd.           DAIHAN_PHARM       Korea                                                            736-1, Wonsi-dong, Danwon-gu, Ansan, Gyeonggi                     Pharmix Corporation     Korea                                  1304, Garak ID Tower, 99-7, Garak-dong, Songpa-Ku, Seoul      None           None             None              None  068.5       0         []  None  None           {'fileName': '1554998974158_82_885.pdf'}   []    202
14  VN-17422-13                      [None]          5-Fluorouracil "Ebewe"          84  419/QÐ-QLD  27/12/2013    None  VN-17422-13                                                                                      5-Fluorouracil         Thuốc kê đơn                             50mg/ml                                                                                                                                                                                                                                                                     Sodium hydroxide, Nước pha tiêm  Dung dịch đậm đặc để pha dung dịch tiêm và tiêm truyền                                                                                       Hộp 1 lọ 5ml; hộp 1 lọ 10ml; hộp 1 lọ 20ml       NSX  24 tháng                      Ebewe Pharma Ges.m.b.H.Nfg.KG           EBEWE_PHARMA          Áo                                                           Mondseestraβe 11, AT-4866 Unterach am Attersee           Ebewe Pharma Ges.m.b.H.Nfg.KG        Áo                                                        Mondseestrasse 11, A-4866 Unterach      None           None             None              None  095.5       0         []  None  None       {'fileName': '1555590497937_84_700_711.pdf'}   []    202
15   VN2-112-13                      [None]                         8 Horas          82  185/QĐ-QLD  05/07/2013    None   VN2-112-13                                                                                         Eszopiclone         Thuốc kê đơn                                1 mg                                               0.50 mg Colloidal silicon dioxide; 5.00 mg Sodium Croscarmellose; 27.50 mg Microcrystalline cellulose; 64.00 mg Lactose; 1.00 mg Magnesium stearate; 0.23 mg Polyethyleneglycol 6000; 2.30 mg Hydroxypropyl methylcellulose; 0.47 mg Titanium dioxide                                       Viên nén bao phim                                                                                                               Hộp 3 vỉ x 10 viên       NSX  24 tháng                      Laboratorio Elea S.A.C.I.F.yA                   ELEA   Argentina                                                                         Sanabria No.2353  C1417AZE CABA                           Hasco-Lek S.A.    Ba Lan                                                    Zmigrodzka Street 242E, 51-131 Wroclaw      None           None             None              None  068.5       0         []  None  None          {'fileName': '1555299939448_82_1445.pdf'}   []    202
16   VN2-113-13                      [None]                         8 Horas          82  185/QĐ-QLD  05/07/2013    None   VN2-113-13                                                                                         Eszopiclone         Thuốc kê đơn                                2 mg    0.50 mg Colloidal silicon dioxide; 5.00 mg Sodium Croscarmellose; 27.15 mg Microcrystalline cellulose; 63.35m g Lactose; 1.00 mg Magnesium stearate; 0.23 mg Polyethyleneglycol 6000; 2.30m g Hydroxypropylmethylcellulose; 0.28 mg FD & C blue No.2 lacquer aluminum ; 0.19m g Titanium dioxide                                       Viên nén bao phim                                                                                                               Hộp 3 vỉ x 10 viên       NSX  24 tháng                      Laboratorio Elea S.A.C.I.F.yA                   ELEA   Argentina                                                                         Sanabria No.2353  C1417AZE CABA                           Hasco-Lek S.A.    Ba Lan                                                    Zmigrodzka Street 242E, 51-131 Wroclaw      None           None             None              None  068.5       0         []  None  None          {'fileName': '1555300210141_82_1451.pdf'}   []    202
17  VN-21186-18                      [None]                             9PM         100  411/QÐ-QLD  04/07/2018    None  VN-21186-18                                                                                          Latanoprost        Thuốc kê đơn                               50mcg                                                                                                                                                                                                          natri dihydrogen phosphat, dinatri hydrogen phosphat, natri chlorid, benzalkonium  chlorid                                       Dung dịch nhỏ mắt                                                                                                                   Hộp 1 lọ 2,5ml       NSX  24 tháng                                          Cipla Ltd                  CIPLA       India                                 Plot No 9 & 10, Pharma zone, Phase II, Indore SEZ, Pithampur (MP)-454775                              Cipla Ltd.     India  Cipla House, Peninsula Business Park, Ganpatrao, Kadam Marg. Lower Parel, Mumbai- 400013      None           None             None              None  091.0       0         []  None  None  {'fileName': '1558970449473_TNN100_Linh0047.pdf'}   []    202
18  VD-18416-13                      [None]                 A9 - Cerebrazel               08/QLD-ÐK  18/01/2013    None  VD-18416-13                                                                            Meclofenoxat hydroclorid   Thuốc không kê đơn                               250mg                                                                      Dicalciphosphat, lactose monohydrat, microcrystaline cellulose, sodium starch glycolat, polyvinyl alcohol, ethyl cellulose, croscarmellose sodium, talc, magnesi stearat, titan dioxyd, HPMC 606, HPMC 615, polyethylen glycol                                       Viên nén bao phim                                                                                                   hộp 6 vỉ (nhôm/nhôm) x 10 viên      TCCS  36 tháng                Công ty cổ phần dược TW Mediplantex            MEDIPLANTEX    Việt nam                                                     Thôn Trung Hậu, xã Tiền Phong, huyện Mê Linh, Hà Nội     Công ty cổ phần dược TW Mediplantex  Việt Nam                                        358 Giải phóng, P. Phương Liệt, Thanh xuân, Hà Nội      None           None             None   Tân dược   None  068.5       0         []  None  None         {'fileName': '1556168972097_138(485).pdf'}   []    202
19  VD-20748-14  [5d4d8fc43eb47f4e340c5c9c]                      ABAB 500mg         145  296/QÐ-QLD  12/06/2014    None  VD-20748-14                                                                                       Acetaminophen   Thuốc không kê đơn                              500 mg                                                                                                                                                                                                         tibnh bột mì, microcrystallin cellulose, natri lauryl sulfat, acid benzoic, magnesi stearat                            Viên nang cứng (trắng-trắng)                                                                                                                    Chai 500 viên      TCCS  48 tháng                Công ty cổ phần dược phẩm IMEXPHARM              IMEXPHARM    Việt Nam                                                   04- đường 30/4, Phường 1, Tp. Cao Lãnh, Tỉnh Đồng Tháp     Công ty cổ phần dược phẩm IMEXPHARM  Việt Nam                                    04- đường 30/4, Phường 1, Tp. Cao Lãnh, Tỉnh Đồng Tháp      None           None             None   Tân dược   None  086.5       0         []  None  None     {'fileName': '1556007472316_145+146(802).pdf'}   []    202

...
© www.soinside.com 2019 - 2024. All rights reserved.