分页接口数据重复问题

記的打卡· 2023-10-24 22:37:20

requests库 如何循环获取分页接口的全部数据
由于框架限制page最大上限为1000,默认10条
部分代码
author = 'Leo'
import requests
import json
import time

url = "http://order-full-process/list?page=0&size=10"
headers = heade_D()
ir = ApiRequest()
data = {
'''''''
}
result = ir.run_method(url=url, method='post', data=data, headers=headers)

json_data = json.loads(result) # 转换
orderno_list = [i['orderNo'] for i in json_data.get('content', [])]
Status = [i['orderStatus'] for i in json_data.get('content', [])]

sums = len(orderno_list)
print(f'订单数量:{sums}')

//试了循环调用
def url_info():
url_list = ['http://order-detail?page={}&size=10&orderNo='.format(i) for i in range(200)]
return url_list

这样返回的数据会有重复值,请问啥原因,?

 

...全文
109 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
点灯大神 2023-10-25
  • 打赏
  • 举报
回复 1

import requests
import json

base_url = "http://order-full-process/list"
headers = heade_D()  # 你的headers函数,假设它会返回正确的头部信息

def get_total_pages():
    # 请求第一页数据来获取总的数据量或分页数
    response = requests.post(base_url, params={'page': 0, 'size': 10}, headers=headers)
    data = response.json()
    total_count = data.get('totalElements', 0)  # 假设接口返回的json中有一个叫做'totalElements'的字段,这个字段表示总的数据条数
    total_pages = total_count // 10 + (1 if total_count % 10 != 0 else 0)  # 计算总的分页数
    return total_pages

def get_data_for_page(page, size=10):
    response = requests.post(base_url, params={'page': page, 'size': size}, headers=headers)
    return response.json()

total_pages = get_total_pages()

all_data = []
for page in range(total_pages):
    data = get_data_for_page(page)
    all_data.extend(data.get('content', []))

# 打印结果
print(f'总订单数量:{len(all_data)}')

記的打卡· 2023-10-25
  • 举报
回复
@点灯大神 返回数据: content: [{id: "501712619678683136", dispatchCode: "MD00000271", dispatchName: "106",…},…] empty: false number: 0 numberOfElements: 10 size: 10 totalElements: 31 totalPages: 4
記的打卡· 2023-10-25
  • 举报
回复
@記的打卡· 总分页和总数据量有返回

5,783

社区成员

发帖
与我相关
我的任务
社区描述
人生苦短,我用python
社区管理员
  • Python 学习者
  • 嗨学编程
  • 松鼠爱吃饼干
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

欢迎来到Python学习者们的社区,

 

本社区分享你需要的文章、问题解答、技术互助、学习资源、面试系列等等

 

欢迎你的加入,祝你学有所成~

试试用AI创作助手写篇文章吧