WinInet方式实现Get Post 有的网站能取到源码,有的却只能取到一部分,甚至返回bad request ,但不知道哪里出了问题

曼珠u沙华 2016-06-05 08:11:34
WinInet方式实现Get Post ,有的网站能取到源码,有的却只能取到一部分,甚至返回bad request ,但不知道哪里出了问题,求大神指导。我是UNICODE程序。只能取一部分代码的情况下, InternetReadFile(hHttpRequest, pbtBuf, 1024, &nCount);只读取一次,第二次读取,pbtBuf里还是上一次读取的内容,nCount变成了0.如果我把Buf申请足够大的内存,可以读到所有源码,但是读到的源码是有问题的。而访问有的网站就不会出现这种问题。求大神指导,拜托啦!苦恼了我两天了,也没发现问题。
出问题的时候,HttpSendRequest 调用失败,错误码是12150

char *CWinInetOperate::WebVisit(CString strUrl, CString strVisitType, char *pcSubmitData, CString strSubmitCookies, CString strSubjoinProtocolHeader,
BOOL bNoRedirect, CString strProxyAddress )
{
CStringOperate c_StrOperate;
CString strTempUrl = strUrl;
BOOL bHttps = FALSE;
strTempUrl.MakeLower();
if (strTempUrl.Left(8) == L"https://")
bHttps = TRUE;
CString strUserAgent;
if (strSubjoinProtocolHeader.Find(L"User-Agent: ") != -1)
strUserAgent = c_StrOperate.GetStringMiddle(strSubjoinProtocolHeader, L"User-Agent: ", L"\r\n");
else
strUserAgent = L"Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1)";
HINTERNET hInternet;
if (strProxyAddress.IsEmpty())
hInternet = InternetOpen(strUserAgent, INTERNET_OPEN_TYPE_DIRECT, NULL, NULL, 0);
else
{
if (bHttps)
hInternet = InternetOpen(strUserAgent, INTERNET_OPEN_TYPE_PROXY, strProxyAddress, NULL, 0);
else
hInternet = InternetOpen(strUserAgent, INTERNET_OPEN_TYPE_DIRECT, L"http=" + strProxyAddress, NULL, 0);
}
if (!hInternet)
return NULL;
HINTERNET hInternetConnect;
hInternetConnect = InternetConnect(hInternet, GetDomain(strUrl), GetPort(strUrl), NULL, NULL, INTERNET_SERVICE_HTTP, 0, 0);
if (!hInternetConnect)
{
InternetCloseHandle(hInternetConnect);
InternetCloseHandle(hInternet);
return NULL;
}
int nRequestSign = INTERNET_FLAG_RELOAD | INTERNET_COOKIE_THIRD_PARTY;
if (strSubmitCookies.IsEmpty() == FALSE)
nRequestSign |= INTERNET_FLAG_NO_COOKIES;
if (bNoRedirect)
nRequestSign |= INTERNET_FLAG_NO_AUTO_REDIRECT;
if (bHttps)
nRequestSign |= INTERNET_FLAG_SECURE;
else
nRequestSign |= INTERNET_FLAG_IGNORE_REDIRECT_TO_HTTPS;
PCTSTR rgpszAcceptTypes[] = {L"text/*",NULL};
HINTERNET hHttpRequest = HttpOpenRequest(hInternetConnect, strVisitType, GetPageAddress(strUrl), L"HTTP/1.1", NULL,NULL, nRequestSign, 0);
if (!hHttpRequest)
{
InternetCloseHandle(hInternet);
InternetCloseHandle(hInternetConnect);
InternetCloseHandle(hHttpRequest);
return NULL;
}

if (strSubjoinProtocolHeader.IsEmpty())
strSubjoinProtocolHeader = L"Accept: */*";
else
{
if (strSubjoinProtocolHeader.Find(L"Accept:") == -1)
strSubjoinProtocolHeader = strSubjoinProtocolHeader + L"\r\n" + L"Accept: */*";
}
if (strSubjoinProtocolHeader.Find(L"Referer:") == -1)
strSubjoinProtocolHeader = strSubjoinProtocolHeader + L"\r\n" + L"Referer: " + strUrl;
if (strSubjoinProtocolHeader.Find(L"Accept-Language:") == -1)
strSubjoinProtocolHeader = strSubjoinProtocolHeader +L"\r\n" +L"Accept-Language: zh-cn";
if (strSubjoinProtocolHeader.Find(L"Content-Type:") == -1)
strSubjoinProtocolHeader = strSubjoinProtocolHeader +L"\r\n"+ L"Content-Type: application/x-www-form-urlencoded";
if (strSubmitCookies.IsEmpty() == FALSE)
strSubjoinProtocolHeader = strSubjoinProtocolHeader + L"\r\n" + L"Cookie: " + strSubmitCookies;
CString strTempVisitType = strVisitType;
strTempVisitType.MakeLower();
if (strTempVisitType == L"get")
HttpSendRequest(hHttpRequest, strSubjoinProtocolHeader, strSubjoinProtocolHeader.GetLength(), NULL, 0);
else
{
DWORD dwLength;
if (pcSubmitData == NULL)
dwLength = 0;
else
dwLength = strlen(pcSubmitData) + 1;
HttpSendRequest(hHttpRequest, strSubjoinProtocolHeader, strSubjoinProtocolHeader.GetLength(), pcSubmitData, dwLength);
}

DWORD nCount;
byte *pbtBuf = new byte[1024];
CByteArray btaryWebCode;
memset(pbtBuf, 0, 1024);
BOOL bFlag;
do
{
bFlag = InternetReadFile(hHttpRequest, pbtBuf, 1024, &nCount);
for (DWORD i = 0; i < nCount; i++)
btaryWebCode.Add(pbtBuf[i]);
} while (nCount);
nCount = btaryWebCode.GetCount();
char *pcWebCode = new char[nCount+1];
memset(pcWebCode, 0, nCount + 1);
for (DWORD i = 0; i < nCount; i++)
pcWebCode[i] = btaryWebCode.GetAt(i);
/* CFile file;
file.Open(L"C:\\Users\\Administrator.USER-20150718LB\\Desktop\\1.txt",CFile::modeReadWrite);
file.Write(pcWebCode,nCount);
file.Close();*/

InternetCloseHandle(hInternet);
InternetCloseHandle(hInternetConnect);
InternetCloseHandle(hHttpRequest);
return pcWebCode;
}



...全文
871 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
赵4老师 2016-06-30
  • 打赏
  • 举报
回复
学会使用抓包软件比如wireshark
oyljerry 2016-06-29
  • 打赏
  • 举报
回复
你发送的请求,比如header等信息,各个网站可能有区别。然后就是读取的数据的编码格式等。
Eleven 2016-06-06
  • 打赏
  • 举报
回复
难道是URL Encode的问题?你要看看网站的编码格式是什么,不同的网站编码格式不一样的~
内容概要:本文系统研究了Picard迭代法在非线性常微分方程参数估计中的应用,深入阐述了该方法的数学原理及其在参数辨识中的收敛性与稳定性优势。通过构建最小化误差的目标函数,并结合数值积分技术,采用迭代方式逐步逼近系统的真实参数值,有效解决了非线性动态系统中因缺乏解析解而难以进行精确建模的问题。文中提供了完整的Matlab代码实现,涵盖模型定义、迭代求解、参数更新与结果可视化等关键环节,增强了方法的可操作性与工程实用性。研究通过典型非线性系统案例验证了算法的有效性,展示了其在科学计算与工程建模中的良好适应性与推广潜力。; 适合人群:具备常微分方程理论、数值分析基础及Matlab编程能力,从事系统建模、参数辨识、动力学仿真等相关方向的研究生、科研人员和工程技术开发者。; 使用场景及目标:①解决实际工程中非线性微分方程模型的未知参数估计问题;②深入理解Picard迭代法在科学计算中的实现机制与数值特性;③为学术论文复现、科研项目开发或课程设计提供可运行、易调试的技术方案与代码参考。; 阅读建议:建议读者结合文中的数学推导与Matlab代码逐行分析,重点关注迭代流程、目标函数构造与数值积分的耦合实现,通过修改模型结构或噪声条件进行扩展实验,以深化对算法鲁棒性与适用边界的理解。配套资源可通过指定公众号和网盘链接获取,推荐同步学习以加速科研进程。
内容概要:本文详细介绍了一种基于多尺度集成极限学习机(Extreme Learning Machine, ELM)的回归方法,并提供了完整的Matlab代码实现。该方法通过构建多尺度特征表示与集成学习机制,有效提升了ELM在处理非线性、高维复杂数据时的预测精度与模型鲁棒性,特别适用于时间序列回归任务。文档不仅阐述了算法的核心原理与技术流程,还系统展示了其在风电功率预测等工程场景中的应用潜力。同时,文中附带了丰富的科研仿真案例集合,涵盖智能优化算法、深度学习、信号处理、电力系统调度等多个前沿方向,体现了多学科交叉融合的技术优势与实践价值。; 适合人群:具备一定Matlab编程能力,从事科学研究或工程应用的研究生、科研人员及工程技术开发者,尤其适合专注于机器学习、智能算法优化、新能源预测与电力系统建模等相关领域的专业人员。; 使用场景及目标:①用于风电、光伏、负荷等时间序列数据的高精度回归预测任务;②为科研工作者提供可复现的多尺度集成ELM模型代码框架,支持快速算法验证与二次开发;③满足实际工程项目中对高效建模、实时预测与智能决策的技术需求。; 阅读建议:建议读者结合所提供的Matlab代码进行动手实践,深入理解多尺度特征构造与集成策略的设计思想,同时可参考文档中其他相关算法案例进行横向比较与综合应用,以提升整体科研创新能力。

18,356

社区成员

发帖
与我相关
我的任务
社区描述
VC/MFC 网络编程
c++c语言开发语言 技术论坛(原bbs)
社区管理员
  • 网络编程
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧