如何下载并保存网页

如何下载并保存网页
作者:

示例程序运行效果图

如图所示,在设置下载网址后,程序下载并保存网页,并在小人的奔跑中不断地显示出来.

基本构成思想：
利用WinInet类，直接打开会话，进行读取并保存网页来相关文件中。本文提供的GetSourceHtml函数封装了该功能,只要提供网址与保存文件名就可以完成全部操作,具体函数如下:

BOOL GetSourceHtml(CString theUrl,CString Filename) 
{
 CInternetSession session;
 CInternetFile* file = NULL;
 try
 {
    // 试着连接到指定URL
    file = (CInternetFile*) session.OpenURL(theUrl); 
 }
 catch (CInternetException* m_pException)
 {
    // 如果有错误的话，置文件为空
    file = NULL; 
    m_pException->Delete();
    return FALSE;
 }

 // 用dataStore来保存读取的网页文件
 CStdioFile dataStore;
 if (file)
 {
    CString  somecode;	//也可采用LPTSTR类型，将不会删除文本中的\n回车符
    BOOL bIsOk = dataStore.Open(strPath+"\\"+Filename,
		CFile::modeCreate 
		| CFile::modeWrite 
		| CFile::shareDenyWrite 
		| CFile::typeText);
	
    if (!bIsOk)
	return FALSE;
	
    // 读写网页文件，直到为空
    while (file->ReadString(somecode) != NULL) //如果采用LPTSTR类型，读取最大个数nMax置0，使它遇空字符时结束
    {
	dataStore.WriteString(somecode);
	dataStore.WriteString("\n");		   //如果somecode采用LPTSTR类型,可不用此句
    }
	
	file->Close();
	delete file;
 }
 else
 {
    dataStore.WriteString(_T("到指定服务器的连接建立失败..."));	
    return FALSE;
 }
 return TRUE;
}

下面让我们来看看，如何使用它：

1、 加入WinInt类，如下：
#include "afxinet.h" //加入下载网页要用的头文件

2、 加入上面下载函数到你的工程后，在使用时可用下面代码(其中第一个参数为网址，第二个参数为下载后保存的文件名)：

//获取主程序所在路径,存在全局变量strPath中
GetModuleFileName(NULL,strPath.GetBufferSetLength (MAX_PATH+1),MAX_PATH);
strPath.ReleaseBuffer ();
int nPos;
nPos=strPath.ReverseFind (''''\\'''');
strPath=strPath.Left (nPos);

BOOL m_bDownloadFailed;
m_bDownloadFailed=GetSourceHtml("","News.txt");//下载提示文件的默认网址

其中具体实现方法，可参看下载后的示例源码既可。

作者信息:
徐景周 未来工作室(Future Studio)
地址：陕西省西安市劳动路2号院六单元 邮编：710082
EMAIL：[e-mail]

--------------------next---------------------

好象只能下载静态网页
我用它下载 
得到的源码是不正确的 ( tuxw 发表于 2007-10-17 13:59:00)
 
Snowmud你有本事么也拿点来让我们看看么，毕竟写些东西也要时间的 ( ikohl 发表于 2007-7-14 12:38:00)
 
垃圾乎，精华乎，不想多说
徐向来喜欢东拼西凑一些东西，然后在每个程序里加上中跑来跑去的东西放上来炫上一炫。都看多了，说他干嘛。
喜欢做贡献的不是放这种代码上来，喜欢他的人就看，不喜欢的人多去逛逛codeproject，不要看他的浪费时间 ( Snowmud 发表于 2004-3-23 16:17:00)
 
请问为什么我用相同的方法来下载图片就不行呢？
我是用二进制保存的啊,不过我用的是FILE类型来保存的而不是CStdioFile类型,这有什么关系吗? ( westnorth 发表于 2003-3-25 15:59:00)
 
请问如何定位一个位置，读取该位置后面部分，我做了一下，但第一次读的时候速度很慢，并且数据流量很大 ( sllihui 发表于 2002-12-23 16:05:00)
 
dddd ( ddd 发表于 2002-10-9 15:56:00)
 
dfdf ( dfd 发表于 2002-10-9 15:55:00)
 
下载网页上的图片
很容易，自己分析出来网页的URL
HTML中图片以表示
注意分析相对路径
然后用得到本文的方式获取就行了，不过要注意的是要以二进制的方式保存文件．
本文还可以有一些优化，在内存中设置缓冲区，下载的数据先放置到缓冲中，这样能够减少磁盘的IO ( cyberbird 发表于 2002-9-6 16:33:00)
 
请问怎么下载网页上的图片呢？如果你知道怎么做，请你告诉我！非常着急！！！！非常感谢！！！ ( LittleB 发表于 2002-8-6 15:23:00)
 
同意 ( tom 发表于 2002-6-25 9:11:00)
 
.......................................................

--------------------next---------------------