很多网站都使用了URL重定向技术,把一个原始请求从一个位置路由到另一个位置。原因可能是多方面的,比如域名转发、URL缩写、隐私保护、在同一网站维持相似的域名等。
本文讲述怎样使用Apache HTTPComponents HttpClient实现URL重定向。
本文使用的工具:
1.
2. JDK 1.7
1、创建Java项目
项目我命名为HttpClientTest,导入如下JAR包:
2、开发
1)创建和配置CloseableHttpClient
CloseableHttpClient是线程安全的,单个实例可用于处理多个HTTP请求。Http Client会自动处理所有的重定向,除非明确地使用disableAutomaticRetries()关闭自动重定向。
2)使用链接创建HttpGet实例,获取重定向。
3)创建本地HTTP执行上下文HttpClientContext。
4)使用Http Client并传递本地实例HttpClientContext,执行HttpGet请求。
5)成功执行请求后,使用上下文对象来获取所有的重定向位置。
6)关闭响应CloseableHttpResponse,释放资源。
-
package com.ch.net;
-
-
import java.io.IOException;
-
import java.net.URI;
-
import java.util.List;
-
-
import org.apache.http.client.ClientProtocolException;
-
import org.apache.http.client.config.CookieSpecs;
-
import org.apache.http.client.config.RequestConfig;
-
import org.apache.http.client.methods.CloseableHttpResponse;
-
import org.apache.http.client.methods.HttpGet;
-
import org.apache.http.client.protocol.HttpClientContext;
-
import org.apache.http.impl.client.CloseableHttpClient;
-
import org.apache.http.impl.client.HttpClients;
-
-
public class UrlRedirectionDemo {
-
// 浏览器Agent
-
public static String USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.151 Safari/535.19";
-
-
// 创建并配置HttpClient
-
private static final CloseableHttpClient httpClient = HttpClients
-
.custom()
-
.setUserAgent(USER_AGENT)
-
.setDefaultRequestConfig(
-
RequestConfig.custom()
-
.setCookieSpec(CookieSpecs.BROWSER_COMPATIBILITY)
-
.build()).build();
-
-
/**
-
* 根据给定的链接获取所有的重定向位置
-
* @param link 给定的链接
-
* @return
-
* @throws ClientProtocolException
-
* @throws IOException
-
*/
-
public List<URI> getAllRedirectLocations(String link) throws ClientProtocolException, IOException{
-
List<URI> redirectLocations = null;
-
CloseableHttpResponse response = null;
-
try{
-
HttpClientContext context = HttpClientContext.create();
-
HttpGet httpGet = new HttpGet(link);
-
response = httpClient.execute(httpGet, context);
-
-
// 获取所有的重定向位置
-
redirectLocations = context.getRedirectLocations();
-
} finally{
-
if(response!=null){
-
response.close();
-
}
-
}
-
return redirectLocations;
-
}
-
-
public static void main(String[] args) throws ClientProtocolException, IOException{
-
// 输入URL
-
String link = "";
-
UrlRedirectionDemo demo = new UrlRedirectionDemo();
-
List<URI> allRedirectLocations = demo.getAllRedirectLocations(link);
-
if(allRedirectLocations!=null){
-
System.out.println(link);
-
for(URI uri : allRedirectLocations){
-
System.out.println("|\nv\n" + uri.toASCIIString());
-
}
-
} else{
-
System.out.println("Not found!");
-
}
-
}
-
}
如果使用默认的User-Agent设置,有些网站会返回HTTP 500状态码错误。一旦网站返回200状态码而且返回的HTML的内容是“500 server error”时,为保证兼容性,应该使用标准的Web浏览器的User-Agent字符串。
500 – 服务器内部错误
200 - 服务器成功返回网页
3、运行
我在新浪微博中找了个URL缩短的地址作为输入,执行后,果然找到了重定向地址。
控制台输出为:
-
http://t.cn/zjYwrl3
-
|
-
v
-
http://hero.pongo.cn/
4、验证
用在线URL重定向检测工具测试:
验证OK。
阅读(1180) | 评论(0) | 转发(0) |