Go语言做爬虫状态码返回418的问题解决

收集整理的这篇文章主要介绍了Go语言做爬虫状态码返回418的问题解决，觉得挺不错的，现在分享给大家，也给大家做个参考。

目录

• 背景
• 原因分析
• 代码部分

背景

 在使用Go语言做爬虫时，使用http.Get(url)去获取网页内容，状态码返回404，Body体为空。

原因分析

 http.Get(url)是不需要设置header属性的http请求，比较简单快捷，但状态码返回418，表明我们需要设置其header属性，那么我们可以使用http.NewRequest，在设置其header属性即可~

代码部分

func main7()  {
    	client := &
http.Client{
}
    	url := "https://movie.douban.COM/top250?start=0&
    filter="	reqest, err := http.NewRequest("GET", url, nil)	//设置header属性	reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0;
     Win64;
 x64) Applewebkit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")	if err!=nil {
		fmt.Println(err)		return	}
	response, _ := client.Do(reqest)	defer response.Body.Close()	buf := make([]byte,4096)	VAR result string	for  {
		n,err:=response.Body.Read(buf)		if n == 0 {
			fmt.Println("读取网页完成")			break		}
    		if err!=nil &
    &
 err!=io.EOF {
			fmt.Println("resp body err",err)			return		}
		result += string(buf[:n])		//打印读取的网页		fmt.Println(result)	}
}
    

到此这篇关于Go语言做爬虫状态码返回418的问题解决的文章就介绍到这了,更多相关Go语言爬虫返回418内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！

您可能感兴趣的文章:

• Go语言并发爬虫的具体实现
• Go语言实现的web爬虫实例