go基础并行抓取url

2017/11/09
go基础练习
go很简洁,像php一样好学
又有很强大的协程
值得好好学习下

这个是协程加信道
阻塞信道 执行完每个协程 配合很强大
后面会详细的讲解协程

正文

package main

import (
	"fmt"
	"io"
	"io/ioutil"
	"net/http"
	"os"
	"time"
)

func main() {
	start := time.Now()
	ch := make(chan string)
	for _, url := range os.Args[1:] {
		go fetch(url, ch)
	}

	for range os.Args[1:] {
		fmt.Println(<-ch)
	}

	fmt.Println("%.2fs elapsend\n", time.Since(start).Seconds())
}

func fetch(url string, ch chan string) {
	start := time.Now()
	resp, err := http.Get(url)
	if err != nil {
		ch <- fmt.Sprint(err) //有错误也要往信道写内容,避免主线程中协程一直阻塞造成锁死
		return
	}
	nbytes, err := io.Copy(ioutil.Discard, resp.Body)
	//body, err := ioutil.ReadAll(resp.Body) 读取内容
	defer resp.Body.Close()
	if err != nil {
		ch <- fmt.Sprint(err)
		return
	}

	secs := time.Since(start).Seconds()
	ch <- fmt.Sprintf("%.2fs %7d %s", secs, nbytes, url)

}


个人随笔

安静的等待,你若盛开,蝴蝶自来

承接高质量 网站开发 app开发 如有需要请点击About联系

@承鹏辉