Golang Notları 002
GOPATH
“Go” diliyle yeni uğraşmaya başlayanların çok sık karşılaştıkları bir hata – uyarı mesajı vardır: “GOPATH tanımı bulunamadı.”
“GOPATH”, go’nun sürekli kullandığı adreslerden biridir. Çünkü paket yönetim ve kullanım işlemleri bu klasör aracılığıyla yapılıyor.
Ubuntu’da bu klasör genellikle $HOME/go veya $HOME/golang olarak açılır. Ben, ikincisini tercih ettim.
Ubuntu’da bu adresi sisteme aşağıdaki gibi tanıtıyorsunuz:
|
1 |
export GOPATH=$HOME/golang |
Bilgisayarınızı yeniden açtığınızda aynı komutu vermek zorunda kalmamak için bu komutu $HOME/.bashrc dosyasının içine ekliyorsunuz.
Kontrol için “go env” komutunu kullanabilirsiniz:
Paket kurma golang için çok kolay bir işlem:
|
1 |
go get golang.org/x/net/html |
|
1 |
go get github.com/yhat/scrape |
Basit bir Scraper (Kazıyıcı) programı
“html” paketinin kullanıldığı bir de örnek vereyim. Örnekle ilgili açıklamaları https://schier.co/blog/2015/04/26/a-simple-web-scraper-in-go.html adresinde bulabilirsiniz:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 |
//https://schier.co/blog/2015/04/26/a-simple-web-scraper-in-go.html package main import ( "fmt" "golang.org/x/net/html" "net/http" "os" "strings" ) // Helper function to pull the href attribute from a Token func getHref(t html.Token) (ok bool, href string) { // Iterate over all of the Token's attributes until we find an "href" for _, a := range t.Attr { if a.Key == "href" { href = a.Val ok = true } } // "bare" return will return the variables (ok, href) as defined in // the function definition return } // Extract all http** links from a given webpage func crawl(url string, ch chan string, chFinished chan bool) { resp, err := http.Get(url) defer func() { // Notify that we're done after this function chFinished <- true }() if err != nil { fmt.Println("ERROR: Failed to crawl \"" + url + "\"") return } b := resp.Body defer b.Close() // close Body when the function returns z := html.NewTokenizer(b) for { tt := z.Next() switch { case tt == html.ErrorToken: // End of the document, we're done return case tt == html.StartTagToken: t := z.Token() // Check if the token is an <a> tag isAnchor := t.Data == "a" if !isAnchor { continue } // Extract the href value, if there is one ok, url := getHref(t) if !ok { continue } // Make sure the url begines in http** hasProto := strings.Index(url, "http") == 0 if hasProto { ch <- url } } } } func main() { foundUrls := make(map[string]bool) seedUrls := os.Args[1:] // Channels chUrls := make(chan string) chFinished := make(chan bool) // Kick off the crawl process (concurrently) for _, url := range seedUrls { go crawl(url, chUrls, chFinished) } // Subscribe to both channels for c := 0; c < len(seedUrls); { select { case url := <-chUrls: foundUrls[url] = true case <-chFinished: c++ } } // We're done! Print the results... fmt.Println("\nFound", len(foundUrls), "unique urls:\n") for url, _ := range foundUrls { fmt.Println(" - " + url) } close(chUrls) } |
Kod kolay anlaşılır olduğu için açıklamasını vermeyeceğim. Komut satırına eklediğiniz adresteki tüm tekil linkleri çıktı olarak alıyorsunuz.
İnternet üzerinde çok sayıda “webscraper” örneği var. http://depado.markdownblog.com/2015-08-07-small-example-how-to-use-the-scrape-library-in-go adresindeki örnek kod, Paris’teki bir galeride bulunan eserleri listeliyor.
Ahmet Aksoy
Referanslar:
