re Archives - gurmezin sci-tech-art

Python ile haber sitelerinden özet bilgiler indirmek

Nis 012015

2.377 views

Python ile haber sitelerinden özet bilgiler indirmek

Bu dersimizde python ile haber sitelerine bağlanarak bazı temel bilgileri nasıl ayıklayacağımızı göreceğiz. İlk sitemiz bbc.com. Sonra da milliyet.com.tr adresine bağlanacağız.

[youtube https://www.youtube.com/watch?v=cj6UZ9QXwJo&w=560&h=315]

Bir önceki dersimizde kullandığımız urllib ve re paketlerini bu derste de kullanıyoruz.

Web sitesiyle bağlantı kurma ve sayfadaki bilgileri okuma işlemleri aynı.

Bu dersteki temel farklılık, while döngüsü içinde ek filtrelemelerin yapılması. Bu ek filrelerle hem ilgili haberin linkine, hem de başlık, kategori, özet ve detay gibi bilgilere ulaşıyoruz.

Daha ayrıntılı açıklamalar zaten videoda mevcut. Kodların tamamı da aşağıda.

# -*- coding: utf-8 -*-
import urllib
import re

url ='http://www.bbc.com'
#url ='http://www.milliyet.com.tr'

page = urllib.urlopen(url).read()

regex='div <span class='tooltipsall tooltipsincontent classtoolTips24'>class</span>="grid_5.*?">(.+?)</div>'
#regex='div <span class='tooltipsall tooltipsincontent classtoolTips24'>class</span>="cHaber.*?">(.+?)</div>'

pattern = re.compile(regex)
haber=re.findall(pattern,page)

print ("Haber adedi=", len(haber))

i = 0
while i < len(haber):
    detay=haber[i]

    pattern=re.compile('href="(.+?)"')
    haberlink=re.findall(pattern,detay)

    pattern2=re.compile('<a.*?>(.+?)</a>')
    habertext=re.findall(pattern2,detay)
    print ("link  =",haberlink[0])
    print ("kategori=",habertext[0])
    if len(habertext)>1:
        print ("baslik=",habertext[1])
    if len(habertext)>2:
        print ("ozet  =",habertext[2])
    j=2
    while j<len(habertext):
        print ("detay  =",habertext[j])
        j+=1
    print ("")

    i+=1

# -*- coding: utf-8 -*-

import urllib

import re

url ='http://www.bbc.com'

#url ='http://www.milliyet.com.tr'

page = urllib.urlopen(url).read()

regex='div class="grid_5.*?">(.+?)</div>'

#regex='div class="cHaber.*?">(.+?)</div>'

pattern = re.compile(regex)

haber=re.findall(pattern,page)

print ("Haber adedi=", len(haber))

i = 0

while i < len(haber):

detay=haber[i]

pattern=re.compile('href="(.+?)"')

haberlink=re.findall(pattern,detay)

pattern2=re.compile('<a.*?>(.+?)</a>')

habertext=re.findall(pattern2,detay)

print ("link =",haberlink[0])

print ("kategori=",habertext[0])

if len(habertext)>1:

print ("baslik=",habertext[1])

if len(habertext)>2:

print ("ozet =",habertext[2])

j=2

while j<len(habertext):

print ("detay =",habertext[j])

j+=1

print ("")

i+=1

Sormak istediklerinizi yorum formuyla bana iletebilirsiniz.

Sonraki dersimizde mechanize paketini kullanarak Türkçe sorunumuza çözüm arayacağız.

Beni izlemeye devam edin.

ahmet aksoy

Önceki ders: http://webmaster.gamet.com.tr/python-ile-web-sitesinden-basliklari-cekmek/

Python ile web sitesinden başlıkları çekmek

python, Türkçe, wordpress Yanıt yok »

Mar 302015

5.232 views

Python ile web sitesinden başlıkları çekmek

İkinci dersimizde urllib ve re paketlerini kullanarak http://hurriyet.com.tr adresinden ana başlıkları nasıl indirebileceğimizi anlatıyorum. Bunlar, veri madenciliği ile ilgilenmeyi düşünen yeni python programcıları için yararlı olabilir.

Yaklaşık 10 satırlık bir kodlama ile gazetenin ana sayfasındaki tüm başlıkları kolayca indirebiliyoruz.

Ayrıca, Türkçe karakterlerin düzgün görünmesi için kullanılan küçük bir fonksiyonu da kodlarımıza ekledik.

Urllib paketi internet sitelerine ulaşıp, oradaki html kodlarını indirebilmemizi sağlayan fonksiyonlara sahip. Re paketi ise, ulaştığımız html kodlarınını uygun bir şekilde filtre edebilmemizi sağlıyor.

İnternet sitelerine farklı paketler ve yöntemlerle ulaşmak mümkün olsa da, re paketini (regular expressions – düzenli ifadeler) en ince ayrıntılarıyla tanımakta büyük yarar var.

Eğer düzenli ifadelere yeterince hakim değilseniz, aşağıdaki kaynak çok işinize yarayabilir. Düzenli ifadeleri nasıl kullanacağınızı bu siteden oyun oynar gibi ve çok kısa bir sürede öğrenebilirsiniz:

http://regexone.com/

İkinci ders kodlarımızın bitmiş hali aşağıda yer alıyor. Videoyu kodları inceledikten sonra izlemek, daha verimli olabilir.

# -*- coding: utf-8 -*-
import urllib
import re

site = "http://hurriyet.com.tr"

regex = '<span <span class='tooltipsall tooltipsincontent classtoolTips24'>class</span>="newsTitle">(.+?)</span>'
comp = re.compile(regex)

htmlkod = urllib.urlopen(site).read()

titles = re.findall(comp, htmlkod)
i=1
for title in titles:
    print str(i), title.decode("iso8859-9")
    i+=1

# -*- coding: utf-8 -*-

import urllib

import re

site = "http://hurriyet.com.tr"

regex = '<span class="newsTitle">(.+?)</span>'

comp = re.compile(regex)

htmlkod = urllib.urlopen(site).read()

titles = re.findall(comp, htmlkod)

i=1

for title in titles:

print str(i), title.decode("iso8859-9")

i+=1

Bu kodları doğrudan çalıştırmanız da mümkündür:

python ders02.py

1	python ders02.py

Beni izlemeyi unutmayın!

ahmet aksoy