python dersleri Archives - gurmezin sci-tech-art

Python ile haber sitelerinden özet bilgiler indirmek

Nis 012015

2.377 views

Python ile haber sitelerinden özet bilgiler indirmek

Bu dersimizde python ile haber sitelerine bağlanarak bazı temel bilgileri nasıl ayıklayacağımızı göreceğiz. İlk sitemiz bbc.com. Sonra da milliyet.com.tr adresine bağlanacağız.

[youtube https://www.youtube.com/watch?v=cj6UZ9QXwJo&w=560&h=315]

Bir önceki dersimizde kullandığımız urllib ve re paketlerini bu derste de kullanıyoruz.

Web sitesiyle bağlantı kurma ve sayfadaki bilgileri okuma işlemleri aynı.

Bu dersteki temel farklılık, while döngüsü içinde ek filtrelemelerin yapılması. Bu ek filrelerle hem ilgili haberin linkine, hem de başlık, kategori, özet ve detay gibi bilgilere ulaşıyoruz.

Daha ayrıntılı açıklamalar zaten videoda mevcut. Kodların tamamı da aşağıda.

# -*- coding: utf-8 -*-
import urllib
import re

url ='http://www.bbc.com'
#url ='http://www.milliyet.com.tr'

page = urllib.urlopen(url).read()

regex='div <span class='tooltipsall tooltipsincontent classtoolTips24'>class</span>="grid_5.*?">(.+?)</div>'
#regex='div <span class='tooltipsall tooltipsincontent classtoolTips24'>class</span>="cHaber.*?">(.+?)</div>'

pattern = re.compile(regex)
haber=re.findall(pattern,page)

print ("Haber adedi=", len(haber))

i = 0
while i < len(haber):
    detay=haber[i]

    pattern=re.compile('href="(.+?)"')
    haberlink=re.findall(pattern,detay)

    pattern2=re.compile('<a.*?>(.+?)</a>')
    habertext=re.findall(pattern2,detay)
    print ("link  =",haberlink[0])
    print ("kategori=",habertext[0])
    if len(habertext)>1:
        print ("baslik=",habertext[1])
    if len(habertext)>2:
        print ("ozet  =",habertext[2])
    j=2
    while j<len(habertext):
        print ("detay  =",habertext[j])
        j+=1
    print ("")

    i+=1

# -*- coding: utf-8 -*-

import urllib

import re

url ='http://www.bbc.com'

#url ='http://www.milliyet.com.tr'

page = urllib.urlopen(url).read()

regex='div class="grid_5.*?">(.+?)</div>'

#regex='div class="cHaber.*?">(.+?)</div>'

pattern = re.compile(regex)

haber=re.findall(pattern,page)

print ("Haber adedi=", len(haber))

i = 0

while i < len(haber):

detay=haber[i]

pattern=re.compile('href="(.+?)"')

haberlink=re.findall(pattern,detay)

pattern2=re.compile('<a.*?>(.+?)</a>')

habertext=re.findall(pattern2,detay)

print ("link =",haberlink[0])

print ("kategori=",habertext[0])

if len(habertext)>1:

print ("baslik=",habertext[1])

if len(habertext)>2:

print ("ozet =",habertext[2])

j=2

while j<len(habertext):

print ("detay =",habertext[j])

j+=1

print ("")

i+=1

Sormak istediklerinizi yorum formuyla bana iletebilirsiniz.

Sonraki dersimizde mechanize paketini kullanarak Türkçe sorunumuza çözüm arayacağız.

Beni izlemeye devam edin.

ahmet aksoy

Önceki ders: http://webmaster.gamet.com.tr/python-ile-web-sitesinden-basliklari-cekmek/

Çift Pencereli Komut Modunda Python Kullanımı

AKTARILDI, programlar, python Yanıt yok »

Mar 292015

3.295 views

Çift Pencereli Komut Modunda Python Kullanımı

PyCharm Community sürümü python programcıları için güzel bir ortam sunuyor. Ama bazı programcılar, işin mutfağına hakim olmayı tercih ediyor.

İşte bu tür programcıların tercih edeceği bir yöntem, çift komut penceresiyle kolayca sağlanabiliyor. Aşağıdaki videoda bu yöntemi ele aldım.

Masaüstünüze 2 pencere açın. Soldaki pencereyi script dosyasını hazırlama, sağdaki pencereyi de python yorumlaması için kullanabilirsiniz.

Sol pencerede kullanabileceğiniz editör vim olabilir. Vim kullanmak, sizin linux üzerinde de rahat etmenizi sağlayabilir. Ama vim yerine notepad++ gibi editörleri de tercih edebilirsiniz. Tamamen size kalmış.

Önce c:usersuser klasöründe, python_dersleri isimli bir alt klasör açın ve o klasöre geçin. Burada metin editörünüzle ilk dosyanızı açın: ders01.py

C:Usersuser> md python_dersleri
C:Usersuser> cd python_dersleri
C:Usersuserpython_dersleri>  vim ders01.py

C:Usersuser> md python_dersleri

C:Usersuser> cd python_dersleri

C:Usersuserpython_dersleri> vim ders01.py

Şimdi editörümüzde insert moduna geçip ilk program satırımız yazalım:

print "Merhaba Dünya!"

1	print "Merhaba Dünya!"

ve kaydedelim.

Bu kez sağ pencereye geçip aşağıdaki komutları verelim:

C:Usersuser> cd python_dersleri
C:Usersuserpython_dersleri> python ders01.py

1 2	C:Usersuser> cd python_dersleri C:Usersuserpython_dersleri> python ders01.py

Ne yazık ki ilk program denememiz bir hata mesajı üretiyor. Çünkü ekrana yazdırmak istediğimiz dizinin (string) içinde ASCII listesinde olmayan bir harf, yani “ü” var. O harfi, “u” haline çevirirsek, hata mesajı da ortadan kalkar.

Pek çok kişi kolayına kaçarak Türkçe harfleri kullanmak yerine, noktasız karşılıklarını (ve ı yerine i) kullanmayı tercih ediyor. Ben aynı düşüncede değilim. Kaçmak yerine, çözümünü bulup uygulamak en doğrusu.

Türkçe karakterler için editör tarafında yapılacak şey, dosyanın başına aşağıdaki satırı eklemek ve kodları onun altına yazmak:

#-*-coding: utf-8 -*-

1	#--coding: utf-8 --

Diğer işlem ise, komut pencerelerinde

chcp 1254

chcp 1254

komutunu vermek ve font olarak Lucida Console seçmek.

Bunları yaparsak, Türkçe karakter sorunumuz büyük ölçüde ortadan kalkacaktır.

Türkçe karakter sorunu daha çok Python 2 serisinde var. Python 3 serisinde bu sorunların çoğu çözülmüş durumda.

[youtube https://www.youtube.com/watch?v=A5wp1-HdP5o&w=560&h=315]

Böylece ilk dersimizi tamamlamış olduk!

Yeni derslerde buluşmak üzere!

ahmet aksoy