pycharm Archives - gurmezin sci-tech-art

Python mechanize ile Türkçe karakter çözümü

programlar, python 5 Yanıt »

Nis 032015

4.402 views

Python mechanize ile Türkçe karakter çözümü

Python Dersleri 004 – Mechanize paketi ile Türkçe erişim

Bu dersimizde, mechanize paketi kullanarak Türkçe karakter sorununu çözüyoruz.

Ayrıca, PyCharm üzerinden paket ekleme ve kaldırma işlemlerinin nasıl yapıldığını da yine bu dersimizde işliyoruz.

[youtube https://www.youtube.com/watch?v=1jNCrY07ck0&w=560&h=315]

Türkçe karakter sorununun çözümünün aslında mechanize paketinden değil, bu paket aracılığıyla kolayca tanımlanabilen “headers” parametrelerinden kaynaklandığını belirtmekte yarar var. Headers bilgilerini tanımlamanıza izin veren tüm paketler, Türkçe karakter sorununuzu çözmenizde yardımcı olacaktır.

Kritik bilgiler şunlar:
(‘Accept-Language’, ‘tr,en-us,en;q=0.5’),
(‘Accept-Charset’, ‘cp1254,ISO-8859-9,utf-8;q=0.7,*;q=0.7’)

Yeri gelmişken, python sürümleri ile ilgili bir kaç noktaya değinmekte yarar var.

Bildiğiniz gibi, daha fazla kaynak bulunabildiği için, derslerimizi python 2 serisi üzerinden sürdürüyoruz. Ancak python grubu, asıl enerjisini python 3 üzerine yoğunlaştırmış durumda. Bu nedenle, python yolculuğu aslında üçüncü kulvar üzerinden yeni ufuklara ulaşmayı planlıyor. Bunu unutmamakta yarar var.

Derslerimizde her iki seride de çalışabilecek kodlara yer vermeye çalışacağım. Mechanize bu açıdan uygun bir paket değil ne yazık ki! Mechanize ekibi, kodlarını python 3 serisine uyarlamayı düşünmüyor. Bazı fork denemeleri var, ama yeterince destekleri bulunmuyor.

Python 3 için mechanize paketine bir alternatif olarak MechanicalSoup öneriliyor. MechanicalSoup paketine aşağıdaki linkten ulaşabilirsiniz:

https://www.facebook.com/l.php?u=https%3A%2F%2Fgithub.com%2Fhickford%2FMechanicalSoup&h=8AQGqTvIl

Dördüncü dersimizde işlediğimiz kodların tamamı aşağıda yer alıyor:

# -*- coding: utf-8 -*-
import mechanize
import re

#url ='http://www.bbc.com'
url ='http://www.milliyet.com.tr'

br = mechanize.Browser()
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
# Browserin takılmasını önlemek için
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

#Header bilgilerini tanımlamak
br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0'),
                 ('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'),
                 ('Accept-Language', 'tr,en-us,en;q=0.5'),
                 ('Accept-Charset', 'cp1254,ISO-8859-9,utf-8;q=0.7,*;q=0.7')]
ob = br.open(url)

page = ob.read()
#Buradan itibaren tüm kodlar bir önceki derstekinin aynısıdır
print (len(page))

#regex='div <span class='tooltipsall tooltipsincontent classtoolTips24'>class</span>="grid_5.*?">(.+?)</div>'
regex='div <span class='tooltipsall tooltipsincontent classtoolTips24'>class</span>="cHaber.+?">(.+?)</div>'

pattern = re.compile(regex)
haber=re.findall(pattern,page)
print (len(haber))
i = 0
while i < len(haber):
    detay=haber[i]

    pattern=re.compile('href="(.+?)"')
    haberlink=re.findall(pattern,detay)

    pattern2=re.compile('<a.*?>(.+?...)</a>')
    habertext=re.findall(pattern2,detay)
    print ("link  =",haberlink[0])
    print ("kategori=",habertext[0])
    if len(habertext)>1:
        print ("baslik=",habertext[1])
    if len(habertext)>2:
        print ("ozet  =",habertext[2])
    j=2
    while j<len(habertext):
        print ("detay  =",habertext[j])
        j+=1
    print ("")

    i+=1

# -*- coding: utf-8 -*-

import mechanize

import re

#url ='http://www.bbc.com'

url ='http://www.milliyet.com.tr'

br = mechanize.Browser()

br.set_handle_equiv(True)

br.set_handle_gzip(True)

br.set_handle_redirect(True)

br.set_handle_referer(True)

br.set_handle_robots(False)

# Browserin takılmasını önlemek için

br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

#Header bilgilerini tanımlamak

br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0'),

('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'),

('Accept-Language', 'tr,en-us,en;q=0.5'),

('Accept-Charset', 'cp1254,ISO-8859-9,utf-8;q=0.7,*;q=0.7')]

ob = br.open(url)

page = ob.read()

#Buradan itibaren tüm kodlar bir önceki derstekinin aynısıdır

print (len(page))

#regex='div class="grid_5.*?">(.+?)</div>'

regex='div class="cHaber.+?">(.+?)</div>'

pattern = re.compile(regex)

haber=re.findall(pattern,page)

print (len(haber))

i = 0

while i < len(haber):

detay=haber[i]

pattern=re.compile('href="(.+?)"')

haberlink=re.findall(pattern,detay)

pattern2=re.compile('<a.*?>(.+?...)</a>')

habertext=re.findall(pattern2,detay)

print ("link =",haberlink[0])

print ("kategori=",habertext[0])

if len(habertext)>1:

print ("baslik=",habertext[1])

if len(habertext)>2:

print ("ozet =",habertext[2])

j=2

while j<len(habertext):

print ("detay =",habertext[j])

j+=1

print ("")

i+=1

Bir sonraki dersimizde görüşmek üzere!

Beni izlemeyi unutmayın!

ahmet aksoy

Çift Pencereli Komut Modunda Python Kullanımı

AKTARILDI, programlar, python Yanıt yok »

Mar 292015

3.250 views

Çift Pencereli Komut Modunda Python Kullanımı

PyCharm Community sürümü python programcıları için güzel bir ortam sunuyor. Ama bazı programcılar, işin mutfağına hakim olmayı tercih ediyor.

İşte bu tür programcıların tercih edeceği bir yöntem, çift komut penceresiyle kolayca sağlanabiliyor. Aşağıdaki videoda bu yöntemi ele aldım.

Masaüstünüze 2 pencere açın. Soldaki pencereyi script dosyasını hazırlama, sağdaki pencereyi de python yorumlaması için kullanabilirsiniz.

Sol pencerede kullanabileceğiniz editör vim olabilir. Vim kullanmak, sizin linux üzerinde de rahat etmenizi sağlayabilir. Ama vim yerine notepad++ gibi editörleri de tercih edebilirsiniz. Tamamen size kalmış.

Önce c:usersuser klasöründe, python_dersleri isimli bir alt klasör açın ve o klasöre geçin. Burada metin editörünüzle ilk dosyanızı açın: ders01.py

C:Usersuser> md python_dersleri
C:Usersuser> cd python_dersleri
C:Usersuserpython_dersleri>  vim ders01.py

C:Usersuser> md python_dersleri

C:Usersuser> cd python_dersleri

C:Usersuserpython_dersleri> vim ders01.py

Şimdi editörümüzde insert moduna geçip ilk program satırımız yazalım:

print "Merhaba Dünya!"

1	print "Merhaba Dünya!"

ve kaydedelim.

Bu kez sağ pencereye geçip aşağıdaki komutları verelim:

C:Usersuser> cd python_dersleri
C:Usersuserpython_dersleri> python ders01.py

1 2	C:Usersuser> cd python_dersleri C:Usersuserpython_dersleri> python ders01.py

Ne yazık ki ilk program denememiz bir hata mesajı üretiyor. Çünkü ekrana yazdırmak istediğimiz dizinin (string) içinde ASCII listesinde olmayan bir harf, yani “ü” var. O harfi, “u” haline çevirirsek, hata mesajı da ortadan kalkar.

Pek çok kişi kolayına kaçarak Türkçe harfleri kullanmak yerine, noktasız karşılıklarını (ve ı yerine i) kullanmayı tercih ediyor. Ben aynı düşüncede değilim. Kaçmak yerine, çözümünü bulup uygulamak en doğrusu.

Türkçe karakterler için editör tarafında yapılacak şey, dosyanın başına aşağıdaki satırı eklemek ve kodları onun altına yazmak:

#-*-coding: utf-8 -*-

1	#--coding: utf-8 --

Diğer işlem ise, komut pencerelerinde

chcp 1254

chcp 1254

komutunu vermek ve font olarak Lucida Console seçmek.

Bunları yaparsak, Türkçe karakter sorunumuz büyük ölçüde ortadan kalkacaktır.

Türkçe karakter sorunu daha çok Python 2 serisinde var. Python 3 serisinde bu sorunların çoğu çözülmüş durumda.

[youtube https://www.youtube.com/watch?v=A5wp1-HdP5o&w=560&h=315]

Böylece ilk dersimizi tamamlamış olduk!

Yeni derslerde buluşmak üzere!

ahmet aksoy

PyCharm Python IDE kurulumu

programlar, python 1 Yanıt »

Mar 282015

4.830 views

PyCharm Python IDE kurulumu

PyCharm, JetBrains firması tarafından geliştirilen bir python IDE – Entegre Geliştirme Platformudur. Hem profesyonel, hem de farklı lisanslar altında ücretsiz sürümleri mevcuttur.

Aşağıdaki videoda PyCharm ücretsiz Community sürümünün kurulumunu anlattım. Bu yazıda da aynı kurulumun önemli noktalarını özetleyeceğim.

Community Edition ücretsiz sürümünü

http://www.jetbrains.com/pycharm/download/

1	http://www.jetbrains.com/pycharm/download/

adresinden Download Community butonunu tıklayarak indirebilirsiniz.

(Eğer windows yerine apple veya linux kullanıyorsanız, uygun işletim sistemini de bu sayfadan seçebilirsiniz.)

Download butonuna tıkladığınızda pycharm-community-4.0.4.exe kurulum dosyası bilgisayarınıza iner. Bu dosyanın yaklaşık 150MB boyutu vardır.

1- Kurulum dosyasını çalıştırdığınız zaman ilk önce Welcome sayfası açılır.
2- Next ile sonraki sayfaya geçin.
3- İkinci sayfada kurulumun nereye yapılacağı tanımlanır. Varsayılan olarak bırakabilirsiniz.
4- Next tuşunu tıklayarak bir sonraki sayfaya geçin.
5- Üçüncü sayfa Options / seçenekler sayfasıdır. Masa üstünde kısa yol oluşturulmasını veya .py uzantısının PyCharm ile ilinti kurmasını isterseniz ilgili kutucukları işaretliyorsunuz.
6- Next butonu ile bir sonraki sayfaya geçin.
7- Bu sayfada Açılış menüsünü belirlemek mümkün. Değiştirmeye pek gerek yok.
8- Install tuşu ile devam edin.
9- Kurulum işlemleri bu sayfada görüntülenir. Show details butonuna tıklarsanız, işlenen dosyalar da görüntülenir. Kurulum tamamlandığında son sayfa karşınıza çıkar. Burada Run PyCharm Community Edition kutucuğunu işaretlerseniz, Finish butonuna bastığınızda yeni kurduğunuz programın otomatik olarak çalışmasını sağlarsınız.

Videoda yukarıda listelediğimiz ayrıntıları görsel olarak takip edebilirsiniz.

[youtube https://www.youtube.com/watch?v=Cf6TrwxcMoE&w=560&h=315]

PyCharm programının kullanımına daha sonra geçeceğiz.

Bizi izlemeye devam edin.

ahmet aksoy