Kas 172016
 
6.276 views

Python Gensim Kütüphanesiyle Türkçe Yazı Özetleme

Python beni hala her gün şaşırtmaya devam ediyor. Elini atmadığı, muhteşem çözümler üretmediği neredeyse hiç bir alan yok!

Dün, yeni çalışma alanlarımdan biri olarak belirlediğim “yazı özetleme” konusunda internet araştırmalarına başladım. Bir makalede, gensim kütüphanesi ile yapılan bir çalışma örnekleniyordu: https://rare-technologies.com/text-summarization-with-gensim/

Python Gensim Kütüphanesiyle Türkçe Yazı Özetlem

Rare Technologies

Örnekler İngilizce. Dolayısıyla, Türkçe gibi eklemlemeli bir dil için başarılı sonuçlar elde etme olanağı pek yok! Ama yine de bilgi sahibi olmak için test etmek iyi olacak.

Bu amaçla hemen Hürriyet Gazetesini açtım ve ilk bulduğum haberi seçtim: İstanbul’a kar ne zaman Yağacak?

Kodlar şöyle:

# -*- coding: utf-8 -*-
# https://rare-technologies.com/text-summarization-with-gensim/
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

from gensim.summarization import summarize

# http://www.hurriyet.com.tr/hava-sasirtiyor-bugun-soguk-ama-40279308
text = """
Prof. Dr. Orhan Şen, yaptığı açıklamada, hava sıcaklığının bu yılın başından beri mevsim normallerinin üzerinde seyrettiğini ve sık sık sıcaklık rekoru kırıldığını söyledi. Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti.

İSTANBUL'DA 5 DERECEYE KADAR DÜŞTÜ

Prof. Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor. Hatta bazı bölgelerde kar yağışı da görüldü. Doğuya kar erken geldi diyebiliriz. Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü. Ancak bu normal bir durum. Çünkü gökyüzü açık olduğu için bu soğuma oldu. Sıcaklıklarda böyle dalgalanma olması da normal. Hatta bir süre daha hava sıcaklıklarının böyle dalgalı seyretmesini bekliyoruz." diye konuştu.

ARALIK SONUNA KADAR KAR BEKLENMİYOR

Soğuk havanın uzun sürmeyeceğini anlatan Şen, "Korkacak bir şey yok. Geçici bir soğuma yaşanıyor. Batı bölgelerde yarından itibaren sıcaklıklarda ciddi artış bekliyoruz. Buna göre söz konusu yerlerde sıcaklık tekrar mevsim normallerinin üzerine çıkıyor. Özellikle çok güzel bir hafta sonu bizi bekliyor. Vatandaşlarımız bunun tadını çıkarsın. Kasım sıcaklık ortalaması 11 derece. Sıcaklık bunun 7-8 derece kadar üzerine çıkıp 17-18 derece civarında seyredecek. Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu.

Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz. Bu tarihe kadar kar beklemiyoruz. Belki bu yıl başına doğru veya sonra kar yağışı olabilir. Bu durum normal gözükmeyebilir ancak küresel ısınma ve iklim değişikliğinin bir sonucu bu. Yani kasımda 17-18 derece normal değil ancak bu yıl bu sıcaklıklara alıştık. Bir süre daha da böyle devam etmesini bekliyoruz" ifadelerini kullandı.
"""

print ('Input text:')
print (text)

print ('Summary:')
print (summarize(text))

print ('Summary: ratio=0.5')
print (summarize(text, ratio=0.5))

print ('Summary: ratio=0.25')
print (summarize(text, ratio=0.25))

print ('Summary: word_count=50')
print (summarize(text, word_count=50))

from gensim.summarization import keywords

print ('Keywords:')
print (keywords(text))

Bunlar da aldığım yanıtlar:

2016-11-17 13:14:50,235 : INFO : Pattern library is not installed, lemmatization won't be available.
2016-11-17 13:14:52,317 : INFO : 'pattern' package not found; tag filters are not available for English
Input text:

Prof. Dr. Orhan Şen, yaptığı açıklamada, hava sıcaklığının bu yılın başından beri mevsim normallerinin üzerinde seyrettiğini ve sık sık sıcaklık rekoru kırıldığını söyledi. Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti.

İSTANBUL'DA 5 DERECEYE KADAR DÜŞTÜ

Prof. Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor. Hatta bazı bölgelerde kar yağışı da görüldü. Doğuya kar erken geldi diyebiliriz. Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü. Ancak bu normal bir durum. Çünkü gökyüzü açık olduğu için bu soğuma oldu. Sıcaklıklarda böyle dalgalanma olması da normal. Hatta bir süre daha hava sıcaklıklarının böyle dalgalı seyretmesini bekliyoruz." diye konuştu.

ARALIK SONUNA KADAR KAR BEKLENMİYOR

Soğuk havanın uzun sürmeyeceğini anlatan Şen, "Korkacak bir şey yok. Geçici bir soğuma yaşanıyor. Batı bölgelerde yarından itibaren sıcaklıklarda ciddi artış bekliyoruz. Buna göre söz konusu yerlerde sıcaklık tekrar mevsim normallerinin üzerine çıkıyor. Özellikle çok güzel bir hafta sonu bizi bekliyor. Vatandaşlarımız bunun tadını çıkarsın. Kasım sıcaklık ortalaması 11 derece. Sıcaklık bunun 7-8 derece kadar üzerine çıkıp 17-18 derece civarında seyredecek. Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu.

Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz. Bu tarihe kadar kar beklemiyoruz. Belki bu yıl başına doğru veya sonra kar yağışı olabilir. Bu durum normal gözükmeyebilir ancak küresel ısınma ve iklim değişikliğinin bir sonucu bu. Yani kasımda 17-18 derece normal değil ancak bu yıl bu sıcaklıklara alıştık. Bir süre daha da böyle devam etmesini bekliyoruz" ifadelerini kullandı.

Summary:
2016-11-17 13:14:52,565 : INFO : adding document #0 to dictionary(0 unique tokens: [])
2016-11-17 13:14:52,566 : INFO : built dictionary(158 unique tokens: ['gerilediğin', 'için', 'yaptığı', 'tekrar', 'hissedilir']...) from 29 documents (total 248 corpus positions)
Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti.
Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor.
Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü.
Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu.
Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz.

Summary: ratio=0.5
2016-11-17 13:14:52,779 : INFO : adding document #0 to dictionary(0 unique tokens: [])
2016-11-17 13:14:52,782 : INFO : built dictionary(158 unique tokens: ['gerilediğin', 'için', 'yaptığı', 'tekrar', 'hissedilir']...) from 29 documents (total 248 corpus positions)
Dr. Orhan Şen, yaptığı açıklamada, hava sıcaklığının bu yılın başından beri mevsim normallerinin üzerinde seyrettiğini ve sık sık sıcaklık rekoru kırıldığını söyledi.
Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti.
Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor.
Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü.
Ancak bu normal bir durum.
Hatta bir süre daha hava sıcaklıklarının böyle dalgalı seyretmesini bekliyoruz." diye konuştu.
ARALIK SONUNA KADAR KAR BEKLENMİYOR
Buna göre söz konusu yerlerde sıcaklık tekrar mevsim normallerinin üzerine çıkıyor.
Sıcaklık bunun 7-8 derece kadar üzerine çıkıp 17-18 derece civarında seyredecek.
Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu.
Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz.
Bu durum normal gözükmeyebilir ancak küresel ısınma ve iklim değişikliğinin bir sonucu bu.
Yani kasımda 17-18 derece normal değil ancak bu yıl bu sıcaklıklara alıştık.
Bir süre daha da böyle devam etmesini bekliyoruz" ifadelerini kullandı.

Summary: ratio=0.25
2016-11-17 13:14:52,812 : INFO : adding document #0 to dictionary(0 unique tokens: [])
2016-11-17 13:14:52,815 : INFO : built dictionary(158 unique tokens: ['gerilediğin', 'için', 'yaptığı', 'tekrar', 'hissedilir']...) from 29 documents (total 248 corpus positions)
Dr. Orhan Şen, yaptığı açıklamada, hava sıcaklığının bu yılın başından beri mevsim normallerinin üzerinde seyrettiğini ve sık sık sıcaklık rekoru kırıldığını söyledi.
Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti.
Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor.
Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü.
Hatta bir süre daha hava sıcaklıklarının böyle dalgalı seyretmesini bekliyoruz." diye konuştu.
Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu.
Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz.

Summary: word_count=50
2016-11-17 13:14:52,841 : INFO : adding document #0 to dictionary(0 unique tokens: [])
2016-11-17 13:14:52,843 : INFO : built dictionary(158 unique tokens: ['gerilediğin', 'için', 'yaptığı', 'tekrar', 'hissedilir']...) from 29 documents (total 248 corpus positions)
Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor.
Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü.
Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu.
Keywords:
bir
kadar
sen
hava
derece
bekliyoruz
sıcaklık
mevsim
soguma
bolgelerde kar
ancak
normal
boyle
uzerinde
devam
gundur
ozellikle
sonra
dustu
ciddi
sıcaklıklarının
soguk
sıcaklıklarda
bunun
uzerine
gore
yasanıyor
hatta
oldugu
yıl

Yanıtlardaki uyarı mesajlarından gördüğünüz gibi şablon kütüphaneleri kurulu olmadığı için sözcük köklerini saptamanın mümkün olamayacağı belirtiliyor. Gerekli filtreler de yok.
(Belki, iyi ki yok! Çünkü o İngilizce filtreler belki de Türkçe ile ilgili sorunlar yaratacaktı.)

Alınan sonuçların başarılı olup olmadığına siz kendiniz karar verin! Ama özellikle ratio=0.25 olan özetlemeye dikkat edin!

Ahmet Aksoy

 Bir yanıt bırakın

Bu HTML tagleri ve özellikleri kullanabilirsiniz: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

(gerekli)

(gerekli)

This site uses Akismet to reduce spam. Learn how your comment data is processed.