Kas 172016
6.284 views
Python Gensim Kütüphanesiyle Türkçe Yazı Özetleme
Python beni hala her gün şaşırtmaya devam ediyor. Elini atmadığı, muhteşem çözümler üretmediği neredeyse hiç bir alan yok!
Dün, yeni çalışma alanlarımdan biri olarak belirlediğim “yazı özetleme” konusunda internet araştırmalarına başladım. Bir makalede, gensim kütüphanesi ile yapılan bir çalışma örnekleniyordu: https://rare-technologies.com/text-summarization-with-gensim/
Rare Technologies
Örnekler İngilizce. Dolayısıyla, Türkçe gibi eklemlemeli bir dil için başarılı sonuçlar elde etme olanağı pek yok! Ama yine de bilgi sahibi olmak için test etmek iyi olacak.
Bu amaçla hemen Hürriyet Gazetesini açtım ve ilk bulduğum haberi seçtim: İstanbul’a kar ne zaman Yağacak?
Kodlar şöyle:
# -*- coding: utf-8 -*-
# https://rare-technologies.com/text-summarization-with-gensim/
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
from gensim.summarization import summarize
# http://www.hurriyet.com.tr/hava-sasirtiyor-bugun-soguk-ama-40279308
text = """
Prof. Dr. Orhan Şen, yaptığı açıklamada, hava sıcaklığının bu yılın başından beri mevsim normallerinin üzerinde seyrettiğini ve sık sık sıcaklık rekoru kırıldığını söyledi. Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti.
İSTANBUL'DA 5 DERECEYE KADAR DÜŞTÜ
Prof. Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor. Hatta bazı bölgelerde kar yağışı da görüldü. Doğuya kar erken geldi diyebiliriz. Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü. Ancak bu normal bir durum. Çünkü gökyüzü açık olduğu için bu soğuma oldu. Sıcaklıklarda böyle dalgalanma olması da normal. Hatta bir süre daha hava sıcaklıklarının böyle dalgalı seyretmesini bekliyoruz." diye konuştu.
ARALIK SONUNA KADAR KAR BEKLENMİYOR
Soğuk havanın uzun sürmeyeceğini anlatan Şen, "Korkacak bir şey yok. Geçici bir soğuma yaşanıyor. Batı bölgelerde yarından itibaren sıcaklıklarda ciddi artış bekliyoruz. Buna göre söz konusu yerlerde sıcaklık tekrar mevsim normallerinin üzerine çıkıyor. Özellikle çok güzel bir hafta sonu bizi bekliyor. Vatandaşlarımız bunun tadını çıkarsın. Kasım sıcaklık ortalaması 11 derece. Sıcaklık bunun 7-8 derece kadar üzerine çıkıp 17-18 derece civarında seyredecek. Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu.
Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz. Bu tarihe kadar kar beklemiyoruz. Belki bu yıl başına doğru veya sonra kar yağışı olabilir. Bu durum normal gözükmeyebilir ancak küresel ısınma ve iklim değişikliğinin bir sonucu bu. Yani kasımda 17-18 derece normal değil ancak bu yıl bu sıcaklıklara alıştık. Bir süre daha da böyle devam etmesini bekliyoruz" ifadelerini kullandı.
"""
print ('Input text:')
print (text)
print ('Summary:')
print (summarize(text))
print ('Summary: ratio=0.5')
print (summarize(text, ratio=0.5))
print ('Summary: ratio=0.25')
print (summarize(text, ratio=0.25))
print ('Summary: word_count=50')
print (summarize(text, word_count=50))
from gensim.summarization import keywords
print ('Keywords:')
print (keywords(text))
Bunlar da aldığım yanıtlar:
2016-11-17 13:14:50,235 : INFO : Pattern library is not installed, lemmatization won't be available. 2016-11-17 13:14:52,317 : INFO : 'pattern' package not found; tag filters are not available for English Input text: Prof. Dr. Orhan Şen, yaptığı açıklamada, hava sıcaklığının bu yılın başından beri mevsim normallerinin üzerinde seyrettiğini ve sık sık sıcaklık rekoru kırıldığını söyledi. Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti. İSTANBUL'DA 5 DERECEYE KADAR DÜŞTÜ Prof. Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor. Hatta bazı bölgelerde kar yağışı da görüldü. Doğuya kar erken geldi diyebiliriz. Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü. Ancak bu normal bir durum. Çünkü gökyüzü açık olduğu için bu soğuma oldu. Sıcaklıklarda böyle dalgalanma olması da normal. Hatta bir süre daha hava sıcaklıklarının böyle dalgalı seyretmesini bekliyoruz." diye konuştu. ARALIK SONUNA KADAR KAR BEKLENMİYOR Soğuk havanın uzun sürmeyeceğini anlatan Şen, "Korkacak bir şey yok. Geçici bir soğuma yaşanıyor. Batı bölgelerde yarından itibaren sıcaklıklarda ciddi artış bekliyoruz. Buna göre söz konusu yerlerde sıcaklık tekrar mevsim normallerinin üzerine çıkıyor. Özellikle çok güzel bir hafta sonu bizi bekliyor. Vatandaşlarımız bunun tadını çıkarsın. Kasım sıcaklık ortalaması 11 derece. Sıcaklık bunun 7-8 derece kadar üzerine çıkıp 17-18 derece civarında seyredecek. Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu. Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz. Bu tarihe kadar kar beklemiyoruz. Belki bu yıl başına doğru veya sonra kar yağışı olabilir. Bu durum normal gözükmeyebilir ancak küresel ısınma ve iklim değişikliğinin bir sonucu bu. Yani kasımda 17-18 derece normal değil ancak bu yıl bu sıcaklıklara alıştık. Bir süre daha da böyle devam etmesini bekliyoruz" ifadelerini kullandı. Summary: 2016-11-17 13:14:52,565 : INFO : adding document #0 to dictionary(0 unique tokens: []) 2016-11-17 13:14:52,566 : INFO : built dictionary(158 unique tokens: ['gerilediğin', 'için', 'yaptığı', 'tekrar', 'hissedilir']...) from 29 documents (total 248 corpus positions) Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti. Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor. Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü. Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu. Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz. Summary: ratio=0.5 2016-11-17 13:14:52,779 : INFO : adding document #0 to dictionary(0 unique tokens: []) 2016-11-17 13:14:52,782 : INFO : built dictionary(158 unique tokens: ['gerilediğin', 'için', 'yaptığı', 'tekrar', 'hissedilir']...) from 29 documents (total 248 corpus positions) Dr. Orhan Şen, yaptığı açıklamada, hava sıcaklığının bu yılın başından beri mevsim normallerinin üzerinde seyrettiğini ve sık sık sıcaklık rekoru kırıldığını söyledi. Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti. Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor. Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü. Ancak bu normal bir durum. Hatta bir süre daha hava sıcaklıklarının böyle dalgalı seyretmesini bekliyoruz." diye konuştu. ARALIK SONUNA KADAR KAR BEKLENMİYOR Buna göre söz konusu yerlerde sıcaklık tekrar mevsim normallerinin üzerine çıkıyor. Sıcaklık bunun 7-8 derece kadar üzerine çıkıp 17-18 derece civarında seyredecek. Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu. Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz. Bu durum normal gözükmeyebilir ancak küresel ısınma ve iklim değişikliğinin bir sonucu bu. Yani kasımda 17-18 derece normal değil ancak bu yıl bu sıcaklıklara alıştık. Bir süre daha da böyle devam etmesini bekliyoruz" ifadelerini kullandı. Summary: ratio=0.25 2016-11-17 13:14:52,812 : INFO : adding document #0 to dictionary(0 unique tokens: []) 2016-11-17 13:14:52,815 : INFO : built dictionary(158 unique tokens: ['gerilediğin', 'için', 'yaptığı', 'tekrar', 'hissedilir']...) from 29 documents (total 248 corpus positions) Dr. Orhan Şen, yaptığı açıklamada, hava sıcaklığının bu yılın başından beri mevsim normallerinin üzerinde seyrettiğini ve sık sık sıcaklık rekoru kırıldığını söyledi. Benzer hava şartlarının sonbaharda da yaşandığını dile getiren Şen, şu andaki verilere göre bu durumun bir süre daha devam etmesini beklediklerini ifade etti. Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor. Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü. Hatta bir süre daha hava sıcaklıklarının böyle dalgalı seyretmesini bekliyoruz." diye konuştu. Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu. Şen, yıl sonuna kadar hissedilir oranda soğuma beklemediklerinin altını çizerek, "Aralık'ın 15'inden sonra ancak soğuma bekliyoruz. Summary: word_count=50 2016-11-17 13:14:52,841 : INFO : adding document #0 to dictionary(0 unique tokens: []) 2016-11-17 13:14:52,843 : INFO : built dictionary(158 unique tokens: ['gerilediğin', 'için', 'yaptığı', 'tekrar', 'hissedilir']...) from 29 documents (total 248 corpus positions) Dr. Şen, mevsim normalleri üzerinde devam eden sıcaklıklarının birkaç gündür oldukça gerilediğine işaret ederek, "Özellikle iki gündür ülke genelinde ciddi soğuk yaşanıyor. Mevsim normallerinin üzerinde devam eden sıcaklıklar, İstanbul'da 5 dereceye kadar bile düştü. Ay sonuna kadar da hava sıcaklıkları batı bölgelerde mevsim normallerinin üzerinde seyredecek." değerlendirmesinde bulundu. Keywords: bir kadar sen hava derece bekliyoruz sıcaklık mevsim soguma bolgelerde kar ancak normal boyle uzerinde devam gundur ozellikle sonra dustu ciddi sıcaklıklarının soguk sıcaklıklarda bunun uzerine gore yasanıyor hatta oldugu yıl
Yanıtlardaki uyarı mesajlarından gördüğünüz gibi şablon kütüphaneleri kurulu olmadığı için sözcük köklerini saptamanın mümkün olamayacağı belirtiliyor. Gerekli filtreler de yok.
(Belki, iyi ki yok! Çünkü o İngilizce filtreler belki de Türkçe ile ilgili sorunlar yaratacaktı.)
Alınan sonuçların başarılı olup olmadığına siz kendiniz karar verin! Ama özellikle ratio=0.25 olan özetlemeye dikkat edin!
Ahmet Aksoy