Zemberek NLP

Zemberek-3 Durum

2011-04-10T13:43:00.011+03:00

Bu aralar boş bulabildiğimiz zamanlarda (bebekler elverdiğince) Zemberek-3 ile çalışmaya devam ediyoruz. Şu anda temel çözümleme yeteneği kazanmış durumda. Daha yapacak çok iş var. Neler yapıldığına dair bir şeyler yazmak istedim. Bu nedenle Zemberek-2 ve 3 (Z2 ve Z3 diyeceğim yazının diğer kısmında) arasındaki bazı farklardan bahsedeceğim.

Daha akıllı sözlük

Z2 sözlüğü içerisinde kelimelerin her birinde türü ve özel durumları kodlanıyordu. Z3 ile sözlük içerisinde çok daha az etiketleme yapılıyor. Çoğu bilgi otomatik olarak tespit ediliyor.

Bilgiler kod içinde

Aşağıdaki şekilde Z2 ve Z3 çözümleme mekanizmasının kabaca bir hali görülüyor. Z2, çözümleme yapmak için gereken çoğu bilgiyi düz yazı ya da xml dosyalardan alır. Bu başta iyi bir şeymiş gibi görünse de dil içerisindeki istisnaların fazlalığı karmaşık kuralların dış veri üzerinde gösterimini güçleştirdiğinden bu kolaylık bir süre sonra ayak bağı halini almaya başlar. Z3 içinde özellikle ek dizilim ve üretim gibi kuralları aşina olduğumuz kod içerisine almayı yeğledik. Bu bizi karmaşık ve yavaş xml çözümleme işleminden kurtardı ve karmaşık bazı işlemleri kod ile daha rahat yaptık.

Daha doğru bilgi

Z2'nin yapısı bazı ek dizlim kurallarının girilmesini imkansız yapıyordu. Z3 ile daha doğru çözümleme işlemi gerçekleştirileibliyor. Ayrıca diğer çözümleyicilerde yer alan "dönüşümsel sınır - derivational boundary" adı verilen kelime türü geçiş bilgisi de yer alabilecek

Kelimeler Çizgesi (Lexicon Graph)

Z3'ün Z2'den asıl farkı sistemin çözümleme mekanizmasının basitleştirilmesi. Z2 çözümleme mekanizması son derece karışık ve tabiri caizse amele idi ( Çözümleme kodunun sadece bir parçası ). Z3 ile daha önce yapılan başka Türkçe ayrıştırıcıların (Kemal Oflazer'in çalışması gibi) yapısına benzer bir mekanizma oluşturuldu . Z3, tüm sözlük ve ek bilgilerini kullanıp büyük bir çizge (Graf) yapısı oluşturuyor. Bu yapı içindeki düğümlerde köklerin ve eklerin farklı formları ve birbirlerine nasıl bağlandıkları bilgisi yer alıyor. Bu çizgeyi üretmek oldukça karmaşık bir iş. Ama bir kere bu üretildi mi bunun üzerinden çözümleme ya da üretim yapmak çok daha basit bir kod ile mümkün (Optimize edilmemiş bir parser kodu örneği).

Dinamik çizge

En azından belirli seviyede çizge oluşum yapısının dinamik olmasını istiyoruz. Yani sisteme çalışma anında Kök ya da kısıtlı da olsa ek bilgisi eklenebilecek ya da çıkarılabilecek.

Çözümleme ve başka programlama dilleri

Z3'ün bir avantajı da çözümleme işleminin farklı programlama dilleri ile de yapılmasına izin vermesi. Çizge bilgisi bir kez üretildikten sonra az bir gayret ile (yine de kod yazmak gerekiyor.) farklı programlama dilleri ile çözümleme ya da imla denetimi gibi işlemler yapılabilir. Şimdilik çizge bilgisini farklı bir formatta kaydetmeyip doğrudan Java içerisinden kullandığımız için bu özellik henüz mevcut değil.

Hız

Z3'ün Z2 ve diğer tüm Türkçe analiz yazılımlarından çok daha hızlı çözümleme yapmasını bekliyoruz.

Uyumluluk

Diğer çözümleme formatlarına (Özellikle K. Oflazer'in sistemi ile) büyük oranda doğru dönüşüm yapmasını istiyoruz.

İngilizce :(

Z3 kodu içerisindeki terimler İngilizce olacak. Z2 Türkçe yazılmıştı ancak bunun pek bir kazancı olmadı, hatta yabancıların kodu anlamasını imkansızlaştırdı. Onun yerine kod içerisindeki kelimeleri İngilizce yazıp çift dilde döküman yazmayı yeğleyeceğiz.

Diğer Türk dilleri

Z3 sadece Türkiye Türkçesi için çalışacak. Başka bir dilin eklenmesi güç değil ama şu anki ana amacımız bu değil.

Dil modeli sıkıştırma

2010-11-19T20:12:00.021+02:00

Konuşma tanıma ve makine çevirisi gibi pek çok NLP çalışmasında ihtiyaç duyulan verilerden birisi de dile ilişkin temel istatistiksel bilgidir. Kabaca bu sistemler ellerine gelen bir kelime ya da kelime altı dizisinin o dilde ne olasılıkla ortaya çıkabileceği bilgisine ihtiyaç duyar. Bu bilgi Dil Modeli adı verilen mekanizmadan elde edilir. Bu konuda basitliği nedeniyle popüler olan bir yaklaşıma "n-gram Dil Modeli" adı verilir. Basitçe, bu model size birli, ikili ya da daha çok kelime dizisinin belirli metinlerde hangi sıklıkla yan yana bulunduğu bilgisini taşır. "kedi" "tekir kedi" "sevimli tekir kedi" kelime dizileri için bir olasılık rakamı verir. n-gram gelimesindeki "n" yan yana gelen kelime sayısını ifade eder. "tekir kedi" 2-gram ya da bigram, "sevimli tekir kedi" ise 3-gram ya da "trigram"dır .

Bu bilgi genellikle büyük çaplı metin yığınlarından kelimelerin yan yana bulunma sayılarının sayılması ile elde edilir. Doğal olarak "tekir kedi" için elde edilecek olasılık değeri "tekir köpek" için elde edilecek olandan daha yüksektir.

Dil modellerin üretilmesi başlı başına bir çalışma konusudur. Modelde olmayan kelime dizilerinin olasılığı, Türkçe gibi yüksek sayıda 1-gram içeren diller için kelime altı yapıların modele eklenmesi gibi konularda halen çalışmalar yapılmaktadır. Temel n-gram modellerini üretmek için hali hazırda araçlar bulunmaktadır (SRILM ya da CMU Language Modelling Toolkit).

Dil modellerinin kullanımında ortaya çıkan sorunlardan birisi de modellerdeki veri miktarının çok yüksek olması nedeniyle uygulamalara kolayca adapte edilememesidir. Bir milyar tane kelimeden oluşan bir İngilizce metinden yapılan sayımlar sonunda yüz binlerce 1-gram on milyonlarca bigram ve trigram ortaya çıkabilir. Bu tür bir metinden üretilen 5-gram bir model açık metin olarak sakladığınızda 10GB disk alanına ihtiyacınız olabilir. Bu model üzerinden doğrudan işlem yapmak güç olduğu için dil modeli verisinin sıkıştırılması yoluna gidilir. Amaç veriyi daha az yer kaplayacak şekilde küçültürken erişim hızını mümkün olduğunca yüksek tutmaktır. Özellikle çeviri uygulamalarında bir cümle için bile yüz binlerce hatta yerine göre milyonlarca kez dil modelinin sorgulandığı düşünülürse bu konunun önemi anlaşılabilir.

Bu konuda çeşitli yöntemler kullanılagelmiştir (look-up tabloları, trie yapıları, bloom filtreleri vs.) Son bir kaç haftada yaptığım bir çalışma ile Mükemmel kıyım fonksiyonu diye çevirdiğim (Perfect Hash Function) mekanizmayı kullanan bir dil modeli sıkıştırma yöntemini gerçekleştirecek basit bir kütüphane oluşturdum. Yöntem olarak Guthrie, Hepple ve Liu'nun Efﬁcient Minimal Perfect Hash Language Models 2010 makalesini temel aldım (makale ile birebir uyuşmuyor).

Bu kütüphane başka araçlar kullanılarak düz metin olarak oluşturulmuş bir dil modelini alıp onu oldukça yüksek bir oranda sıkıştırarak iyi sayılabilecek bir hızla olasılık verilerine erişim sağlayacak işlevleri sunuyor. Sonuçta n-gram başına ortalama 27,5 bit ya da daha az disk alanı ya da bellek kullanacak şekilde bir sıkıştırılmış dil modeli ortaya çıkıyor. Elimdeki 200 milyon n-gramdan oluşan bir 5-gram dil modelini 500MB alana sıkıştırabildi.

Dil modeli disk üzerinden rastgele erişim ile kullanılabildiği gibi tamamen belleğe de yüklenebiliyor. Bu durumda yaklaşık dört-beş kat daha hızlı şekilde n-gram olasılık verisine ulaşılabiliyor.

Hız konusunda hala tam istediğim noktaya gelmedi. Bu yöntem ile daha ne kadar hızlanır onu da bilemiyorum. Belki bu aşamadan sonra başka yöntemleri denemek daha akıllıca olabilir.

Kod Java ile yazıldı, Java NLP sistemlerine entegre edilebileceğini sanıyorum. Detay bir konu bu, ilgilenenler API kullanımına ilişkin sayfalara ve kütüphaneye göz atabilir.

Not: Bu çalışma büyük oranda Tübitak BİLGEM'in Konuşma ve Dil Teknolojileri laboratuvarında gerçekleştirilmiştir.

Mükemmel Hash Fonksiyonu ve Inception

2010-11-01T16:14:00.009+02:00

Biraz farklı bir konuda kısa bir çalışma yaptım. İlginç bir macera olduğu için yazmak istedim.

Büyük n-gram dil modellerinin sıkıştırılması konusunda Efficient Minimal Perfect Hash Language Models adında bir makaleye rastladım (pdf, sunum) . Aslında bu konuda epey bir çalışma olmuş (mesela Google ). Bu en yüksek sıkıştırma oranlarını elde ettiklerini iddia ettiğinden incelemek istedim. Makaleyi kabaca okudum, yöntem çok karmaşık gelmedi ve bir hevesle bunu Java ile gerçeklemeya karar verdim. Yazarlar sonuç değerler verse de ortada kod yoktu. Gerçekleme işlemine niyetlendiğimde En Küçük Mükemmel Hash Fonksiyonu diye Türkçeye çevirdiğim Minimal Perfect Hash Fonksiyonu - MPHF kullanmam gerektiğini anladım.

Makalede MPFH için Belazzougui, Botelho ve Dietzfelbinger’in Hash, Displace and Compress (pdf) makalesindeki yöntemi kullanılmış. Aslında başka MPHF yöntemleri de var (Sux4j) ama bu en kalite malzeme diye iddia edilince yine bir heves ile onu kullanayım dedim. Arkadaşlar C ile yazmışlar kodu. Kodu javaya dönüştürmeye çalıştım ama çabam tam bir kabusa dönüştü ve pes ettim. Hatta sinirle akademisyenlerin C ile kod yazmaları konusunda verdim veriştirdim Buzz'da. Kendim baştan makaledeki yöntemi gerçeklemeye karar verdim.

Her şey iyi gidiyordu. Yöntemin sonunda Tamsayı Dizi sıkıştırma denen bir işlemin kullanıldığını okuyana kadar. Bunun için makalede Fredriksson ve Nikitin'in Simple Random Access Compression (pdf) makalesindeki yöntem kullanılmış. O makaleyi de okudum, aslında kolay bir yöntem ile oldukça iyi metin ve tamsayı sıkıştırma gerçekleştirilebiliyor. Gerçeklemeye başladım ki.. Makalede bir bit dizisindeki n. 1 bitini bulan select1 işleminin tam olarak nasıl yapıldığının anlatılmadığını farkettim. Bunu için türlü makalelere referans verilmişti.

Kendimi Inception filminin üçüncü katman rüyasına dalmış hissettim. Vigna'nın Broadword Implementation of Rank/Select Queries (pdf) makalesinin içindeydim. Kısmen okudum, şansıma java kodu da vardı yazarın, iki farklı select yöntemi hem de. Ama o kütüphanenin çok bağımlılığı olduğundan yine tahta yontmaya devam edip Fredriksson ve Nikitin'in makalesinde kabaca bahsettiği yöntemden anladığım kadarı ile yazmayı yeğledim, oldu.

Sonra rüyalardan birer birer uyanır gibi sınfları tamamladım ve Mükemmel ve En Küçük Mükemmel Kıyım Fonksiyonlarını gerçekleştiren kodu yazıp ilk makaleye geri döndüm. Yani aslında işe daha yeni başlayacağım.

Yazdığım kod o kadar efektif ya da güzel değil ve henüz API halinde sayılmaz. İlgilenenler inceleyebilir. Bu konuda Mükemmel Kıyım Fonksiyonu Gerçeklemesi adında henüz tamamlanmamış bir de döküman yazdım.

Biliyorum ki bunu yapmak zorunda değildim, Sux4j kullanabilirdim. Ama bunu yapmakla bir kaç yeni numara öğrenmiş olduğumu sanıyorum. Eğlence de cabası. İnşallah işimize yarar.

Zemberek 3

2010-09-11T18:39:00.003+03:00

Uzun süren uykudan sonra Mehmet ile birlikte ilerde Zemberek 3'e dönüşebilecek bir çalışmaya başladık. Sonu nasıl gelir bilmem. Aklımıza gelen şeyleri yığdığımız bütünlüğü olmayan gayri resmi bir doküman yazmaya başladık.

Kelime hataları

2010-05-01T20:46:00.010+03:00

Zemberek içerisinde olmayan ya da hatalı olan kelime köklerini ortaya çıkarmak için gazete haberlerinden derlenmiş oldukça büyük bir derlem (350 milyon kelime civarında) üzerinden basit kelime frekans bilgileri çıkarırdım. Sonuçlar TDK (web sayfası) referans alarak kontrol edildiğinde ortaya çıkan bazı bilgiler:

iki yüz kereden fazla geçen bin beş yüzden fazla kelime TDK genel sözlüğünde yer almıyor.

Yabancı kelimeler (frekans sırasına gore):

euro, ribaunt, rock, stand, online, neo, biyo, gay, kriminal, sendikasyon, provokatif, punk, ultra, tekno, depresif, blog, akredite, siber, manipüle, psikiyatrik, istihbari, gribal, östrojen, konjonktürel, reflü, marker, spam, segment, depresan, tiroid, outlet, bonus, kompakt, botoks, omega, reality, romatizmal, modifiye, pivot, domine, cover, aktivist, proaktif, anksiyete, genital, terörize, oligarşik, libor, enfekte, teatral, popstar, kanola, pandemik, mental, apne, hegemonik, minimalist, kote, modernite, entellektüel, elitist, jazz, kondisyoner, chip, protest, etnisite, senkronize, detoks, network, editoryal, pasifize, stilize, pitbull, reforme, draft, psiko, modunda, konteynır, kardiyovasküler, militer, onore, avangard, influenza, ekber, hamd, digital, retro, tabloid, paparazzi, enstalasyon, pilates, spa, paramiliter, moderatör, fiziken, maksimize, bowling, manik, jammer, marin, embriyonik, finansör, brunch, risotto, volatilite, panelvan, serotonin, psikanalitik, hatchback, residence, manipülatif, playboy, premium, magazinel, fiks, coupe, glisemik, otokratik, koleksiyoner, speküle, lokasyon, hologram, karaoke

Bu kelimelerden bir kısmı tıbbi terimler olduğu için kullanılabilir (östrojen, tiroid gibi). Bir kısmı belki eklenebilir (kanola, hologram, karaoke gibi ).

Bazı yabancı kelimeler ise genel sözlükte yer bulmuş, çoğu durumda sadece türkçe eşleniğine referans verilmiş.

mortgage:tutulu satış, motive, aktivite, sektörel, stoper, hit:liste başı, provoke, medyatik, dokunmatik:dokunmalı, kaotik, rehabilite, promil, single:tekli, chat:sanal sohbet, travmatik, inovasyon:yenileşim, fitness:sağlıklı yaşam, küratör, sistemik, kruvaziyer, gey, eko, kümülatif, heteroseksüel, tork, multimedya, tolere, metafor, panoramik, virtüöz, politize, ötanazi, perküsyon, gurme, charter:dolmuş uçak, reformist, sprinter, idol, kuantum, rating, türbülans:burgaç, kredibilite, feminen:kadınsı, mamografi, stabil, osteoporoz, ritüel, suşi, melamin, guru, krampon, idealize,floresan:Florışıl, sinematografik, ontolojik, realizasyon, opsiyonel, kreatif, peeling:soyum, antiviral, optimal, lümpen, holigan, trekking, radyolojik, metaforik, obsesif, nevrotik, plaza, endoskopik, monşer, mantalite, metroseksüel, semitizm, liposuction, stratejist, regülasyon, formel, alzaymır, dekoder,

Her ne kadar yerleşmiş olsalar da bu kelimelerin büyük kısmı sözlüğe hiç alınmayabilirmiş.

Bir iki türetilmiş yeni kelime tutmuş gibi ama çok az sayıda. 200 kullanıma erişebilen tek kelime tutsat idi.

En yaygın yazım yanlısları birlesik kelimelerle ilgili. Bu konu tartısmalı ama TDK referans alındıgında hatalı kullanımlardan sadece bır kısmı:

doğalgaz, işadamı, işyeri, yanısıra, eşzamanlı, herşey, hammadde, varolmak, evsahibi, sevketmek, pekçok, karayolu, havayolu, demiryolu, eşgüdüm, içiçe, elele, terketmek, tersyüz, aslolan, özgüven, farketmek, eşanlamlı, terketmek, sözümona, safkan, uluorta.

Bazı yaygın kelime hataları (sadece küçük bir kısmı):

içerde, dışardan, orda, nerdeyse, suiistimal, nerde, mahçup, ünvan, tamamiyle, aksesuvar, orjinal, müşahade, bazan, kasedi, taksidi, burdan, nesile, yukarda, traş, veliahtı, diyaloga, kampus, tabiki, rüştünü, yanlız, ağıza, şahadet, ağbi, üzerleri, bişey, umrunda, tereddüte, açıkca, üstad, fiziken, esamisi, dersane, antreman, tevbe, hemşeri, cüppe, gönüle, konservatuar, repertuar, döküman, küsür, kolestrol, diyerekten, zaafiyet, takiyye, alıcam, alırkan, aralıka, barışcı, başlıyan...

Alüminyum kelimesini doğru yazana rastlamak oldukça güç. aliminyum, alimünyum, aluminyum şeklinde kullanılmış.

Bazı kelimeler TDK'da yok ama olmasını beklerdim: kaale, istihbari, takdiren, cansiperane, gibi.

Bunlardan baska Zemberek'te olmayan ya da hatalı yazılmış pek çok kelime de ortaya çıktı.

Firefox 3.5-3.6 icin imla denetimi

2010-01-23T15:15:00.002+02:00

Tr-spell projesinde yer alan turkce imla denetimi paketini Firefox 3.5 ve 3.6 ile calisir hale getirdim. Isteyenler indirebilir . Kurulum icin: http://code.google.com/p/tr-spell/wiki/FirefoxEklentisininKurulmasi . Chrome kullaniyorsaniz zaten kendi icerisinde turkce imla destegi var.

Yapisal cozumleme adaptoru

2009-09-06T23:48:00.003+03:00

Bu aralar Zemberek ile Kemal Oflazer hocanin yapisal analiz cikti formati arasinda donusum yapacak bir adaptor uzerinde calisiyorum. Oflazer hoca gercekten titiz bir calisma yapmis, Zemberek uzerinde bir iki degisiklik gerceklestirmek gerekebilecek gibi. Kabul edilebilir bir basari ile aralarinda donusumu gerceklestirecek yapinin kurulmasinin mumkun olabilecek.

Bu konuda yeni bir yazi yazacagim ama sadece donusumdeki zorluklarin gorulmesi acisindan asagidaki ornegin yeterli olacagini dusunuyorum. "yemek" kelimesinin fiil cozumu icin asagidaki cikislar veriliyor

Zemberek: ye:FIIL+FIIL_MASTAR_MEK

Oflazer : ye+Verb+Pos^DB+Noun+Inf1+A3sg+Pnon+Nom

Chrome Turkce imla denetimi

2009-05-12T18:52:00.004+03:00

Google Chrome tarayicisi icin Turkce imla denetimi konusunda Google muhendislerinden Mehmet Akin ve Hironori Bono ile kucuk bir calisma yapmistik (Issue 4782). Imla denetim mekanizmasi olarak Zemberek degil, Zemberek kullanilarak urettigimiz tr-spell projesinden ortaya cikan Hunspell formatindaki bir sozluk kullanildi. Turkce imla denetimi destegi henuz su anki kararli surumlerde yer almiyor. Ama beta kanalini aktiflestirdiginizde gelen guncellemeler ile (2.0.166 sonrasi surumler) Turkce imla denetimi destegi calisir hale geliyor.

Jcaki

2009-05-02T17:20:00.008+03:00

Evde arta kalan zamanlarimin bir kisminda kucuk bir yazilim kutuphanesi gelistiriyorum. Son zamanlarda Mehmet de biraz kodda duzeltmeler yapiyor. Kutuphane aslinda ufak ve basit bir sey. Buna ragmen hemen her projede benim icin vaz gecilmez bir hal aldi diyebilirim. Java dilinde yazilim gelistirirken bazi konularda isleri yapmak icin uzunca kod parcalari yazmaniz gerekebilir. Mesela bir metin dosyasinin satirlarini okumak, ya da elinizdeki bir String'i bir dosyaya kaydetmek, muhtelif dosya ve String islemleri gibi. Jcaki projesi ile bu islemler cok daha kolay bir hale geliyor (caki -> çakı). Ornegin bir metin dosyasini okumak icin SimpleTextReader sinifini kullanip sunu yapmaniz yeterli:

List<String> list = new SimpleTextReader("foo.txt").asStringList();

Eger dosya cok buyuk ise satir satir islem yapmak icin IterableReader mekanizmasi kullanilabilir mesela;

for(String s: new SimpleTextReader("foo.txt").getIterableReader())
out.println(s);

Daha karmasik bir ornek olarak, bir metin dosyasindan sadece INFO ve DEBUG kelimelerini iceren satirlari bas ve sondaki bosluklari kirparak okumak isterseniz, su sekilde bir kod ile uretilen SimpleTextReader isinizi gorecektir.

SimpleFileReader
.Builder("foo.text")
.encoding("utf-8")
.trim()
.ignoreWhiteSpaceLines()
.allowMatchingRegexp("INFO|WARNING")
.build();

Benzeri sekilde yazma siniflari da mevcut.

new SimpleTextWriter("foo.txt").writeLines("Hello","World");

dikkat edilirse bu durumda Writer nesnesini kapatmaniza gerek kalmiyor, cunku sistem verileri yazar yazmaz acilan OutputStream'i kapatiyor. ama istenirse acik kalmasi da saglanabilir. Ornegin:

SimpleTextWriter.keepOpenWriter("foo.txt","utf-8").writeLines("Hello","World");

Pek cok String islemleri de Strings sinifi uzerinden yapilabiliyor. Wiki sayfasindan cesitli kullanim sekillerini gorebilir, javadoc ile siniflari ve metotlari inceleyebilir, 1.0 Alpha surumunu indirebilirsiniz.

Aslinda buna benzeyen yardimci kutuphaneler (Apache commons gibi) mevcut, ama proje gelistirirken karsilastigim ihtiyaclar biraz farkli oldugundan ve daha modern Java 5 ozelliklerini kullanmak istedigimden bu sekilde bir yola girdim. Kod ve API henuz duragan ve olgun degil, o nedenle hata olma olasiligi her zaman var. Ama ben projelerde su ana kadar sorunsuz sekilde kullandim.

Kelime Üretimi

2009-04-15T14:21:00.002+03:00

Zemberek kullanarak kelime üretimi konusunda kod örnekleri içeren küçük bir yazı yazdım, ilgilenenler okuyabilir.

http://docs.google.com/Doc?id=ah8p92nkjzcw_133f6qg5bx8

Zemberek Web AppEngine'de

2009-04-09T00:36:00.003+03:00

AppEngine Java desteği haberini duyurduktan sonra Zemberek-web'i bu hizmet ile yayınlamaya karar verdim. SVN'de yer alan özelliklerinden önemli bir kısmını aktardım (Web servisi şu an için aktif değil) Aktarım esnasında Zemberek kütüphanesinde Java'nın konsol kayıtçısının kullanımını AppEngine ile kullanılamaz sınıflardan olduğundan kaldırmam gerekti. Bunun için yerel dosya sistemimde özel bir Bazaar dalı açtım. Ve bu şekilde çalıştırmayı başardım. Ardından kodda ufak düzenlemeler de yaparak şu anki haline[1] getirdim. Bu şekilde Ekşisözlük'te de bilinen[2] zemberek-web uygulaması tekrar hayata dönmüş oldu.

Bu aşamadan sonraki hedefim GWT inceleyerek arayüzü GWT ile yazmak.

1: http://zemberek-web.appspot.com/
2: http://sozluk.sourtimes.org/show.asp?id=9157957

Zemberek Ubuntu paketleri hazırlandı

2009-04-08T11:33:00.004+03:00

Daha önceki yazımda Rail ALİEV'in Ubuntu paketlerinin hazırlanmasına yönelik çalıştığından bahsetmiştim. Evet, çalışmaları meyvelerini verdi ve kütüphane, sunucu, zpspell (Zemberek KDE3 eklentisi için gerekli program) Openoffice.org ve Firefox eklentileri için hazırlanan paketler kendisinin kişisel paket arşivinde (PPA) yerini aldı. Bağlantıda yer alan depo adreslerini kullanarak paketleri kurup kullanmaya başlayabilirsiniz.

Zemberek2 Javadoc belgelendirmesi

2009-04-02T22:15:00.002+03:00

GSOC için Türkçe LT desteği projesinde çalışmak isteyen arkadaşlar Zemberek dokümanlarına ulaşmak istedi. Önceden wikide bağlantıları varolan belgelerin yanında Javadoc belgelerini de sunmak fikri ortaya çıktı. Geçici olarak yerel kod ağacımdan oluşturduğum belgeyi Gentoo alanımda yayınladım ve daha sonra Javadoc belgelerinin paketlenmesi için kayıt açtım.

Zemberek-server Firefox Türkçe yazım denetim eklentisi

2008-12-28T15:12:00.000+02:00

Daha önceki bir yazıda Ahmet hunspell sözlükleri oluşturarak Firefox'ta yazım denetimi yapılabilmesi için olan çalışmalarından bahsetmişti. Şimdi ise uzun zamandır düşündüğüm ve yapılabileceğini bildiğim bir çalışma Rail ALİEV tarafından başlatıldı. Firefox, Thunderbird 3 ve Xulrunner 1.9 yeni yazım denetim motorlarının yazılabilmesine ve eklenti olarak paketlenebilmesine olanak veriyor. Bu alanda yapılmış olan örnek bir çalışma da var aslında. Voikko Fince yazım denetim kütüphanesi için mozvoikko adında bir eklenti var. Ancak bunun yapılabileceği bilinmesine rağmen daha önceden uğraşan olmamıştı. Rail ise tam da bu boşluğu doldurdu. Eklenti kodu şu anda Pardus ekibi tarafından geliştirilen ve Zemberek-server kullanan yamayı baz alıyor ve üstüne eklenti eklenti olarak paketlenebilmesi için gereken altyapıyı ekliyor. Şu an deneysel aşamada olsa da çalışır durumda. Eklenti Firefox eklenti sitesinden[1] indirilebilir, eklentinin kodlarına da SVN deposundan[2] erişilebilir. Rail'e eline sağlık diyor, Zemberek şemsiyesi altındaki çalışmalarının devamını bekliyoruz.

Not: Eklenti şu anda tamamen deneysel aşamada olduğundan testiniz ve geri bildirimleriniz ciddi katkı sağlayacaktır.

1: https://addons.mozilla.org/en-US/firefox/addon/10183
2: http://zemberek.googlecode.com/svn/trunk/mozzemberek/

Zemberek'in dağıtımlardaki durumu

2008-12-26T10:38:00.003+02:00

Pek çok yerde dağıtımlarda Zemberek'in nasıl kurulacağına dair sorular ya da belgeler görüyorum. Onun için bunları tek yerden ulaşılabilir bir döküman haline getirmek istedim.

Pardus: Zemberek-server KDE ve GTK/GNOME etkileşimleriyle beraber entegre edilmiş durumda. Openoffice.org eklentisinin de eski bir sürümünü içeriyor. Firefox ve Thunderbird kullanırken Zemberek ile yazım denetimi yapılabiliyor.

Gentoo: Zemberek kütüphanesi, Zemberek-server KDE ve GTK/GNOME etkileşimleriyle beraber entegre edilmiş durumda. Openoffice.org eklentisi ve Firefox Zemberek eklentisi (MozZemberek) layman ile geliştirici depomu kullanarak kurulabilir. Kurulum ile ilgili kişisel günlüğümde yazdığım yazılar[1][2][3] incelenebilir.

Arch Linux: Zemberek kütüphanesi, Zemberek-server KDE ve GTK/GNOME etkileşimleriyle beraber entegre edilmiş durumda. Firefox kullanırken Zemberek ile yazım denetimi yapılabiliyor. Openoffice.org eklentisi programın kendi eklenti yöneticisi ile kurulabiliyor. Arch Linux paketleme çalışmaları için Samed BEYRİBEY'e ve Alper KANAT'a teşekkürler. Alper KANAT'ın duyurusuna http://raptiye.org/blog/2008/10/13/arch-linuxda-turkce-yazim-kontrolu/ adresinden ulaşılabilir.

Lapis Linux: Zemberek-server KDE ve GTK/GNOME etkileşimleriyle beraber entegre edilmiş durumda. Openoffice.org eklentisi de birlikte geliyor. Firefox ve Thunderbird kullanırken Zemberek ile yazım denetimi yapılabiliyor.

Debian ve Ubuntu için Rail ALİEV'in çalışmaları sürüyor. Tamamlandığında Zemberek kütüphanesi, Zemberek-server KDE ve GTK/GNOME etkileşimleri ve Openoffice.org eklentisi olacak. Bu iki dağıtım için de bilgileri tamamlandığında vereceğiz.

1: http://serkank.wordpress.com/2008/07/19/zemberek-gentoo-ile-bulustu/
2: http://serkank.wordpress.com/2008/11/22/zemberek-ooo-eklentisi-layman-ile-kurulabilir/
3: http://serkank.wordpress.com/2008/12/28/zemberek-firefox-eklentisi-layman-ile-kurulabilir/

Düzenleme: Pardus paketi kaldırıldıktan sonra Zemberek Openoffice eklenti listesinde görünmeye devam ediyor(muş)
Ekleme: Lapis Linux bilgileri
Ekleme: MozZemberek Gentoo için paketlendi.

Zemberek Openoffice.org eklentisinin yeni sürüm adayı yayınlandı.

2008-11-15T20:29:00.000+02:00

Önceki duyurumuzda Openoffice.org eklentisinin daha ileriki tarihlerde yayınlanacağını belirtmiştik. Openoffice.org'un 3.0 sürümümün çıkışının beklenmesi ve eklentiyi Gentoo'da kaynak kodundan derleyip paketleme çalışmalarımın yakın zamana kadar başarısız olması sebebiyle sürüm sürekli ertelendi. Şimdi kararlı sürümden önce bir önceki sürüm adayından bu yana yapılan değişikliklerle yeni bir sürüm adayı çıkarmak istedim. Her zamanki gibi http://code.google.com/p/zemberek/downloads/list adresinden dosyalar indirilebilir. Bu sürüm adayıyla beraber:

Openoffice.org 2.x ve 3.x ile derlenebilme özelliği eklendi. Dizin yapılarının değişmesi sebebiyle 3.0'da kütüphaneler bulunamıyordu.
Zemberek kütüphanesinin son sürümü olan 2.1.1 kullanılmaya başlandı.
Eklentinin kaynak kod paketi oluşturulmaya başlandı.
Eklentinin harici zemberek kütüphanesi dosyalarını kullanabilecek şekilde paketlenebilmesi de sağlandı.

Buradan eklentide proje grubu haricinde emeği geçen Rail Aliev'e teşekkür etmek isterim. Kendisinin paketleme konusunda yardımları büyük.

Tr-spell ve Firefox Turkce imla denetim eklentisi.

2008-10-06T05:43:00.000+03:00

Bundan bir sure once Hunspell uyumlu turkce imla denetim dosyalarinin uretilmesi konusunda dusunup ardindan bir kac deneme yapmistik. Sonucta ortaya kelime tabanli basit bir sozluk cikmisti. Bu konuda biraz daha calisip yeni bir surum cikardik. Bu paketleri otomatik olusturabilmek icin de Google code hosting kapsaminda tr-spell adinda bir proje olusturduk. Projedeki kodlar ile cesitli kademelerle Hunspell icin gerekli .dic ve .aff dosyalarinin yani sira Firefox icin eklenti de uretebiliyoruz. Firefox eklentisinin uretimi asagidaki diyagramda gosterilmistir (buyutmek icin resme tiklayin):

Ilk asamda elimizdeki elektronik kitaplardan yararlanmistik. ancak oradaki 12 milyon civarindaki kelimeden ancak 350.000 civarinda tekil kelime uretebilmistik. Daha sonra gazete arsvilerinden yararlanmayi dusunduk. Bazi gazetelerin online arsivlerinden onlarin sunucularini da zorlamadan yuksek oranda haberi cekip icerisindeki yazilari ayiklayip binlik bloklar halinde dosyalara kaydedttik (ilgili kodlari projeden inceleyebilirsiniz.). Elimizde 2GB'den fazla duz metin dosyasi olustu. burdan 200 milyon civarindaki kelimeyi zemberek ile denetleyip cozup geri olusturarak 1.2 milyon civarinda tekil turkce kelime uretildi.

Burada bir sorunla karsilastik. her ne kadar mehmet hunspell icin ozel ek(.aff) dosyasi yazmayi basarsa da Hunspell'in genel yapisinin turkceye cok uygun olmadigini anladik. Bu konuda halen umit olsa da su an icin farkli bir yolu tercih ettik. Elimizdeki kelimeleri kullanarak yapay bir ek dosyasi uretmeye karar verip ekleri dilbilgisi kurallarina gore tanimlamaktansa tum kelimeleri Kok+ekler seklinde ayirip ekler kismini ayri ayri orjinal ek olarak kabul eden bir mekanizma kurduk. Yani mesela "kitaplar" ve "ktaplara" icin "lar" ve "lara" adinda iki ayri ek tipi uretiliyor. Bu sekilde ekleri ayirip bir ek dosyasi urettik. 70.000'e yakin ek blogu ortaya cikti. Daha sonra bu ek bloklarinin en cok kullanilan 20.000 tanesi ile Hunsepll ek (.aff) dosyasi ve bu ekleri kullanan kokleri kullanarak hunspell sozluk dosyasi (.dic) uretmek oldukca kolay oldu. Firefox icin gerekli dosyalaru da kullanip yeni bir firefox eklentisi olusturduk. eklentiyi proje ana sayfasindaki baglantidan indirebilirsiniz. Firefox ile [ File -> Open File ] seceneginden dosyayi secip eklentiyi kurabilirsiniz.

Aslinda halen basarim istedigimiz duzeyde degil ve bunu arttirmak icin bir iki calisma daha yapabileceigmizi saniyorum. Ancak su an icin eklentinin idare edecek duzeyde is gorecegini saniyoruz.

Eger pardus kullaniyorsaniz, bu eklentiyi kurmaniza gerek yok, cunku pardusta Firefox zemberek mekanizmasini kullaniyor. Ve 400KB'lik zemberek acik hali 10Mb olan bu eklentiden cok daha yuksek basarim ile isliyor. Bu eklenti Windows ya da Mac altinda Firefox kullananlar icin faydali olacaktir. Eklentinin icindeki dic ve aff dosyalarini kullanarak hunspell kullanan farkli uygulamalar icin de eklentiler yazilabilir.

Tr2sql, Turkce'den SQL'e donusum denemesi

2008-10-05T19:48:00.001+03:00

Zemberek kutuphanesinin kullanildigi calismalardan birisi de Turkce'den veri tabani sorgu dili SQL'e donusum yapilmasini amaclayan tr2sql projesi. Proje cok basit denilebilecek bir yontem ile Turkce cumleleri kistli bir alanda kabul edilebilir bir basari ile SQL'e donusturebiliyor. Donusum adimlari asagidaki gibi isliyor:

Veri tabani tanimlama dosyasindan veri tabani birimlerinin (tablolar, sutunlar) hangi turkce dogal dil kavrama karsilik dustugu okunuyor.
Ayni anlama karsilik dusen kokler tek bir kavrama karsilik dusuruluyor. Bu bilgi yine bir dosyada saklaniyor. (Burada bir wordnet cok ise yarardi.)
Girilen cumle ayiklaniyor. Ardindan her bir kelimenin hangi kavrama ve ne tur bir veri tabani birimine karsilik dustugu kestiriliyor. Cumle "Cumle Bileseni" katarina donusuyor. Bu islem sirasinda Zemberek'ten yararlaniliyor. (Burada da gercek bir cumle cozumleyici cok makbule gecerdi)
Olusan "Cumle bileseni" katari basit bir durum makinesine gonderiliyor. Durum makinesi art arda gelen bilesenlere gore SQL Sorgu Tasiyici adindaki bir nesneye sorgu verilerini yigiyor. Durum makinesi tamamen elle kodlandi.
SQL Sorgu Tasiyici nesnesindeki veriler kullanilarak gercek SQL cumlesi uretiliyor. Asagida adimlar basitlestirilmis olarak gosterilmistir.

Elbetteki ciddi kisitlamalari da mevcut donusumun, bunlarin ana nedeni zaman azligi ve eldeki NLP araclarinin yetersizligi. Kisitlamalara dair bilgileri proje dokumanindan inceleyebilirsiniz.

Sonucta proje icinde calisanlara ait temel bilgileri barindiran bir veri tabani tablosu uzerinde asagidaki tur sorgulari basari ile donusturebiliyor:

işçileri listele
çalışanları göster
çalışanların adlarını yaz
işçilerin isim ve soyadlarını göster
ilk 5 işçiyi listele
çalışanların ilk 5 inin adını ve numarasını göster
adı "Ali" olan çalışanları göster
adı "Ali", soyadı "Er" ya da "Erkan" olan çalışanları göster
adı "Ali", soyadı "Er" olan ilk 5 çalışanın numara ve adını göster
numarası "9" dan büyük işçileri listele
numarası "9" dan büyük kaç kişi var
işçilerden kaçının numarası "9" dan büyük
ismi "A" ile başlayan çalışanları göster
adı "A" ile başlamayan çalışanları göster
ismi "A" ile başlamayan, numarası "9" dan büyük olmayan ilk 100 çalışanın numara ve adını göster

Cumlelere dikkat edilirse bilgi kisitlayan bilesenlerin tirnak isareti icerisinde yazildigi, kesme isaretinin kullanilmadigi ve sayilarin rakam kullanarak yazildigi gozlemlenebilir.

Bu calisma sadece bir deneme olarak gorulse de basit bir yontem ile bile oldukca basarili sonuclarin elde edilmesi bu konuda daha ileri calismalar icin umit oldugunu gosteriyor.
Proje sayfasina http://code.google.com/p/tr2sql/ , oldukca ayrintili olan proje dokumanina ise su baglantidan erisebilirsiniz.

Proje Suleyman Demirel Universitesi Elektronik Bilgisayar Egitimi bolumu mezunlarindan Dilek Semiz'in lisans tezi kapsaminda gerceklestirildi. Yazilimin gerceklenmesinde benim de yonlendirmem ve dogrudan katkim oldu.

Bu noktada Turkiyedeki akademi camiasina da kucuk bir tas atmak isterim. tr2sql calismasi alaninda ilk degil. Bu konuda Bogazici universitesinde gelistirilen TOY kutphanesini kullanan Nalan TS (pdf) adinda onceden gerceklestirilen baska bir proje de var. Bu proje daha ileri islemleri de daha az kisitlama ile gerceklestirebiliyor. Ama ne o projeye ne de universitelerimizde gerceklestirilen calismalarin buyuk cogunlugunun ise yarar calistirilabilir koduna erismek cok zor. Google code hosting ya da diger benzeri sitelerde proje acmak 5 dakika aliyor sadece. Duyrulur.

Zemberek 2.1.1

2008-10-02T06:54:00.000+03:00

Zemberek 2.1.1 surumu cikti. Bu surumdeki bazi degisiklik ve duzeltmeler sunlar:

- Olmayan bazi kelimeler eklendi, eskik tanimlanan bazi kelimeler duzeltildi. Bunlardan bazilari:

[kitabevi, Finlandiya, obezite, icirmek, kesinkes, karaborsa, cemevi, emlak, genelev, olur, derlem, abi, subjektif, tereddut, selulit, arazoz, cezaevi, titanyum, dedektif, sehadet, kilometrekare, avro, nanoteknoloji, klasik, suistimal, livata, Bahattin, rutin, gunubirlik, duvak ]

- Soluktu, yapmakti gibi kelimeler cozulemiyordu. ilgili ekin uretim kurali duzeltildi.

- Kelime ureticideki dil bagimli son harf yumusama ozelligi duzeltildi. Oradaki bir yanlislik da giderildi.

- ILI fiil eki eklendi (serili, yapili, gerili..).

- Kelime sinifindaki diziye donusturme metodu duzeltildi.

- SonHarfYumusamaOzelDurumu sistemden kaldirildi. ek ureticide hallediliyor.

- Cesitli kod duzeltmeleri, paketleme ile iliskili duzenlemeler.

Yapilan degisikliklerin detaylarini proje kod degisiklikleri sayfasindan inceleyebilirsiniz ( http://code.google.com/p/zemberek/source/list ). Her zamanki gibi kodu ve kutuphaneyi ( http://code.google.com/p/zemberek/downloads/list ) adresinden indirebilirsiniz. Serkan, Mehmet ve emegi gecen herkese tesekkurler.

Deneysel kelime tabanli Firefox imla denetim eklentisi

2008-09-08T15:32:00.000+03:00

Hafta sonu bos zamanda onceden e-posta listelerinde tartistigimiz , sonradan dusunup yapmaya usendigim bir seyi denedim. Ozellikle Windows altinda firefox kullanan kisilerin imla denetimi ihtiyaclarini kismen karsilamak icin kelime tabanli bir imla denetimi eklentisi denemesi yaptim. Mekanizma basit, imla denetimi icin zemberek gibi yapisal analiz yapmak yerine devasa bir kelime yigininda kelimenin var olup olmadigina bakiliyor. Bu isi yapan firefox icindeki Hunspell. Bu yontemin kotulugu imla denetim basariminin dusuk olmasi. Avantaji ise pek cok uygulama ile butunlestirilmesi.
Turkce gibi eklemeli dillerde bu yontemi kullanarak orta seviye kabul edilebilir bir duzeyde basarim ile imla denetimi yapmak icin elde cok yuksek sayida kelime olmasi gerekiyor. Bu kelime listesini olusturmak icin internette buldugumuz 170 civarinda cesitli elektronik kitap, sozluk ve dokumani taradim (okuma degil sadece kelime toplama amacli kullanildi). Kelimeler zemberek kullarak denetlenip bir dosyaya yigildi. Bu kaynaklardan ortaya 330.000 kelimelik bir kelime listesi ortaya cikti. Bu liste kullanilarak taranmamis dokumanlar uzerinde yaptigim testler zemberek'in %95-96'si basarim ile calistigini gosterdi. Ancak kalan %4-5 lik alanin kelime ekleme ile doldurulmasi guc cunku 200.000 kelimelik bir listede basarim %94 civarinda idi. Yani bir sure sonra basarim artisi cok yavasliyor. O nedenle bu yontemin zemberek kalitesinde cozumleme yapmasi mumkun degil gorunuyor.
Daha sonra kelimeleri hunspell formatina koyup basitce paketleyip bir Firefox eklentisi olusturup Firefox add-on sitesine yolladim. Su anda deneysel eklenti kapsaminda gorunuyor, indirebilmeniz icin siteye uye olmaniz gerekiyor. Indirip test eder ve siteye review yazarsaniz sanirim gercek bir eklenti haline donusebilir. Suradan firefox'a ekleyebilirsiniz. Bunun icin Google code hosting altinda bir proje acacagim ama taranan kaynaklar orada yer almayacak sadece kelime listesini olusturan kod ve eklentiler yer alacak.

Notlar:

Bu yontem ozellesmis konularda cok daha kotu bir basarim ile calisacaktir. Ornegin saglik konulu bir yazida basarim %90 civarina dusebilir.
Bu yontem hunspell-affix dosyasi kullanilarak gelistirilebilir. Hic olmazsa iki derinlikli eklerin kok kelimelere eklenmesini saglayacak sekilde basarim cok daha iyi olabilirdi. Bunun icin hunspell affix dosyasinin duzgun sekilde yazilmasi gerekiyor.
Kelime sayisi farkli turden dokumanlarla zenginlestirilebilir. Bu konuda universite tezleri ve gazete arsivleri iyi bir kaynak olabilir.
Pardus ya da zemberek kullanan diger Linux dagitimlarinda bu eklentinin kullanilmamasi gerekir. Denemedim ancak problemlere yol acabilir. Zaten zemberek cok daha iyi bir is cikariyor ;)

Hunspell ve Turk Dilleri

2008-08-08T04:44:00.000+03:00

Zemberek kütüphanesini yazmaya başladıktan sonra bize en çok gelen sorulardan birisi windows ortamında Firefox, OpenOffice gibi uygulamalar için imla denetiminde kullanılıp kullanılamayacağı idi. İşin aslı Zemberek'in asıl yazılma amacı başından beri imla denetimi değil, NLP uygulamalrinda kullanılacak temel araçların sağlanması idi. Bununla birlikte ortadaki ihtiyaç ve gönüllülerin güzel çalışmaları ile Zemberek Linux dağıtımlarında ve OpenOffice uygulamasında biraz dolambaçlı bir şekilde de olsa en azından Türkiye Türkçesi için var olan bir boşluğu doldurabilmiştir.
Genellikle işletim sistemleri ya da popüler uygulamalar alt seviye C ve C++ gibi dillerde yazıldığından imla denetim ihtiyaçları da yine alt seviye dillerle yazılmış araclar vasıtası ile sağlanagelmiştir. Bunlardan aspell ya da myspell yapıları itibarı ile eklemeli dillere uygun değildi zaten, ama Zemberek ile benzer zamanda László Németh tarafından geliştirilmeye başlayan Hunspell hem eklemeli diller verdiği destek hem de daha modern bir yapıya sahip olduğundan bugün OpenOffice ve Firefox 3 gibi uygulamarda tercih nedeni olmuştur. Hunspell de tıpkı Zemberek gibi yapısal çözümleme, kelime üretimi ve kök bulma desteği sunuyor. Üstelik genel amaçlı yapışı ile bunu çoğu dil için yerine getirebiliyor. Dil gerceklemeleri cogu zaman hic kodlama gerektirmeden yapilabiliyor.
Hunspell gerçekten pek çok dile destek veriyor ( Liste için tıklayınız ) Listede Türk dili olarak Özbekçe ve Azeri görünüyor. Bununla birlikte, bu dillere destek gerçek ek-kök tanımlamalarından ziyade köklere çok kullanılan eklerin eklenmesi ile oluşturulmuş kelime yığınlarından ibaret. Yani Hunspell için özel çalışma yapılmamış. imla denetimi başarımı bu nedenle oldukça düşük olacaktır.
Bu yazıyı yazma amacım ise Türkçe için Hunspell gerçeklemesinin oluşturup oluşturamayacağı konusunun gündeme getirilmesidir. Bu şekilde alternatif bir çalışmanın özellikle Windows altında Firefox kullananlar için büyük yararı olacağını sanıyoruz. Bu konudaki sorunlardan birisi ise Hunspell'in Turkceye tam olarak uygun olup olmadigindan bile emin olmamamiz (Turkce gibi eklemeli Macarca icin gercekleme mevcut, ancak Fince icin kullanilmasi onerilmemis.)
Başka bir seçenek de Linux dağıtımlarında olduğu gibi Zemberek server uygulamasının Windows paketlerinin hazırlanması ve buna erişim sağlayan Windows Firefox eklentisinin yazılması olabilir. Bu konuların herhangi birisinde çalışmak isteyenlere elimizden gelen yardımı yapmaya çalışacağız.

Zemberek'e Php ve JRuby ile erisim

2008-08-03T22:28:00.000+03:00

Zemberek fonksiyornlarina Php uzerinden erismek icin Ismail Ata Kurt sunucu uzerinden erisim saglayacak bir sinif yazmis. Ornek kullanim ve kod icin blog girdisini okuyabilirsiniz.
Murat Arif Celiker arkadasimiz ise onceden JRuby kullanarak Ruby dili ile zemberek kutuphanesine dogrudan nasil erisilebilcegini anlatan bir blog girdisi yazmisti. Bu yaklasimin farki zemberek sunucusunu gerektirmemesi.

Akademik çalışmalarda Zemberek

2008-07-21T12:51:00.000+03:00

Ara ara çeşitli universitelerden Zemberek kullanımına ilişkin sorular yöneltiliyor. Anladığımız kadarı ile özellikle linsans ve bazen yüksek lisans tezlerinde ve araştırmalarda Zemberek kullanılıyor. Bu gerçekten güzel bir şey. Bunun için Google Scholar'da bir araştırma yapınca epey bir makale bağlantısı ile karşılaştık. Bunlardan bir kısmı şu şekilde (Bağlantılar genellikle pdf):

Turkalator, A Suite of Tools for Augmenting English-to-Turkish Statistical Machine Translation

Author Identification for Turkish Texts

Aşağıdaki makale ilginç. TDK'nin destek olmaması nedeni ile TDK web sitesinden bilgileri nasıl çektikleri anlatılıyor.
Semantic categorization of Turkish language elements

A New Feature Extraction Method for Text Classification

Turkish Document Classification Using Shorter Roots

Turkish keyphrase extraction using KEA

Advanced Information Extraction with n-gram based LSI

Bu makalelerin büyük kısmında kütüphane kök bulucu (stemmer) olarak kullanılmış. Bir kısmında işe yapısal çözümleyici sonuçlarından yararlanılmış. Yöneltilen sorulardan birisi de makalelerde Zemberek'i referans olarak kullanmak için bir yayının olup olmadığı yönünde. Bundan bir kaç sene önce yazdığımız bir makale kabul edilmediğinden sadece proje sayfasının referans verilmesi yeterli olacaktır.
Yukarıdaki makalelerden başka özellikle lisans bitirme projelerinde Zemberek'in kullanıldığını tahmin ediyorum. Eğer bağlantı gönderenler olursa memnun oluruz.

Zemberek projelerinin kararlı sürümleri yayınlandı.

2008-07-07T13:07:00.000+03:00

27 Haziran 2008'de projelerin rc1 sürümlerini duyurmuştuk. Tesbit edilen diğer hataları da gidererek zemberek ve zemberek-server projelerine ait yeni sürümleri yayınlıyoruz. Zemberek Openoffice eklentisi de ileriki bir tarihte yayınlanacak. Dosyalar yine http://code.google.com/p/zemberek/downloads/list adresinden indirilebilir.

zemberek-2.1

Tercihen kelimesi eklendi. (Issue #56)
Ses düşmesine uğraması gereken kelimelerle ilgili hata düzeltildi. (Issue #44)
Demo uygulamasına hatalı kelimeleri renklendirme özelliği eklendi. (Issue #66)
Bağ-Kur kısaltması ile ilgili problem gideildi. (Issue #57)
Bankamatik kelimesi yumuşamaya uğrayacak şekilde işaretlendi.
Kısayol kelimesi bilişim sözlüğüne eklendi. (Issue #53)
"ğ" ve "ş" içeren kişi adları ile ilgili öneriler düzeltildi.
unit-test işlemi çalışır hale getirildi.
Bağımlı kütüphanelerin yer almadığı kaynak dağıtımı eklendi.
Dağıtımla ilgili düzenlemeler.

zemberek-server-0.7.1

jar dosyası classpath düzenlemesi.
JNI kütüphaneleri optimizasyon bayrakları olmadan derlenip pakete eklendi.
Bağımlı kütüphanelerin yer almadığı kaynak dağıtımı eklendi.
Dağıtımla ilgili düzenlemeler.

Zemberek projelerinin yeni sürümleri yayınlandı.

2008-06-27T15:02:00.000+03:00

Zemberek NLP projesinde yeralana 3 alt projenin yeni sürümleri yayınlandı. Aşağıda sürümlerle ilgili değişiklik ve düzeltmelere ait ayrıntıları bulabilirsiniz. Projelere ait kaynak ve binary dağıtımlar http://code.google.com/p/zemberek/downloads/list adresinden indirilebilir.

zemberek-2.1_rc1

Giderilen hatalar: Issue #42, Issue #46, Issue #48, Issue #50, Issue #51, Issue #54, Issue #57, Issue #59
Çözümleme stratejisi eklendi.
Ek üretici düzenlemeleri.
Kelime üretiminde başlangıç eki kullanma şartı artık gerekmiyor.
Demo uygulamasında küçük düzelemeler ve temiz ASCII-Turkce dönüşüm özelliği eklendi.
Küçük yapısal düzeltmeler.

zemberek-server-0.7.1_rc1

Komut satırından varsayılan ve dosyada yeralan seçenekler ezilebiliyor. (Issue #36)
Conf.ini dosyası olmaması durumunda yaşanan sorun giderildi.
Kullanılan kütüphaneler yeni sürümlerine güncellendi ve 64 bit kütüphane eklendi: mina-1.1, dbus-java-2.5, zemberek-2.1_rc1
Socket sunucusuna heceleme desteği eklendi.
Scriptler binary dağıtımda çalışacak şekilde düzenlendi.

zemberek-ooo-1.0_rc1

zemberek-2.1_rc1 sürümüne geçildi ve eklenti kodları zemberek2 ye uyumlu hale getirildi.
Uzun süredir hatalı işleyen heceleme işlemi düzeltildi. (Issue #49)

Düzenleme: Issue #56 kararlı sürümde düzelecek.

Kelime Obekleri denemesi

2007-06-23T06:03:00.000+03:00

Kelime obekleri (bilesik kelime, coklu kelime, kelime grubu da denilebilir, bu konuda tem bir isimlendirme var mi bilemiyorum. Tankut ve Mert obek demislerdi, begendim, genellikle onu kullaniyorum) uzerinde epeydir calismak istiyordum, ancak islerden ne yazik ki ancak biraz zaman ayirabildim. Oncelikli amac kelime obeklerinin cumle icerisinden tespiti. Bunu yapmak aslinda zor degil, ancak her NLP konusunda oldugu gibi, gene kayaya bilgi eksikligi konusunda carptim. Elimizde var olan obeklerin isaretlenmis bir derlemesinin bulunmasi gerekiyor.
Onceden de bahsi gecmisti, kelime obeklerinin farkli yapilari var. En cok karsilasilani genellikle kendi baslarina ayrik bir kavrami ifade eden [ Kok+ek kalibi, Kok+ek kalibi... ] seklindeki yapilar. Ornegin "abayi yakmak" -> [ aba AD + belirtme(yukleme) eki, yak FIIL + genel ] seklinde. Bu sekilde farkli ek gruplari ile kelime obeklerinin buyuk kismi isaretlenebilir. Kotu olan sey ise 40-50 bin civarinda (daha da fazla olabilir) bu sekil obegin bulunmasi. Bunlarin tamaminin elle tek kisi tarafindan isaretlenmesi mumkun degil. Bu isin bilgisayar tarafindan yari otomatik olarak koklerin tespiti ve ek kaliplarinin elle secilmesi bu konudaki izlenecek yontem olabilir. Hatta isin basinda sadece koklerin tespiti yeterli olacaktir.
Elimde dogru durust bilgi olmadigindan cok hos olmasa da TDK sitesinden bu bilgileri cekecek minik bir orumcek mekanizmasi yazmaya karar verdim. cektigim bilgileri sadece deney amaciyla kullanacagimdan umarim darilmazlar. Zemberek , Http Client ve Java 5 ThreadPool yapilarini kullanarak sozlukteki tum kokler icin sirayla ilgili URL'yi olusturup surekli olarak ayni anda 30 gorevi isletecek sekilde mekanizmayi baslattim (daha fazlasini isletseydim DoS saldirisi yapiliyor sanabilirlerdi belki). Gelen HTTP cevabindan bilesik kelimeleri ayiklama kolay olmadi, ama sonucta TDK sitesinden tum koklere karsilik dusen bilesik kelime deyim ve atasozlerini 3 saat gibi oldukca iyi oldugunu dusundugum bir surede indirdim.

Tabi is bitmiyor burada. gelen bilesik kelimelerin bir depoya atilmasi gerekiyor. Dosyadan bu bilesik kelimeleri okuyup kok bulucu ile koklerini kestirdim. Birden fazla sonucun ciktigi durumlarda hangisinin secilmesi gerektigini kestirmek tam olarak mumkun degil. Simdilik balta bir sekilde en uzun boylu koku sectim. Bu sekilde elimde tum kelime obeklerinin oldugu bir depo oldu. depo icinde istenilen bir ya da birden fazla kokun icinde gectigi tum obekleri bulacak baska bir mekanizma daha koydum ama henuz kullanilmiyor.. Normalde gercek uygulamada bellek tuketimi nedeniyle kelime obeklerinin nesne ya da ogmulu iliskisel bir veri tabaninda saklanilmasi daha mantikli . o konuda da denemem oldu ama lafi cok uzatmayayim.

Daha sonraki konu ise asil analiz. Sorun su. elimizde bir dizi kelime olsun: [w1, w2, ..., wn] bunun kok cozumlenmesinden elimizde en kotu ihtimalle [ [k11, k12.. k1m], [k21, k22... k2m],....,[kn1,kn2,..,knm] ] seklinde bir diziler dizisi ortaya cikacaktir. Sonrasi tum olasi ardisil kok dizilimlerinin kelime obekleri olusturup olusturmadigi akillica yazilmis bir algotma ile depodan bulunmasina bakiyor. simdilik sadece en uzun kokleri secerek [k1, k2,..., kn] diziside yer alabilecek kelime obeklerini bulan basit bir metod yazdim. Deney dizinindeki BasitKelimeObegiBulucu sinifini isleterek ornek cumlelerdeki obeklerin bulunmasini gozleyebilirsiniz. Tabiki cok fazla eksik var,yanlis kokler secildiginden obekleri tam bulamiyor.

abuk subuk bir ornek:
"Van kedisi tuhaf tuhaf bakıp postu sererek tası tarağı toplayan adama yardım etti."
Bulunan obek adaylari: [van|kedi , post|ser , tas|tarak , yardım|et]

Eksiklikler

oncelikle obeklerin, ozellikle koklerin isaretlenmesi (etiketleme)
ek sablonlairnin yapilairnin ortaya cikarilmasi. ve analizdeki gorevlerinin belirlenmesi.
analizde koklerin tamaminin testi gerekiyor.
sozlukte yer almayan bilesik kelime yapilarinin incelenmesi . (tekrarlama, fiil obekleri gibi. Ornegin: "abuk subuk", "gelip gelmedigini" gibi.)
obeklerin disk uzerinde saklanmasi ve sorgusu.
icinde bir kelimesi ayri olan ama ayni anlama gelen obekler (abayi sermek, postu sermek.. gibi)

Bu noktada durup asil sorunumuz olan bilgi girisi konusunda tekrar dusunmek istiyorum. bilgi olmadan algoritmaniz ne kadar sahane olursa olsun bir ise yaramiyor. Biliyorum akademide bunun tersi gecerli ama bana gore algoritma NLP'de bilgiden sonra geliyor. Cok karmasik olmayan ve kelime obeklerinin isaretlenmesini kolaylastiracak cok katilimli bir mekanizmayi yapmak zor degil. Ama isler ve zaman aleyhimize. Bakalim, zaman dar ama bakarsiniz bir seyler cikar ortaya.

Bu arada memleketten buraya doneli bir ay oldu, askerlik nedeniyle haftaya insallah tekrar donmem gerekiyor. :). gorusmek uzere.

Eclipse Türkçe imla denetimi eklentisi: Musahhih

2007-06-01T08:38:00.000+03:00

Daha önce aklıma gelmiş olan fikri hayata geçiren Yusuf Karagöl'e teşekkürler. Eclipse için javadoc, yorum ve Stringlerde imla denetimi yapan bu eklenti gayet başarılı. Zemberek javadoc larında ascii olarak yazılmış kelimeleri gayet de güzel buldu. Eline sağlık çalışmalarının devamını bekliyoruz.

Projenin web sitesi: http://sourceforge.net/projects/musahhih
Projenin ilk duyurusu: http://liste.uludag.org.tr/pipermail/zemberek-pardus/2007-May/000068.html
Kullanım belgesi: http://musahhih.wiki.sourceforge.net/kullan%C4%B1m

E bir de screenshot tabiiki :P

Düzenleme: Siteye son çalışan sürümü eklemiş

Zemberek nasıl çalışır? 2.Ağaç Performansı ve Kök Seçiciler

2007-04-15T13:22:00.000+03:00

Bu yazıda Kök ağacı ile ilgili performans verilerinden bahsedip Zemberek kök seçicilerinin yapısını kısaca anlatacağım.

Daha önceki yazımda zemberek kök ağacının yapısından bahsetmiştim. Yazıda kök ağacının oluşum zamanı ve düğüm sayıları ile ilgili bir şey yazmadığımı fark ettim, önce onları özetlersek:

Sistem: AthlonXP 2.2Ghz, Pardus 2007.1, Java 6, JVM client modu

Sözlüğün okunup ağacın oluşturulma süresi: 0.5s.
ikinci ve üçüncü okuyuşlar: 0.2s.
Toplam düğüm sayısı: 46634
Kök taşıyan düğüm sayısı: 33414
Alt düğümü olan düğüm sayısı:21729
Alt düğümü olmayan (yaprak) düğüm sayısı: 24905

Alt  düğüm dökümü:
1 alt düğümü olanlar: 10979  Yüzde: %50,527
2 alt düğümü olanlar: 6419   Yüzde: %29,541
3 alt düğümü olanlar: 1820   Yüzde: %8,376
4 alt düğümü olanlar: 846    Yüzde: %3,893
5 alt düğümü olanlar: 475    Yüzde: %2,186
...

Herhangi bir kelime için aday köklerin seçilmesini sağlayan basit yapılara kök seçici ismini verdik. Yazım denetimi gibi işlemlerin yapılabilmesi için gerekli olan Morfolojik analiz için verilen bir kelimenin önce kök adaylarının bulunması gerektiğini önceki yazıda ifade etmiştim. Bu işlem için "Kesin kök adayı bulucu" kullanılır. Yapısına bakacak olursak:
Zemberek ağaç üzerinde kelimenin harflerini izleyerek ilerler ve yolda rastladığı tüm kökleri toplar, yani "elmaslarının" kelimesi için aday kök olarak "el", "elma" ve "elmas" kelimeleri seçilir. Daha sonra Çözümleme işlemine geçilir ve bu adaylar tek tek denenir. Genelde en uzun olan kök adayı uygun seçim olacağından denemelere uzun olan kökten (seçilenlerin en sonuncusundan) başlanır.

Zemberek'in yazım denetimi sırasında hatalı kelimeler için öneri de verdiğini biliyoruz. Öneri işlemi nispeten karmaşık bir kök seçici ve özel bir çözümleyici kullanır. Bu özel seçici ağaç üzerinde ilerlerken belli bir hata toleransını da hesaba katar.

Örneğin "elxalarının" hatalı kelimesi için ağaç üzerinde ilerlerken sadece "ela, elma ve elmas" değil "ela" kökü de seçilir. Zemberek te bu kelime için "elmaslarının ve elalarının" önerilerini üretir. Ağaç üzerinde ilerleme hata toleransı ile sınırlıdır, yani algoritma "Hata toleransı belli bir değeri aşıncaya kadar ağaçta ilerle ve rastladığın kökleri seç" ifadesi ile özetlenebilir. . Zemberek kelimelerin birbirlerine ne kadar benzediğini bulmak için şimdilik sadece Damerau-Levenshtein düzeltme mesafesi algoritmasını kullanıyor, ancak denemek isteyen biri farklı kelime benzerlik algoritmalarını kullanan bir seçici yazabilir, Örneğin Zemberek içerisinde gerçeklemesi bulunan Jaro-Winkler benzerlik algoritması uygun olabilir.

Son olarak ta Türkçe klavyesi olmayan veya (nedense) Türkçe harfleri tercih etmeyen kişilerin yazdıkları kelimelerin Türkçe'deki karşılıklarını bulmaya yarayan Ascii->Türkçe dönüşümünde kullandığımız Ascii Toleranslı Kök seçici'nin yapısı da şu şekildedir:

Bu seçici de nispeten toleranslı kök seçiciye benzer, ancak bu sefer kelime benzerlik algoritmaları kullanmak yerine kelime için ağacı tararken u,i,s,o,g,c harfleri için ve Türkçe'deki karşılıkları olabilecek ü,i,ş,ö,ğ,ç düğümlerinde de ilerler. Yani yazar "durumunun" demişse sadece "dur", "duru" ve "durum" değil "dür" ve "dürüm" kökleri de aday olarak seçilir.

Peki seçicilerin performansı nasıl? Değerleri yaklaşık olarak veriyorum, sanırım toleranslı seçici performansı üzerinde biraz daha çalışmamız gerekiyor :) tabi burada önemli bir nokta var, yaptığım testte türkçe bir metni toleranslı seçici kullanarak taradım, yani hatalı kelimeler yerine doğru kelimeler için toleranslı seçim yapıldı, bu da ağaç üzerinde gezinilen düğüm sayısını çok arttırıyor, yani performans bozuk bir metinde çok daha yüksek olacaktır.

Yine aynı sistemde (AthlonXP 2.2Ghz, Pardus 2007.1, Java 6 -client)
Kesin kök seçici: 600.000 kelime/s
ASCII toleranslı seçici: 100.000 kelime/s
Toleranslı seçici: 300 kelime/s

Kök seçicilerinin bize getirisi bu üç farklı işlem için de aynı veri yapısının (ağaç) kullanılması ve kodlarının çok basit olmasıdır. Merak edenler aşağıdaki adresten kök ağacı ve seçicilerle ilgili kodlara erişebilirler:
http://zemberek.googlecode.com/svn/trunk/zemberek2/src/cekirdek/net/zemberek/bilgi/kokler/

Zemberek belgeleri

2007-03-28T11:31:00.000+03:00

Java.net sitemizden google sitemize taşınırken belgeleri de güncelleyerek aktarıyoruz.

Geliştirici belgeleri

SSS

Soru-Cevap

Tatarça-Törekçä

2007-03-22T03:11:00.000+02:00

Gectigimiz gunlerde Open Office.org Turkiye'den Rail bir mesaj yolladi. Open Office'in Tatarca icin yerellestirilmesi konusunda bir projenin olabileceginden bahsetti ve Zemberek ile tatarca imla denetimi ve dil servilerinin verilip verilemeyecegini sordu (Tatarca, Tataristan 'da konusulan dil. Kirim Tatarlarinin yurdu ve kullandiklari dil olan Kirim Tatarcasi farkli gorunuyor). Zemberek2 yapisini elimizden geldigince dilden bagimsiz ve yeni dil eklemeyi kolaylastiracak sekilde degistirdigimizden tatarcayi eklemenin mumkun oldugunu soyledik. Tabiki bunu kendi basimiza gerceklestirmemiz mumkun degil. Tatarca konusunda uzman birisinin yardimci olmasi , ve mumtemelen baska kisilerin de veri girisi saglamasi gerkiyor. Zemberek ve diger dil isleme sistemlerindeki temel sorun aslinda bilgiye olan erisim ve bilgi toplama problemi. Butun bunlar oldukca zaman isteyen isler, isin programlama kismini cekridek gelistiriciler nispeten hizla halledebilir gorunuyor.
Son iki gunde biraz arastirma yaptim, gorunuse gore Tatarca Turkmence ya da Azerice'den ayri bazi zorluklar iceriyor. Ilk sorun alfabe. Ortada uc farkli alfabe mevcut; ikisi latin, digeri Kril alfabesi. Wikipedia'da okuduguma gore Ne yazik ki Rus hukumeti resmi olarak kril disi alfabelerin kullanimina izin vermiyor, ancak biz saniyorum genede en son kullanilan latin alfabesi icin bu isi gerceklestirmeye calisacagiz. Kril alfabesindeki semboller bire bir harflere karsilik dustugunden sonradan bir on-art isleyici ile girisi alfabeden bagimsiz yapmak pekala mumkun.
Diger sorun ise Zemberek icindeki bazi yapilarin halen cok genellestirilememis olmasindan kaynaklaniyoru. Tatarca ek uretim kurallari Turkce, Turkmence ve Azerice'den epey farkli gorunuyor. Bu nedenle daha en basta ek konfigurasyonu okuma kodunda bir degisiklik yapmam gerekti.
Tatarca konusunda bulabildigim en iyi internet kaynagi "I tugan tel". Dilbiglisi konusunda yazilar, sozlukler ve cesitli makaleler mevcut. Ne yazik ki sadece bir iki tanesi Turkce. Simdilik kisa Tatarca dilbilgisi yazisindan yararlanarak bir kac test ek ve koku tanimladim ve sistemi bu basit hali ile calisir hale getirdim (aslinda bir iki saat surebilecek bir isti ama tatar alfabesi ve eklerini ogrenme , ek olusum mekanizmasini degistirme derken 6-7 saat tuttu). Asagida bir ornek gorebilirsiniz:

(tel->dil, telemne-> dilime, telläremnän-> dillerimden) . Sadece uc dort kok ve on ek ile simdilik isler yuruse de yakinda yapiyi hafifce sarsacak problemlerle karsilasabilecegimizi saniyorum.
Turkceden farkli bir durum ornekte yer aliyor. uzaklasma eki "dan" turkce gibi. "dan, tan, dän, tän" seklinde ureyebiliyor. Ancak eger eklenecegi kelime "n, m ya da ñ" ile biterse "nan, nän" seklinde olusuyor. Bu nedenle ek uretim mekanizmasina ozel kural koymak zorunda kaldim. ispanyolca alfabede yer alan 'ñ' harfi tatarcada anadoluda halen kullanilan genizin ust tarafinin birlesimi ile cikarilan 'n' harfi seklinde okunuyor. Toplam on sesli iceren tatarcadaki 'ä' ise Azericedeki 'ə' harfi ile ayni saniyorum, a ile e arasi bir ses karsilik dusuyor.
Bu konuda Zemberek tek alternatif degil elbette, saf imla denetimine yonelik ve eklemeli dillere uygun C++ tabanli Hunspell mevcut. Biz tabi zamanimiz da el verirse Zemberek ile yola devam edecegiz.
(Not: verdigim bilgiler hatali olabilir, Tatarca bilen arkadaslar duzeltebilir)

Zemberek Web Servisi ve JAX-WS

2007-02-23T12:51:00.000+02:00

Zemberek erişim sınıfındaki metodlar arasında yer alan
List<String[]> kelimeAyristir (String kelime) imzalı metodu Web servisi olarak açmaya çalışırken başıma gelenler:

Öncelikle JAX-WS arayüzlerle çalışamıyor illa sınıf bekliyor. Web servisinde List yerine ArrayList kullanmak zorunda kaldım.
Daha önceden erişim metodu <List<List<String>> tanımlı iken ve ben bunu ArryList<ArrayList<String>> şeklinde döndürmeye çalışırken dıştaki listeyi WSDL ve XSD lerde List e eşlemesine rağmen içteki listeyi (ArrayList<String>) elemansız bir sınıf tanımına eşliyordu.
Bunun üzerine Ahmet metodu ilk bahsettiğim haline getirdi ve ben de ArrayList<String[]> döndürmeye çalıştım. Sonuç yine hüsran oldu. http://jax-ws-sources.dev.java.net/issues/show_bug.cgi?id=42 adresindeki hata ile karşılaştım ve bunu hata raporu olarak bildirdim.
Hep hatalardan bahsettim. Şimdide çözüme gelelim. Şu an için metod String matrisi (String[][]) döndürüyor. Bu kapsamda matrislerin daha önceden hiç ihtiyacım olmadığı için farkedemediğim bir özelliğini öğrendim. Matrisin her satırı farklı sayıda eleman içerebiliyormuş. String matris[][] = new String[satirsay][]; şeklinde ilklendiğinde matrisin her satırına farklı uzunlukta diziler atanabiliyor. Eh öğrenme hiçbir zaman bitmiyor işte :P.

Zemberek nasıl çalışır? 1.Sözlük ve Kök ağacı

2007-02-11T12:18:00.000+02:00

Zemberek bir kelimenin Türkçe olup olmadığına nasıl karar veriyor? Bu basit sorunun cevabı "verilen bir kelimeyi Türkçe kök ve eklerine ayırabilirseniz Türkçedir, ayıramıyorsanız değildir". Kısacası bir kelimenin Türkçe olup olmamasını anlamak için morfolojik analiz yapabilmelisiniz. Türkçe yazım denetimi yapabilmek için önceleri en sık kullanılan kelimelerin bir dosyaya konulup gelen kelimelerin o dosyadan kontrol edilmesi gibi ilk bakışta mantıklı görünen ama biraz inceleyince pratik olmadığı anlaşılan yöntemler de düşünülmüştü. Bu tür yöntemlerin yetersiz olan %98-99 doğrulukla çalışması için bile milyonlarca kelimeyi içermesi gerekir.

Zemberek çok basit bir sistemle verilen bir kelimeyi morfolojik olarak inceler. Önce verilen kelimenin kökü olabilecek adayları belirler, sonra da olabilecek ekleri uygun sırayla bu kök'e eklemeye çalışır. Eğer bu işlem sırasında girişteki kelimenin aynısını elde edebilmişse, o zaman uygun kök ve ekleri de bulmuş demektir ve kelime Türkçedir, eğer kök adaylarının hiçbirinden sonuç elde edilememişse o zaman kelime Türkçe değildir. bu işlemin ilk adımı olan kök adaylarının bulunması işlemini inceleyelim. Kök adaylarının bulunabilmesi için öncelikle elimizde Türkçe'deki tüm kök kelimelerinin bulunması gerekiyor. Zemberek Türkiye Türkçesi içi yaklaşık 30.000 kök içeren bir kılavuzu da beraberinde taşır, bu kılavuzda her kök tipine ve özel durumlarına göre etiketlenmiş şekilde bulunur. Diğer Türk dilleri için yapılan gerçeklemeler de benzeri bir kök sözlüğünü taşımalıdırlar. Burada bahsi geçen özel durumlar sondaki sert ünsüz harfin yumuşaması (sağlık -> sağlığa) veya bazı durumlarda sondan bir önceki sesli harfin düşmesi (burun -> burnu) gibi halleri içerir. Kökler için kullanılan etiketler de dile göre değişiklik gösterebilir. Aşağıda Azeri Türkçesi için yazılmış kök sözlüğünün küçük bir bölümü görülmektedir.


su AD
sağlıq AD YUM
al EY
gel EY
tuz AD
istiot AD
et AD
balıg AD
bir RA
iki RA
dörd RA
dünen ZAMAN
sabah ZAMAN

Verilen bir kelimenin kök adaylarının bulunması için zemberek bu kökleri özel bir ağaca yerleştirir. bu özel ağaç sayesinde adayların belirlenmesi son derece hızlı şekilde yapılabilmektedir. Bu ağaçta kökler içeriklerine göre yerleşirler, örneğin aşağıdaki örnekte "baz" kökü sırasıyla B- A -Z ile etiketlenmiş düğümlerin en sonuncusuna bağlanmış şekilde durur. Burada dikkati çeken bir nokta da uzun köklerin gereksiz fazladan düğüm oluşturmayacak şekilde ağaca bağlanması ve bellekten tasarruf edilmesidir. yani "Balerin" kökü B-A-L-E düğümlerinden sonra gelen R düğümüne bağlanmıştır.

Kök ağacı kök düğümleri ve bu düğümlerin bağlantılarından oluşur. Kitap gibi bir ek geldiği zaman yumuşama olasılığı olan köklerin değişimiş halleri de kök ağacına eklenir. Ancak bu değişmiş haller de orijinal kökü işaret ederler.

Kök ağacının oluşturulması işlemi oldukça ince bazı uç durumları göz önüne almayı gerektirir. ağacın daha oluşturulurken bellek tasarrufu ve performans için yukarıda anlatılan kuralara göre davranması için aşağıdaki 7-8 durum için farklı önlemler alınması gerekmiştir. Ağaç oluşum kodları ile ilgili problemli noktalara işaret eden NZemberek geliştiricisi Tankut Tekeli'ye de buradan teşekkür etmek isterim.

Bu yazıda kısaca kök sözlüğü ve kök ağacının yapısı ve oluşturulmasından bahsettim, daha sonraki yazılarda köklerin nasıl seçildiği, çözümleme işlemi gibi adımların iç yapıları hakkında biraz bilgi vermeye çalışacağım.

Daha fazla bilgi için genel olarak Zemberek ve işleyişi ile ilgili 8 sayfalık bir makaleyi okuyabilirsiniz.

Dbus performansı

2007-01-13T23:28:00.000+02:00

Bir önceki yazıda zemberek server'in Dbus üzerinden çalıştığı zaman performansının çok kötü olduğunu belirtmiştim. Serkan'ın yaptığı son güncelleme ile yeni Dbus kütüphanesini kullanmaya başladık ve performans ciddi şekilde arttı. Yaptığım küçük testte artık DBus arayüzü soket arayüzü ile hemen hemen aynı performansı gösteriyor. Pardus ve Zemberek server için DBus'a yeşil ışık yandı demektir. Evdeki makinemdeki sonuçlara göre, iki arayüzün saniyede işledikleri mesaj sayısı şöyle:

DBus : 2600 - 2800 mesaj/saniye
Soket: 3000 - 3300 mesaj/saniye

Zemberek server TCP-IP ve Dbus performansları

2006-12-29T16:07:00.000+02:00

Pardus'ta ön tanımlı olarak gelen ve işletim sistemi çapında yazım denetimi servisi sunan Zemberek server ile ilgili olarak Serkan'ın yaptığı Dbus arayüzü çalışmasından sonra ben de eski netty kütüphanesinden Mina 1.1 e geçip kodu iyice temizledim, aceleyle yazılmış gereksiz bir sürü döküntü vardı, iyi oldu yani. Test ederken acaba dbus arayüzü ile TCP-IP soketleri üzerinden çalışan eski arayüzün performansları ne kadar farklı diye küçük bir deneme yaptım. kelimelerin doğrudan denetlenmesi ile soket üzerinden veya dbus gibi bir protokolle gönderilerek denetlenmesi arasında çok performans farkı olacağını biliyordum faka sonuçlar yine de şaşırtıcı geldi. Sadece denetleme işlemi için yaptığım denemeye göre denetleme performansı:

Zemberek kütüphanesi : 70-80 bin kelime/saniye
Zemberek server TCP-IP : 2700 kelime/s
Zemberek server Dbus : 410 kelime/s

Bu rakamlara göre küçük metinlerde dbus arayüzü kullanılabilir gibi görünürken bir kaç bin kelimelik metinlerde performansın bir sorun haline gelmesine neden olabileceğini gösteriyor. DBus arayüzünün yavaşlığın tam nedenini bilemiyorum, aradaki JNI geçişinde bir sorun olabilir veya atladığım başka bir şey var. Pardus için şimdilik soket arayüzünün kullanımı herhalde daha uygun olacakmış gibi görünüyor. Rakamları vaktim olunca daha detaylı olarak vermeye çalışacağım.

Zemberek server DBus arayüzü ve enchant

2006-12-23T18:03:00.000+02:00

Zemberek server DBus arayüzünü svn den indirip derleme enchant ile kullanma üzerine bir belge
http://ebuild.linux-sevenler.org/zemberek-dbus.pdf

NZemberek Sürüm 0.1

2006-12-17T22:00:00.000+02:00

17 Kasım 2006'da Mehmet'e gönderdiğim bir e-posta ile başlayan çalışmamızın ilk ürününü bugün ortaya çıkardık. Zemberek projesinin .Net portu olan NZemberek'in 0.1 sürümü bugün itibariyle yayınlandı. 17 Kasım'dan sonra kodların .Net (C#) karşılıklarını oluşturduk. Bu iş, bazı araçları ya da otomatikleştirilmiş komutları kullanarak ne kadar hızla yapılsa da birçok zorlukla karşılaşılabiliyor. Zemberek ekibinin de desteğiyle şu anda Zemberek2 projesinin işlevlerini neredeyse tamamıyla yerine getiren bir sürüm mevcut. Mehmet ve Ahmet'e çok teşekkür ediyoruz. Onlar, tek amacımızın bu projeyi .Net platformuna taşımak olmadığını, bilgi ve deneyimimiz ölçüsünde her iki kanatta da elden gelen katkıyı yapmak istediğimizi biliyorlar.
NZemberek için bundan sonraki hedefimiz bir Office Add-in'i sayesinde Office Proofing Tools dışında da sözcük denetimini yapabilmek. Gelişmeleri yine Zemberek ekibinin bizimle paylaştığı bu blogdan sizlerle paylaşmaya devam edeceğiz.

Proje sayfası: http://code.google.com/p/nzemberek/

Java6 performans -2

2006-12-17T05:34:00.000+02:00

Mehmet'in testleri uzerine ben de merak edip benzer testler gerceklestirdim. Buna gore 72747 kelimelik bir roman uzerinde denetleme, cozumleme ve heceleme testlerini 3 kere ardi ardina yapip islem hizlarini kaydettim. sonuclar kelime-islem/saniye cinsindendir. Buna gore:

Islem	Java-5 (u7)	Java-6	Fark
denetleme (cepli)	81380 99768 99845	101762 119248 121063	%22
denetleme (cepsiz)	57559 63789 64134	68256 75772 76727	%19
cozumleme	11306 11550 11530	12668 12760 12926	%11
heceleme	401815 489596 463607	529517 681665 687487	%40

Notlar:
- Java 5 update 8 ile birlikte bazi performans iyilestirmeleri Java 5 uzerinde yapilmisti, eger o surumu kullansam sonuclar biraz daha farkli olabilirdi.
- Java 6 normal modda Hotspot iyilestirmesi yapiyor, yani ayni islemi cok miktarda tekrar ettikce kodu hizlandiriyor. Bu ozellik onceden sadece -server modunda gecerli idi.
- Bu testler tam olarak "mikro benchmark" olmasa da her zaman sonuclari biraz suphe ile degerlerlendirmekte yarar var.

Test ortami: Athlon 64 3000+ islemci, 512MB bellek (diger 512 MB sizlere omur..) Windows XP SP2. IDE: IntelliJ IDEA 6

Java 6

2006-12-16T00:29:00.000+02:00

Java 6'nın çıkışının ardından hemen küçük bir deneme yaptım.
Yaklaşık 700 bin kelimeden oluşan kitaplar için yapılan Denetleme ve Çözümleme işlemlerinin Java 5 ve Java 6 için harcadıkları süre şöyle:


               Java 5        Java6
            ------------------------
Denetleme 1    10.7s          8.7s
Denetleme 2    10.5s          8.8s

Çözümleme 1    45.1s          40.1s 
Çözümleme 2    45.5s          42.5s

Görüldüğü gibi Herhangi bir müdahale olmadan sadece Java 5'ten Java 6 ya geçiş %10-15 daha iyi performans kazanmamızı sağlıyor. Kazanç, denetleme işleminde daha belirgin.

Test Ortamı: Athlon 64 2200mhz, 1GB RAM ve tabi ki Pardus 2007 RC :)

Coklu kelime islemeye giris

2006-12-15T06:05:00.000+02:00

Zemberek icinde cok kelimeli ifadelerin islenmesi konusunda yavastan calismaya basladim. Bu konu bizim icin cok onemli, ozellikle belirsizlik giderimi, ve diger ileri dil isleme konularina girebilmemiz icin atilabilecek en onemli adimlardan birisi. Temelde yapmaya planladigimiz sey bir dizi kelimeden (cumle diyelim) cok kelimeli ifadelerin tespiti ya da bu yapilarin uretimi. tam Cumle analizinden bir onceki asamada bu zaten sart gorunuyor. Cok kelimeli ifadelerin cok genis bir yelpazesi var, asagidaki orneklerdeki gibi:

Buna ragmen
hanim hanimcik
ipe sapa gelmez
uzum uzume baka baka kararir
olur mu olur
kosa kosa, kosmaya kosmaya,
yapsam mi yapmasam mi
olup olmayacagini
Dunya Saglik Orgutu, Chuck Norris

Bu konuda cala kalem bir dokuman yazmaya basladim, ilgilenen inceleyebilir. Bu konuda kodlamaya girismeden sonradan cikabilecek puruzleri en aza indirmeye calismak iyi olacak gibi..

F ve Q Problemli ikililer

2006-12-06T00:20:00.000+02:00

Basitten başlamak için İlk testi on parmak yazarken en çok zaman kaybettiren tek parmakla arka arkaya basılması gereken ikili tuş kombinasyonlarının Türkçedeki toplam oranını hesaplamak için yaptım.

Örneğin Q klavyede Türkçe'de en çok kullanılan hecelerden olan 'de' yi yazarken orta parmağın mecburen önce d ye sonra e ye arka arkaya basması gerekiyor, ama 'la' olsaydı sağ yüzük ve sol serçe parmakların seri şekilde ardarda basması ile daha yüksek bir hız elde edilecekti. Dolayısıyla parmakların sorumlu olduğu tuşların ikili kombinasyonları Eğer Türkçe'de çok kullanılıyorsa o yerleşim Türkçe bir metni yazarken daha zorlanacaktır. Daha sonra bu ikililerin uzak veya yakın olmaları, örneğin tuşlar ayrık olduğundan 'ce' nin yazılımı 'de' den daha zordur gibi kuralları da ekleyerek bu test hassaslaştırılabilir.

ilk sonuçlar ve problemli kombinasyonlar şöyle:
5.5 milyon kelimede kullanılan ikili sayısı: 783 (zaten maksimum alfabedeki harf sayısının karesi olabilir)
Bu ikililerin sayısı : 21885913

Q klavye, problemli kombinasyonlar ve kullanım oranları (sadece binde yarım'a kadar olanlar):


de 262138 % 1,19775
ol 180592 % 0,82515
ed 138389 % 0,63232
un 131612 % 0,60135
kı 86487 % 0,39517
iş 84469 % 0,38595
nu 79645 % 0,36391
ği 76787 % 0,35085
ce 69903 % 0,31940
ık 61939 % 0,28301
uy 61611 % 0,28151
za 57819 % 0,26418
ec 57256 % 0,26161
iğ 57126 % 0,26102
mu 51323 % 0,23450
az 50166 % 0,22922
nm 47770 % 0,21827
rt 47284 % 0,21605
şi 42356 % 0,19353
ço 41503 % 0,18963
üş 38281 % 0,17491
um 36500 % 0,16677
yu 26899 % 0,12291
şü 23064 % 0,10538
çl 18534 % 0,08468
vr 16613 % 0,07591
kö 15911 % 0,07270
yn 14333 % 0,06549
tr 12849 % 0,05871
rg 12463 % 0,05695
üğ 11274 % 0,05151
...

F klavyedeki problemli ikililer ve kullanım oranları:


rd 208208 % 0,95133
kt 92062 % 0,42065
gö 86262 % 0,39414
gi 81392 % 0,37189
eğ 69136 % 0,31589
ca 67735 % 0,30949
st 65667 % 0,30004
ve 61703 % 0,28193
ev 60602 % 0,27690
rk 53743 % 0,24556
ac 53471 % 0,24432
nm 47770 % 0,21827
rt 47284 % 0,21605
çı 44809 % 0,20474
ça 43591 % 0,19917
ço 41503 % 0,18963
rs 38716 % 0,17690
aç 29989 % 0,13702
ks 23757 % 0,10855
zd 20959 % 0,09576
çü 16729 % 0,07644
ğe 16186 % 0,07396
oc 16081 % 0,07348
cı 15710 % 0,07178
üç 14374 % 0,06568
kr 13271 % 0,06064
üc 13223 % 0,06042

Toplamda ise Q klavyedeki sorunlu ikililerin türkçedeki kullanım oranı : %9.3 F klavyeninki ise %6,6 çıktı.

Buradan çıkan ham sonuçlara göre F klavye Q'ya göre yaklaşık %25 daha az problemli karakter çifti kullanımına yol açıyor. Tabi F klavyede de 'rd' , 'kt', 'gö', 'gi', 'eğ' gibi sorunlu ikililer olması ve belki farklı bir yerleşimle bu oranın daha da iyileştirilebileceği düşüncesine yol açıyor.

Bu ölçüm işi umduğumdan çok zaman aldı :) daha kapsamlı sonuçlar biraz gecikecek.

F ve Q nun savaşı

2006-12-04T22:49:00.000+02:00

Zemberek'le uğraşırken aklıma eğlenceli bir çalışma geldi. Türkiye'de gündemden hiç düşmeyen F ve Q klavye tartışması ile ilgili olarak yazılan onca şeyden sonra az da olsa ölçüme dayalı bir sonuç çıkarmak.

Bu yazıda ezeli rakipleri ve maçın kurallarını kısaca açıklayacağım, bir sonraki yazıda da ilk sonuçları açıklayacağım. Bu sırada günlüğü izleyen arkadaşlardan yöntemle ilgili eleştirileri varsa belirtmelerini rica edeceğim, ona göre ölçümleri tekrarlayacağım.

"QWERTY" olarak ta bilinen Q klavye Christopher Sholes tarafından geliştirilmiş, patentlenmiş ve Remington firmasına satılmış. Wikipedia'ya göreQ klavye ile ilgili olarak söylenen yazım hızını özellikle düşürmek için tasarlandığı hikayesi doğru. Q klavye ile ilgili detaylı bilgi için wikipedia'daki oldukça detaylı yazıyı okumanızı tavsiye ederim. Türkçe Q klavye ise standart Q klavyenin sağ tarafına Türkçe harflerin yerleştirilmesinden oluşmuş. Q klavye yerleşimi ve Türkçe'de en çok kullanılan harflerin Q klavye üzerindeki dağılımı şu şekilde:

F klavye ise 1950 li yıllarda geliştirilmiş ve 1955'te “Türk Standardları Enstitüsü” tarafından resmen kabul edilmiş ve sadece mekanik, elektrikli ve elektronik daktilolar için değil, bilgisayarlar için de “TS 2117 – UDK 681.6.065” kodu ve “İki Elle Kullanılan Alfa nümerik Klâvyelerin Temel Düzeni” başlığı ile tescil edilmiş. Q'nun tam tersine F klavyede X,Q ve W harfleri klavyenin sağ tarafına itilmiş durumda ve Türkçede en çok kullanılan harfler on parmak yazarken parmakların doğal yerleşim noktalarına yerleştirilmiş.

İki klavye yerleşiminde Türkçe'de en çok kullanılan harflerin yerleşimi gerçekten de F klavyenin lehinde gibi görünüyor.

Benim kendimce cevaplamaya çalışacağım sorularsa,
- Gerçekten de sadece en çok kullanılan harfleri parmakların doğal duruş koordinatlarına uygun - yakın yerleştirmek bir yerleşimi diğerinden iyi yapar mı?
- Türkçe için en iyi klavye yerleşimi F mi? F gerçekten de Q dan iyi mi? Daha iyisi yapılabilir mi?

Yöntem:
On parmak yazı yazarken her parmağın sorumlu olduğu tuşlar vardır, örneğin sol serçe parmak Q klavyede "1,2,q,a ve z" den F de ise "1,2,f,u ve j" den sorumlu oluyor. Önerdiğim ölçme yöntemi de buna dayanıyor ve oldukça basit: Bir metni yazan on parmak bilen kişiyi ve parmaklarını simüle etmek, tüm parmakları, sorumlu oldukları tuşları, hangi elde olduklarını, tanımlamak, tuşlara basarken gerekli kuralları işleterek yazıyı yazarken geçen süreyi hesaplamak, olabildiğince çok Türkçe metni bu sanal parmaklarla yazdırıp toplam süreyi bulmaya çalışmak. Test ayrıca Türkçede en çok kullanılan ikili ve üçlü harf grupları ile tekrarlanacak. Aşağıda bütün bunları yaparken uyulacak kuralları sıralamaya çalıştım:

Varsayımlar:

Büyük harf olmadığı varsayılacaktır.
Noktalama işaretleri hesaba katılmayacaktır.
10 Parmak yazım metodu dikkate alınacaktır.
Simülasyonlarda parmak hareketleri dikkate alınacaktır.
Parmakların o anda bulundukları yerin hemen altlarında bulunan harflere minimum zaman değeri verilecektir.
Sağ el parmaklarına daha düşük zaman değeri verilecektir (yazarın Sağlak olduğu varsayımı ile)
İşaret parmakları için daha az zaman değeri verilecektir.
Serçe parmağı için yüksek zaman değeri verilecektir.
Baş parmaklar hep sabit değerler alacaktır (sadece boşluk)
Parmakların sorumlu oldukları tuşlara erişim süreleri hesaplanırken çaprazlarında ve aşağıda kalan tuşlar için daha yüksek zaman değerleri verilecektir.
Arka arkaya yazılan harfler aynı parmak tarafından yapılıyorsa zaman değerleri doğrudan toplanacaktır veya ceza olarak süre arttırılacaktır
Arka arkaya yazılan harfler aynı elin farklı parmaklarıyla veya farklı ellerin parmakları ile yapılıyorsa harcanacak toplam süre düşürülecektir.
Parmaklar belli bir süre işlev yapmamışsa otomatik olarak doğal konumlarına geri geliyor vasayılacaktır.

Şu anda hesaba katılmayan durumlar:

Akıl :) normalde kelime yazılırken parmaklar otomatik olarak ilerde (2-3 karakter) yazılacak olan tuşa doğru yönelecekti ve parmak hareket cezası azalacaktır

Bir sonraki yazıda ilk sonuçları vereceğim, bu sırada kurallara eklemek veya çıkarmak istediğiniz bir şeyler varsa lütfen bildirmekten çekinmeyin. Bir de bu çalışmanın eğlence amaçlı olduğunu tekrar hatırlatayım :)

Firefox2 ve Zemberek

2006-12-03T14:57:00.000+02:00

Firefox 2 web tarayıcısı tüm giriş kutularında herhangi bir eklenti olmadan yazım denetimi desteği sunuyor. ancak myspell tabanlı olduğu için Türkçe yazım denetimi desteği yoktu. Bugün Linux Gezegeninde gördüğüm ekran görüntüsüne göre Pardus kullanıcıları Firefox 2 kullanırken Türkçe yazım denetimi desteğine sahip olacaklar. Çalışmaları ve ortaya çıkan güzel ürün için Faik Uygur'a teşekürü borç biliriz.

Jubler uygulamasi Zemberek kullaniyor

2006-12-01T15:52:00.000+02:00

Alt yazi isleme uygulamasi Jubler'in son surumu (3.0) Turkce icin Zemberek destegi vermis. Bunu saglayan Serkan arkadasimiza katkisindan dolayi tesekkur ediyoruz. Ayni arkadasimiz ayrica Gentoo icin Zemberek sunucusunun paketlenmesi isini de gerceklestirmisti.

Kelime istatistikleri

2006-11-29T21:44:00.000+02:00

Biraz da kelime istatistiklerine göz atalım. Sonuçlar Yine aynı 5 milyon kelimelik test kümesi üzerinden alındı.
Önce genel istatistikler:

Toplam kelime sayısı: 5160619
Toplam isim sayısı: 2785055 Oran: %53,967 Ortalama Boy : 6,184
Toplam sıfat sayısı: 269701 Oran: %5,226
Toplam fiil sayısı: 1414014 Oran: %27,400 Ortalama Boy : 7,645
Toplam Sayi sayısı: 232832 Oran: %4,512
Toplam kok sayısı: 14531
Toplam isim kök sayısı: 11755 Oran: %80,896
Toplam sıfat kök sayısı: 570 Oran: %3,923
Toplam fiil kök sayısı: 2068 Oran: %14,232

Görüldüğü gibi 5 milyon Türkçe kelime için 14531 kök kullanılmış, Bu rakam kullanılan metinlerin çeşitliliği ve miktarı arttıkça daha da büyüyecektir, ancak Zemberek'in yaklaşık 22.000 kök, 6000 isim ve bir kaç bin özel isim köklerini tanıdığını hatırlatmakta fayda var.
Dikkati çeken bir başka nokta da isimlerin uzunluğunun yaklaşık 6.1, fiillerin ise 7.6 olması. Eklemeli dillerde özellikle fiillerin eklerle büyüdüğü düşünülünce bu normal bir durum.

Peki kök kelimelere kaç ek ulanıyor? işte oranlar:


0 adet ek'e sahip kelime sayısı: 2263846 Oran: %43,868
1 adet ek'e sahip kelime sayısı: 1441162 Oran: %27,926
2 adet ek'e sahip kelime sayısı: 1014500 Oran: %19,658
3 adet ek'e sahip kelime sayısı: 353383 Oran: %6,848
4 adet ek'e sahip kelime sayısı: 62974 Oran: %1,220
5 adet ek'e sahip kelime sayısı: 8965 Oran: %0,174
6 adet ek'e sahip kelime sayısı: 1137 Oran: %0,022
7 adet ek'e sahip kelime sayısı: 115 Oran: %0,002
8 adet ek'e sahip kelime sayısı: 6 Oran: %0,000
9 adet ek'e sahip kelime sayısı: 0 Oran: %0,000

En çok kullanılan ilk 20 kelime:


1.  [ bir ]  Oran: % 3,348 Kapsama: % 3,348
2.  [ ve ]   Oran: % 2,319 Kapsama: % 5,667
3.  [ bu ]   Oran: % 1,353 Kapsama: % 7,019
4.  [ de ]   Oran: % 0,794 Kapsama: % 7,813
5.  [ da ]   Oran: % 0,757 Kapsama: % 8,570
6.  [ için ] Oran: % 0,670 Kapsama: % 9,240
7.  [ daha ] Oran: % 0,524 Kapsama: % 9,764
8.  [ ama ]  Oran: % 0,520 Kapsama: % 10,284
9.  [ o ]    Oran: % 0,515 Kapsama: % 10,799
10. [ gibi ] Oran: % 0,496 Kapsama: % 11,295
11. [ dedi ] Oran: % 0,480 Kapsama: % 11,774
12. [ çok ]  Oran: % 0,474 Kapsama: % 12,248
13. [ ne ]   Oran: % 0,457 Kapsama: % 12,705
14. [ sonra ]Oran: % 0,440 Kapsama: % 13,145
15. [ kadar ]Oran: % 0,399 Kapsama: % 13,544
16. [ diye ] Oran: % 0,391 Kapsama: % 13,935
17. [ her ]  Oran: % 0,353 Kapsama: % 14,288
18. [ olan ] Oran: % 0,318 Kapsama: % 14,606
19. [ ki ]   Oran: % 0,265 Kapsama: % 14,871
20. [ olarak ]  Oran: % 0,259 Kapsama: % 15,130

En çok kullanılan ilk 20 kök ve türemiş hallerinin ortalama uzunluğu. Aslında Zemberek bu köklere eklenen eklerin de istatistiğini çıkarıyor ama şimdilik ortalığı fazla karıştırmayalım.


1. [ bir ]   Oran : %3,403 Ortalama kelime uzunluğu : 3,044
2. [ ol ]    Oran : %2,438 Ortalama kelime uzunluğu : 6,487
3. [ ve ]    Oran : %2,319 Ortalama kelime uzunluğu : 2,000
4. [ bu ]    Oran : %1,823 Ortalama kelime uzunluğu : 2,899
5. [ de ]    Oran : %1,576 Ortalama kelime uzunluğu : 3,513
6. [ et ]    Oran : %0,891 Ortalama kelime uzunluğu : 6,951
7. [ için ]  Oran : %0,764 Ortalama kelime uzunluğu : 4,242
8. [ da ]    Oran : %0,757 Ortalama kelime uzunluğu : 2,001
9. [ ben ]   Oran : %0,658 Ortalama kelime uzunluğu : 4,019
10. [ o ]    Oran : %0,587 Ortalama kelime uzunluğu : 1,166
11. [ kendi ] Oran : %0,575 Ortalama kelime uzunluğu : 7,398
12. [ yap ]  Oran : %0,536 Ortalama kelime uzunluğu : 8,268
13. [ gibi ] Oran : %0,536 Ortalama kelime uzunluğu : 4,242
14. [ daha ] Oran : %0,528 Ortalama kelime uzunluğu : 4,013
15. [ gel ]  Oran : %0,523 Ortalama kelime uzunluğu : 6,969
16. [ ama ]  Oran : %0,521 Ortalama kelime uzunluğu : 3,001
17. [ ne ]   Oran : %0,504 Ortalama kelime uzunluğu : 2,293
18. [ çok ]  Oran : %0,491 Ortalama kelime uzunluğu : 3,117
19. [ şey ]  Oran : %0,481 Ortalama kelime uzunluğu : 4,154
20. [ sonra] Oran : %0,478 Ortalama kelime uzunluğu : 5,217

En çok kullanılan kelime ikililerinin ilk yirmisi:

1. bir-şey (6921)
2. ya-da (5599)
3. bir-şekilde (3578)
4. büyük-bir (3451)
5. başka-bir (3205)
6. ne-kadar (2885)
7. diye-sordu (2828)
8. ve-bu (2598)
9. o-kadar (2367)
10. böyle-bir (2265)
11. belki-de (2238)
12. ben-de (2134)
13. o-zaman (2019)
14. bir-süre (2009)
15. ve-bir (1913)
16. bu-kadar (1900)
17. bir-an (1886)
18. değil-mi (1861)
19. hem-de (1833)
20. hiçbir-şey (1790)
21. her-zaman (1772)
22. o-da (1757)
23. ama-bu (1667)
24. gibi-bir (1659)
25. daha-da (1603)

NZemberek

2006-11-29T16:03:00.000+02:00

Mert Derman (spinodal) ve Tankut Tekeli (bioLogic) adli arkadaslar Zemberek projesinin C# hali uzerinde calismaya baslamis. Ilgilenenler NZemberek adli projeyi takip edebilir. Henuz kod tamamlanmamis olsa da hizla ilerlediklerini soyleyebilirim (C# dil olarak Java'ya ne kadar benzer tahmin edersiniz.). Sagolsun arkadaslar kod tasima islemi sirasinda bir de Zemberek hatasini duzeltmis. Gonul isterdi ki Zemberege'de katilim Java yonunden olsun ama ne yapalim. .Net uzerinde dogrudan calisacak bir haline ihtiyac varsa neden olmasin. Muhtemelen tasima kutuphanelerinin genel bas agrisi olan senkronizasyon sorunu Zemberek farkli alanlara dogru kaymaya basladiginda yasanacaktir. Umarim ustesinden gelmeyi basarirlar.

Yolun basi

2006-11-29T06:10:00.000+02:00

Az once Turkce NLP konusundaki yazilmis bazi makalelere goz gezdirdim ( Ornegin Kemal Oflazer'in yayinlari'nin bir kismi ). NLP konusunda ozellikle 2000 sonrasinda Turkiye'de gercekten cok miktarda calisma yapilmis. Bunlardan asil ilgimi ceken ise TOY adindaki calisma. Bu calismayi kismen okuyunca Zemberegin aslinda acik kod konusunda ilk ve tek oldugu konusunda yanildigimizi dusunmeye basladim. Cunku Bogazici Univeritesinde yapilan calismalarin cogu temel morfolojik analiz icin Ozlem Cetinoglu'nun 2001 yilindaki "A Prolog Based Natural Language Processing Infrastructure for Turkish" calismasinda uretilen Prolog tabanli bir yapisal cozumleyici ve ayni calismadaki cesitli yardimci araclari kullaniyor. Anladigim kadari ile acik kodlu bir calisma imis ancak bir turlu kodu bulamadim. Bu calisma sadece yapisal cozumleme degil cumle cozumlemesi ve insan-makine iletisimi mekanizmasini da iceriyor. Yapisal cozumleyici bolumunu kismen okudum, zemberek ile benzerlikleri var. Ornegin kok bulmaya dayali soldan-saga cozumleme yontemini kullaniyorlar, yalniz ek cozumlemesi icin Oflazerin sonlu durum makinesinin benzeri ama daha gelismis bir mekanizma kullaniyorlar. Yalniz lexicon giris yapilarini biraz karmasik buldum. Ornein bir koku ifade etmek icin su sekilde bir girdi yapilmis:

tr_morph_entry('FiilKök',[[u,y,u],[type(verb),sem(D^Loc^A
gent^sleep_uyu(EvNo,Agent,Loc,[B,E,D,U],Tense,AuxTense,ST2))]
],_,_,_,u,u,ok).

Elbetteki burada sade kok bilgisinden baska verilerde var ama buyuk bir kumenin olusturulmasi iyi bir arayuz olmadan bu sekilde zor olurdu saniyorum.

"A Natural Language Processing Infrastructure for Turkish" adli makalede bu yapinin nasil gelistigi ve bunun uzerine nasil uygulamalarin gelistirildigi anlatiliyor. Ornegin TOYAgent calismasi ile sisteme Prolog bilgisi olmadan girdi yapilmasi saglanmis, Turkceden SQL ve Java kod uretimi gibi pek cok calismalari yapilmis. Henuz kodu bulamasam da "acik kod" sozu gectiginden bir yerlerde olmasi gerktigini saniyorum. Umuyorum ki lisansi herkesin ve her tur uygulamaya uygun bir seydir ki -belki- biz de faydalanabiliriz.

Sonucta onceden bildigim ve su an iyice anladigim su ki, Zemeberek ile daha yolun en basindayiz, ve hedefimiz cok daha oteleri olmali. Ayni hedefte olan ama cok daha otedeki TOY calismasinin da otesine de gecebilmeliyiz. Bu nedenle yeni calismalarin ilk ayagi olarak cok kelimeli kavramlarin sisteme eklenmesi konusunda ilk ciddi calismalara baslamak istiyorum. Bu konuda Oflazer, Cetinoglu ve Say'in in "Integrating Morphology with Multi-word Expression Processing in Turkish" calismasini okudum,bana yeni fikirler verdi, uzerinde zaten uzunca suredir dusunuyordum cok iyi bir referans oldu. Umuyorum o calismayi da goz onune alarak bir baslangic yapabiliriz.

Heceler..

2006-11-28T13:02:00.000+02:00

Hece istatistiklerine bakınca farkettim, "Bir kama ya da bir lale dedi" cümlesiyle Türkçedeki tüm hece kullanımlarının yaklaşık %15 'ini kapsamış oluyorsunuz.
Bir de yorumları anonim kullanıcılara da açtım.

İstatistikler

2006-11-27T23:33:00.000+02:00

Ahmet, Bir önceki yazısında hecelerden bahsetmiş ve istatistikleri ile ilgili bir şeyler yazabileceğimi söylemişti, ben de önceden 5 milyon kelimelik bir yığın kitap ve doküman üzerinde zemberek ile yapmış olduğum analizin sonuçlarından enteresan bir şeyleri buraya yazayım. Saat tutmadım ama tüm dokümanların işlenip istatistiklerinin çıkarılması zannediyorum 10 dakika kadar sürdü. Hecelerden başka pek çok şeyin istatistik bilgisi hesaplanıyor ama konumuz hece olduğu için sadece o konudakilerden bahsedeceğim. Kullanılan metinler genelde roman ağırlıklı.

İlk 50 hece, oranları ve bu hecelerin tüm metnin yüzde kaçını kapladığı bilgisi. Buradaki İlginç nokta, Türkçedeki en çok kullanılan ilk 50 hecenin tüm hecelerin yaklaşık %50 sini kapsaması.


0. la [350564] %2,534 Toplam: %2,534
1. le [309620] %2,238 Toplam: %4,772
2. de [288659] %2,087 Toplam: %6,859
3. di [233585] %1,688 Toplam: %8,547
4. da [230216] %1,664 Toplam: %10,211
5. ya [211464] %1,529 Toplam: %11,740
6. bir [203331] %1,470 Toplam: %13,210
7. ma [200948] %1,453 Toplam: %14,662
8. a [193558] %1,399 Toplam: %16,062
9. ka [180994] %1,308 Toplam: %17,370
10. o [171394] %1,239 Toplam: %18,609
11. i [163024] %1,178 Toplam: %19,787
12. ra [160277] %1,159 Toplam: %20,946
13. ri [159065] %1,150 Toplam: %22,096
14. ne [154220] %1,115 Toplam: %23,211
15. ve [154006] %1,113 Toplam: %24,324
16. du [136266] %0,985 Toplam: %25,309
17. na [128896] %0,932 Toplam: %26,241
18. dı [128194] %0,927 Toplam: %27,167
19. bi [126996] %0,918 Toplam: %28,085
20. rı [124232] %0,898 Toplam: %28,983
21. me [123721] %0,894 Toplam: %29,878
22. bu [121706] %0,880 Toplam: %30,757
23. ni [119735] %0,866 Toplam: %31,623
24. ye [117984] %0,853 Toplam: %32,476
25. ki [116153] %0,840 Toplam: %33,315
26. li [114727] %0,829 Toplam: %34,145
27. yor [111021] %0,803 Toplam: %34,947
28. nı [105024] %0,759 Toplam: %35,706
29. ta [104862] %0,758 Toplam: %36,464
30. si [104400] %0,755 Toplam: %37,219
31. lar [102580] %0,742 Toplam: %37,961
32. sa [101628] %0,735 Toplam: %38,695
33. re [101579] %0,734 Toplam: %39,429
34. ti [100476] %0,726 Toplam: %40,156
35. ha [94019] %0,680 Toplam: %40,835
36. ge [92298] %0,667 Toplam: %41,503
37. sı [90844] %0,657 Toplam: %42,159
38. ba [90729] %0,656 Toplam: %42,815
39. tı [88498] %0,640 Toplam: %43,455
40. te [85577] %0,619 Toplam: %44,073
41. e [84259] %0,609 Toplam: %44,682
42. ce [84198] %0,609 Toplam: %45,291
43. lı [82636] %0,597 Toplam: %45,888
44. ler [81439] %0,589 Toplam: %46,477
45. den [75776] %0,548 Toplam: %47,025
46. dan [71416] %0,516 Toplam: %47,541
47. nu [69442] %0,502 Toplam: %48,043
48. ol [69318] %0,501 Toplam: %48,544
49. se [66924] %0,484 Toplam: %49,028
50. ğı [64872] %0,469 Toplam: %49,497

Peki toplam kaç tür hece var? Ahmet'in son değişiklikleri bu istatistiklere yansımamıştı, ama rakamlar çok değişmeyecektir. 5 milyon kelimede toplam 2629 çeşit hece kullanılmış.

Son 15-20 hece de aşağıda, hepsi de birer kez kullanılmış.


2604. hınk
2605. tov
2606. feş
2607. dink
2608. föl
2609. bad
2610. söl
2611. volt
2612. sent
2613. most
2614. uk
2615. büv
2616. mirt
2617. zöl
2618. kunt
2619. çoz
2620. şüf
2621. ask
2622. cul
2623. ğılt
2624. şeş
2625. ging
2626. pum
2627. nant
2628. uş

Hece ikilileri de birbirini seven heceleri anlamamızı sağlıyor. En çok kullanılan hece ikilileri:


1. la-rı (83637)
2. le-ri (80086)
3. yor-du (48868)
4. i-çin (47840)
5. la-rın (35239)
6. o-la (29695)
7. da-ha (28857)
8. ken-di (28777)
9. a-ma (28459)
10. ol-du (28360)
11. du-ğu (27988)
12. le-rin (27699)
13. de-di (27698)
14. gi-bi (26124)
15. son-ra (24660)
16. di-ye (24467)
17. ma-sı (23738)
18. ma-ya (23494)
19. ri-ni (21702)
20. a-ra (21637)
21. di-ği (20969)
22. ka-dar (20887)
23. ri-ne (19632)
24. dı-ğı (19525)
25. ol-ma (19234)
26. rı-nı (18957)
27. la-dı (18792)
28. bi-le (18653)
29. o-lan (18142)
30. i-le (17812)
31. da-ki (17732)
32. me-si (17462)
33. za-man (16875)
34. me-ye (16708)
35. sın-da (16088)
36. ğı-nı (16027)
37. la-rak (15468)
38. de-ğil (15464)
39. yo-rum (15442)
40. ği-ni (15418)

Peki hece olup olmadığına bakmaksızın ikili harf gruplarının oranı nedir? Buradaki enteresan nokta ise 5 milyon kelimede sadece 783 adet ikili harf grubunun olması. İlk yirmisi ve son beşi aşağıdaki gibi:


1. [ la ]
2. [ ar ]
3. [ er ]
4. [ le ]
5. [ bi ]
6. [ in ]
7. [ nd ]
8. [ an ]
9. [ ka ]
10. [ de ]
11. [ ın ]
12. [ ma ]
13. [ ya ]
14. [ il ]
15. [ al ]
16. [ da ]
17. [ ra ]
18. [ rd ]
19. [ en ]
20. [ di ]
...
...
779. [ zt ]
780. [ çâ ]
781. [ îp ]
782. [ dh ]
783. [ ıo ]

Şimdilik bu kadar. Bir sonraki mesajda kelime istatistikleri ile ilgili ilginç noktalardan bahsedeceğim.

Heceleme konusunda

2006-11-24T21:51:00.000+02:00

Gecenlerde Zemberek oncesi donemlerde epeyce mesajlastigimiz bir arkadasin (Muzmin Anonim) heceleme konusundaki bir yazisini okudum. Ilginc bir yazi, uzunca da bir yorum yazdim orada. bi konudaki goruslerim su sekilde:

Bazi kelimelerin Turkce icin nasil hecelenecegi halen acikliga kavusmus degil. "tren, stetoskop, strateji" gibi. Konusma aninda ister istemez "tren" kelimesini duraklama ile cikariyoruz "t(ı)-ren" seklinde. bu nedenle uygulama acisindan belki bu kelimelerin ozel sekilde tı'-ren seklinde farkli bir ı harfi turetip hecelenmesine olumsuz bakmiyorum. Zemberek su anda kismen bu tur heceleme islemini yapiyor.

Heceleme ne ise yarar? Yazida da bahsi gectigi gibi pratikte hecelemenin cesitli kullanim amaclari olabilir. Oncelikle herkesin bildigi kelimelerin satir sonunda bolunmesi. Artik cok kullanilmasa da bu ozellik tum kelime islemci uygulamalarinda mevcut. Onemli bir kullanim yeri ses-yazi, yazi-ses donusumunde kullanilabilir . Tabi en iyisi bu calisma icin vurgu bilgisi ile birlikte kullanimi. Bu konudaki bir calisma sabanci universitesinde yapildi saniyorum. Suradaki sayfadan "sessel gosterim" secenegini deneyebilirsiniz. Gerci sayfa pek iyi calismiyor ve bilmiyorum neden "bmp" resim kullanilmis dugmeler icin.. Baska bir kullanimi bilgisayarla yapilan kelime denetleme islemlerinde kelimenin dentlenirligini onden test etmek icin bir performans araci olarak kullanimi. Bu konuda bastaki baglantidaki yazar ile cesitli nedenlerden hem fikir degilim.

Zemberek icerisinde bizim de basit bir heceleme mekanizmamiz var. algoritma basit, geri dogru tarama yapip sondaki olasi heceyi bulmaya calisiyor. Takildigimiz iki nokta vardi, bazi dort harfli (yazar gibi sesli=a, sessiz=z dersek) "zazz" turu heceler Turkcede ucuncu sessiz sadece belli harflerde ise ortaya cikiyor ('l', 'r', 'y', 'p', 'n' ve 's' harfleri). Ornek kelimeler: "kalp, fark, ebeveyn, kask, cenk, rapt" . Biz de sadece bu sesizler icin zazz turu olusumlari kaubl ettik. Belki bu kurali genellestirmek daha dogru olurdu ('yazk' gibi bir heceyi de kullanimi olmasada kabul etmek pekala mumkun.). zzaz turu olusumlari ise simdilik kabul etmiyoruz, fakat nedense "zza" turu hecelere izin vermisiz. Bir ara kodu inceleyip zzaz turu hecelere de izin verebiliriz.

Turkiye Turkcesi icin heceleyici kodunu suradan inceleyebilir, ayrica Zemberek demo sitesinden test edebilirsiniz. Sonraki bir yazida belki Mehmet hece ile ilgili istatistikleri yazabilir.