Sonlu Markov zincirlerinin entropileri ile bilgi kaynaklarının entropilerinin karşılaştırılması / Comparison of the entropies of finite Markov chains with entropies of information sources

Abstract

Bu tezde sonlu Markov zincirlerinin ve bilgi kaynaklarının entropileri, Ekroot ve Cover (1993) ile Ash (1965)'in tanımlarından faydalanılarak incelenmiştir. Özellikle, klasik ergodik teori ve enformasyon teorideki entropilerin ifadesi üzerine yoğunlaşarak, bu fonksiyonların bazı özellikleri incelenmekte ve bu entropiler karşılaştırılmaktadır. Sonlu durum indirgenemez Markov zincirlerinin yörüngelerinin entropisi, Ekroot ve Cover (1993) tarafından olarak formüle edilmiştir. Ash (1965), Markov kaynaklarının belli bir sınıfının belirsizliğini hesapladı ve belirsizliği için alternatif bir ifade verdi. Ayrıca Ash (1965) gösterdi ki eğer bir kaynak M. mertebeden ise bu kaynağın belirsizliği, M+1 ardışık sembollerin belirsizliği ile M ardışık sembollerin belirsizliği arasındaki fark olarak ifade edilebilir. Bu sonuç yardımıyla, yeni örnekler elde ettik. Yaptığımız uygulamalarla, Ekroot and Cover (1993) tarafından verilen tanımla ilgili bir sorunun cevabının araştırılmasını inceledik. Ekroot and Cover (1993) tarafından verilen entropi ile Ash (1965) de bir kaynağın mertebesi yardımıyla hesaplanan entropi değerini karşılaştırdık. Bir örnekle, bu entropilerin aynı olduğunu gördük. Sonuç olarak bazı ilginç sonuçlar elde ettik. Ayrıca durdurulma zamanı tanımını vererek, Ekroot ve Cover (1991) tarafından incelenen rastgele durdurulmuş dizinin entropisi ile ilgili olan tanım ve teoremleri inceledik. In this thesis, the entropies of Markov chains and information sources have been investigated by means of definitions of Ekroot and Cover (1993) and Ash (1965). In particular, focused on the notion of entropies in classical ergodic theory and information theory, some properties of these functions have been studied and these entropies have been compared. The entropy of trajectories of finite state irreducible Markov chains has been formulated as by Ekroot and Cover (1993). Ash (1965) has computed the uncertainty of a certain class of Markov sources and he has given an alternate expression for the uncertainty Also, Ash (1965) has shown that if a source is of order M, its uncertainty can be expressed as the difference of the uncertainty of M+1 successive symbols and that of M successive symbols. By means of this result, we have got new examples. By applications done by us, we have studied looking for an answer of a question regarding to the definition given by Ekroot and Cover (1993). We have compared the entropy given by Ekroot and Cover (1993) with the quantity of entropy computed via order of a source in Ash (1965). By an example, we have seen that these entropies coincide. Consequently we have obtained some interesting results. In addition, by given the stopping time, we have studied definitions and theorems regarding to the entropy of a randomly stopped sequence investigated by Ekroot and Cover (1991).