Przyczynowosc a przypadek-3

 Wzor dla entropii procesow losowych dyskretnych ma historie siegajaca czasow Ludwika Boltzmanna, jednego z Ojcow Zalozycieli dyscypliny znanej obecnie pod nazwa mechaniki statystycznej. Oryginalna formula zawierala takze mnoznik w postaci tak zwanej stalej Boltzmanna o wymiarze energia/stopien. Ten czynnik nie jest nam obecnie potrzebny gdyz samo pojecie entropii tutaj jest szersze od tego, ktorego uzywamy w termodynamice. Jak wiemy prawie wszyscy, dyskretne zmienne losowe przybieraja wartosci nalezace do przeliczalnego zbioru liczb. Na przyklad liczba oczek jakie moga sie pojawic podczas rzutu kostka do gry zawiera szesc "stanow" odpowiadajacych liczbie oczek na sciankach kostki. Podobnie przeliczalna jest liczba atomow pierwiastka promieniotworczego i wobec tego zmienna losowa reprezentujaca aktualna liczbe tych atomow jest takze zmienna dyskretna. Sytuacja sie komplikuje pod wzgledem matematycznym wtedy gdy wielkosc losowa, ktora nas interesuje moze przybierac wartosci dowolne z pewnego zbioru liczb rzeczywistych. Na przyklad polozenie czastki poruszajacej sie wzdluz osi wspolrzednych ze stala predkoscia zmienia sie w sposob ciagly. Podobnie bedzie z predkoscia atomu poruszajacego sie wewnatrz pewnego pojemnika. Tu bedziemy mieli do czynienia z az trzema wielkosciami losowymi odpowiadajacymi wspolrzednym wektora predkosci. Dla takich zmiennych losowych ciaglych wprowadzamy nowe pojecie w postaci funkcji gestosci prawdopodobienstwa . Jest to funkcja, ktora pozwala nam obliczyc prawdopodobienstwo znalezienia zmiennej losowej x w pewnym przedziale wartosci. Poslugujemy sie tu wzorem przedstawionym na planszy gdzie P(a < X < b) jest prawdopodobienstwem tego, ze wartosc zmiennej losowej X lezy w przedziale [a, b]. Funkcja F(a) zdefiniowana na planszy ma nazwe dystrybuanty zmiennej losowej X. Problem tego jak rozszerzyc wzor definiujacy entropie zmiennej losowej dyskretnej tak aby definiowal on ta sama wielkosc dla ciaglego rozkladu stanal juz przed Boltzmannem. Zaproponowal on aby w tym przypadku zdefiniowac entropie jak srednia wartosc logarytmu funkcji gestosci rozkladu. Propozycja ta podjeta pozniej ochoczo przez Josiah Willard Gibbs'a oraz tworcow teorii informacj: Claude'a Shannon'a i Warren'a Weaver'a, ma jednak pewne niedogodnosci. Wynikaja one z tego, ze funkcje gestosci rozkladu wiekszosci interesujacych wielkosci fizycznych nie sa wielkosciami bezwymiarowymi (dlatego, ze  te wielkosci, jak polozenie czy predkosc, takze maja pewnien wymiar). Pojawienie sie jednak jednostek pod znakiem logarytmu jest niedogodnoscia, ktora nie istniala w przypadku wzoru dla zmiennch losowych dyskretnych. Tam wystepowalo pod logarytmem prawdopodobienstwo stanu, ktore bylo liczba zawarta w przedziale [0, 1]. Ponadto w praktycznych obliczeniach mechaniki statystycznej pojawiaja sie czesto uogolnione funkcje gestosci roznych wielkosci fizycznych pojawiajace sie w postaci funkcji delta Diraca. Dystrybucje te sa jednak z reguly funkcjonalami i wyrazenie , w ktorym pojawia sie logarytm z dystrybucji delta nie jest dobrze zdefiniowane pod wzgledem matematycznym. Wezmy na przyklad na warsztat obliczenie entropii  tak zwanego rozkladu normalnego uzywajac propozycji Boltzmanna. Rozklad normalny dany jest wzorem przedstawionym na planszy gdzie m jest wartoscia srednia a sigma jest srednim odchyleniem kwadratowym. Jesli, idac sladem Boltzmanna, wprowadzimy ten rozklad do wzoru na boltzmannowska entropie ( patrz plansza) to zauwazymy, ze jest ona funkcja logarytmu z dyspersji rozkladu.

Jesli zmienna losowa jest wielkoscia mianowana (posiada wymiar) to ten sam wymiar posiada dyspersja. Inaczej mowiac mamy do czynienia z logarytmem jednostki miary co jest niedogodne gdyz entropia  powinna byc liczba rzeczywista i niemianowana. Ponadto zauwazmy, ze w granicy nieskonczenie malej dyspersji gestosc rozkladu normalnego dazy do dystrybucji Diraca wedlug wzoru podanego na planszy. Taka zas granica prowadzi do klopotu przy obliczaniu entropii. We wzorze pojawiaja sie bowiem dwie identyczne dystrybucje Diraca przy czym jedna z nich jest zlogarytmowana. Tych trudnosci mozemy uniknac przyjmujac moja propozycje dla definicji entropii rozkladu zmiennej losowej ciaglej. Propozycja ta jest przedstawiona na planszy dla zmiennej losowej jednowymiarowej. Nie ma jednak  trudnosci w jej  rozszerzeniu na zmienne wielowymiarowe. Jak widac na planszy proponuje umiescic pod operatorem logarytmu prawdopodobienstwo znalezienia wartosci zmiennej losowej w pewnym pasmie wokol wartosci wybranej. W pewnym stopniu to odpowiada procedurze "coarse graining"  wspominanej tu i owdzie w podrecznikach mechaniki statystycznej.  Moja propozycja  natychmiast rozwiazuje problemy, o ktorych wspomnialem wyzej ale ma tez ta niedogodnosc, ze pojawia sie nowa i nieokreslona wielkosc jaka jest szerokosc pasma. W chwili obecnej nie widze sposobu aby owa szerokosc pasma uobiektywnic. W przypadku klasycznej przestrzeni fazowej (czyli przestrzeni polozen i pedow) podobna role "pasma" spelnia stala Plancka. Przy zastosowaniu mojej propozycji entropia rozkladu staje sie funkcja stosunku szerokosci pasma do "szerokosci" rozkladu okreslonej jego dyspersja i dzieki temu znika problem wymiaru. Mozemy tez powrocic do klasycznej formuly Boltzmanna-Gibbsa (z mala korekta) jesli stosunek obu charakterystycznych szerokosci jest maly. W praktyce najczesciej spotykanymi rozkladami zmiennej losowej ciaglej sa funkcje gestosci procesu dyfuzji, maxellowski rozklad predkosci oraz rozklad polozenia czastki poruszajcej sie z predkoscia okreslona maxwellowskim rozkladem predkosci. W przypadku rozkladow zalezacych od czasu widzimy, ze ich entropie rosna z czasem jak ln( t). Nie jest jednak powiedziane, ze ten wzrost entropii jest zasada ogolna gdyz mozemy wyobrazic sobie procesy losowe ciagle opisujace zjawiska kondensacji (np tworzenie par). W takich procesach entropia moze malec gdyz z dwoch czastek poruszajacych sie swobodnie  powstaje jedna. Inaczej mowiac nie wiemy co bedzie sie dzialo z entropia w ukladach zdominowanych przez oddzialywania przyciagajace (np grawitacyjne). A jest to zagadnienie, ktore interesuje ostatnio kosmologow.  Powroce do tego problemu pozniej.