Przyczynowosc i przypadek- problemy kombinatoryczne

    Klasyczna teoria prawdopodobienstwa stosuje czesto modele zdarzen losowych, ktorych istota jest losowanie i rozmieszczenie obiektow w rozmaitych konfiguracjach. Sa to w zasadzie problemy kombinatoryczne ale ich rozwiazania maja czesto znaczenie rozszerzone. Moga one byc uogolnione tworczo w celu wyjasnienia procesow obserowowanych naturalnie w przyrodzie czy aktywnosciach spolecznych. We wczesnej fazie rozwoju tej dyscypliny nauk fizycznych, ktora obecnie nosi nazwe mechaniki statystycznej pierwsza taka probe wyjasnienia faktu istnienia rownowagi termodynamicznej uczynil jeden tworcow owej dyscypliny, austriacki fizyk - Ludwik Boltzmann. Jego wyjasnienie bylo nastepujace: uklady fizyczne, czy beda nimi systemy czastek, pola, obwody elektryczne czy tez systemy spoleczne maja teoretycznie wiele specyficznych stanow, w ktorych moga sie znajdowac. Stany te jednak pojawiaja sie z rozmaita czestotliwoscia. Niektore z nich wystepuja bardzo rzadko, inne nieco czesciej a jeszcze inne niemal zawsze. Jesli obserwujemy wiec pewien uklad ewoluujacy w czasie i zaczniemy obserwacje akurat wtedy gdy wystepuje stan rzadki to istnieje duza szansa, ze nastepny obserwowany stan bedzie inny i na ogol blizszy stanowi, ktory wystepuje z najwieksza czestotliwoscia. Tak bedzie do czasu gdy osiagniemy stan najbardziej popularny. Gdy juz w nim sie znajdziemy to nastepny stan bedzie z duzym prawdopodobienstwem rowniez jednym ze stanow najczesciej wystepujacych. Mozemy wiec powiedziec, ze uklad zmienial sie tak dlugo jak dlugo byl on odlegly od stanu wystepujacego najczesciej. Gdy go juz osiagnal to na ogol w nim juz pozostawal mimo, ze teoretycznie ewolucja mogla takze wystepowac w kierunku odwrotnym, czyli do stanu mniej prawdopodobnego. Taki stan, wystepujacy z najwieksza czestotliwoscia Boltzmann byl sklonny identyfikowac ze stanem rownowagi. Ten poglad, bardzo zreszta intuicyjny, napotkal wielu krytykow i ogolnie rzecz biorac nie jest poprawny. Tu jednak nie interesuje nas tak bardzo problem boltzmannowski co prosty model urn i kul stosowany w rachunku prawdopodobienstwa oraz kwestia tego ile wynosi entropia informacyjna zwiazana ze zdarzeniami kombinatorycznymi.  Spojrzmy na prosty model, w ktorym mamy m urn rozroznialnych (np ponumerowanych) oraz N  kul rowniez rozroznialnych przy czym  m jest wieksze badz rowne N.  Przyjmijmy takze, ze urny maja ograniczona objetosc, tak ze nie mozmy wlozyc wiecej niz jedna kule do urny. Pytamy na ile sposobow mozna rozmiescic te kule i jakie jest prawdopodobienstwo napotkania okreslonej konfiguracji odroznialnych kul w odroznialnych uranach.  Rzecz jasna, ze pierwsza kule mozemy umiescic w dowolnej urnie, czyli ze mamy m sposobow jej rozmieszczenia. Druga kule mozemy jednak rozmiescic juz tylko na m-1 sposobow, trzecia na m-2 sposoby itd. Ilosc sposobow rozmieszczenia odroznialnych kul w odroznialnych urnach wynosi wiec


W(m, N) = m(m-1)(m-2)....(m-N+1) = m!/(m-N)!       (1)


Kazdy z mozliwych rozkladow kul po urnach wystapi z identycznym prawdopodobienstwem  rownym


p(m, N) = 1/ W(m,N)


    Co zmieni sie w tym obrazie jesli urny pozostana odroznialne ale kule beda identyczne?  W takiej sytuacji permutacje kul nie beda dawaly innej konfiguracji wiec ilosc rozkladow odroznialnych zmaleje N!- krotnie. Ilosc mozliwych rozkladow kul identycznych w urnach odroznialnych wyniesie wiec




W(m,N) =  m!/N!/(m-N)!


Liczba stanow  (czyli mozliwych rozkladow) ulegnie zmniejszeniu w porownaniu z przypadkiem uprzednim ale prawdopodobienstwo pojawienia sie okreslonej konfiguracji wzrosnie N!- krotnie.


p[nierozr] = N! p(m,N)


Obliczmy teraz entropie informacyjna w pierwszym przypadku a wiec wtedy gdy i kule i urny sa rozroznialne.  Wynosi ona

S[rozr] = Suma po konfiguracjach p(m,N) ln p(m,N) = ln W(m,N)

W wypadku drugim, kiedy rozroznialne sa urny ale kule sa identyczne  otrzymamy

S[nierozr.] = ln W(m,N)/N! = S[rozr] - ln N!

Ze wzgledu na to, ze ln N! >0  mozemy stwierdzic interesujaca zaleznosc:

S[rozr.] -S[nierozr.] = ln N! >  0

Czyli entropia ukladu z kulami rozroznialnymi jest wieksza niz entropia ukladu kul identycznych.  Jesli bylibysmy sklonni brac powaznie twierdzenie, ze wszystkie procesy zachodzace wedlug wlasnej dynamiki ida w takim kierunku, ze entropia ukladu rosnie to relacja powyzsza moze sugerowac rozwiazanie kwestii dlaczego to obserwowane przez nas uklady charakteryzuje duza roznorodnosc.  Na przyklad ci, ktorzy poczatek swiata widza w Wielkim Wybuchu wiedza, ze w chwili poczatkowej swiat byl skoncentrowany w jednym miejscu przestrzeni (zapewne w centrum naszego Ukladu Slonecznego ) i skladal sie z pierwotnej materii o temperaturze 10^11 K bedacej w postaci fotonow (a wiec promieniowania elektromagnetycznego) oraz elektronow i pozytronow oraz zapewne takze neutrin i antyneutrin.  To oczywiscie przypomina twierdzenie z Genesis :"Na poczatku bylo swiatlo..."  ale pomijajac zwiazek bibilijny mozemy sie zapytac co bylo glownym motorem wyksztalcenia sie w trakcie ewolucji Wielkiego Wybuchu takiej masy pierwiastkow i innych czastek elementarnych. Mozna argumentowac ze glowna role grala w tym zasada wzrostu entropii, wedlug ktorej swiat zlozony tylko z czastek jednego typu (czyli kul nierozroznialnych a wiec np tylko z wodoru) mialby mniejsza entropie niz swiat zawierajacy cala game czastek (czyli kul rozroznialnych). Byc moze Natura ceni sobie roznorodnosc! W podobny sposob mozemy wyjasnic inherentna nietrwalosc imperiow wielonarodowych (Imperium Aleksandra Wielkiego, imperium rzymskie, imperium napoleonskie, imperium ottomanskie, imperium rosyjskie, imperium brytyjskie i ZSRR). Panstwa narodowe brane jako oddzielne jednostki polityczne maja wieksza entropie konfiguracyjna jako niezalezne jednostki polityczne  niz wtedy gdyz stanowia one prowincje wiekszej calosci administracyjnej.  Wzrost entropii faworyzuje rozpad imperiow wielonarodowych. Nie rokuje to dobrze Unii Europejskiej w czym zreszta pokladam pewna nadzieje.
   Mozna tez spytac czy powyzsze obserwacje odnosza sie takze do sytuacji, w ktorej urny sa wystarczajaco pojemne by pomiescic dowolna liczbe kul. Jesli wiec mamy m odroznialnych urn i N odroznialnych kul ale kazda urna moze zawierac wiecej niz jedna kule to pierwsza kule mozemy rozmiescic na m sposobow i podobnie jest tez z pozostalymi kulami. Ogolnie wiec liczba stanow czy konfiguracji kul w urnach wynosi

W(m,N) = m^N

a prawdopodobienstwo napotkania okreslonej dystrybucji kul wynosi

p(m,N) = 1/W(m,N) = m^-N

i jest identyczne dla wszystkich mozliwych stanow. Entropia takiej dystrybucji kul wynosi

S[rozr.] = ln W(m,N) = N ln m

Co sie zmieni gdy kule beda identyczne?  Jak latwo zauwazyc liczba odmiennych konfiguracji rowniez i w tym wypadku zmaleje w stosunku do ilosci konfiguracji dla kul odroznialnych. Ogolnie, jesli mamy m roznych urn i N identycznych kul to pierwsza urne mozemy wybrac na m sposobow pozostawiajac m+N -1 urn i kul, ktore moge byc permutowane na (m+N-1)! sposobow, Calkowita ilosc rozkladow jest wiec m(m+N-1)!. Jednakze permutacje urn i kul osobno nie dadza roznego stanu wiec liczba odroznialnych konfiguracji wynosi

W(m,N) = (m+N-1)!/(m-1)!/N!

Prawdopodobienstwo okreslonego rozkladu kul, w ktorym mamy k(1) kul w urnie pierwszej , k(2) kul w urnie drugiej  itd az po k(m) kul w urnie m-tej wynosi

p[ k(1), k(2), ....k(m)] = m^-N  N!/ [k(1)!k(2)! ...k(m)!]

Entropia takiego rozkladu wynosi

S [nierozr.] =  - Suma po wszystkich k(i)  p[{k(i)] ln p[{k(i}]


i znowu entropia rozkladu kul rozroznialnych jest wieksza niz entropia rozkladu kul identycznych

S[rozr.] - S[nierozr.]= Suma po wszystkich k(i) p[{k(i)] ln [ N!/k(1)!/k(2)!/..../k(m)!] >0

Modele urnowe sa uzywane jako ilustracja roznego rodzaju statystyk z jakimi mamy do czynienia w fizyce. Jesli tylko co najwyzej jedna kula moze znalezc sie w urnie to statystyka taka nosi nazwe statystyki Fermi-Diraca. Dowolna liczba kul w urnie jest typowa dla statystyk Bose-Einsteina i Boltzmanna. Oczywiscie, dobierajac odpowiednio objetosc urny do objetosci kul mozemy latwo wyjasnic dlaczego urna nie moze pomiescic wiecej niz jedna kule. Trudniej jest wyjasnic taki "zakaz" (zakaz Pauliego) w odniesieniu do czastek elementarnych takich jak fermiony ( np elektron, pozytron, proton, neutron). Ten problem odlozymy jednak na pozniej.