નિર્ણાયક ઘટના જેણે માહિતી સિદ્ધાંતની શિસ્તની સ્થાપના કરી , અને તેને તાત્કાલિક વિશ્વવ્યાપી ધ્યાન પર લાવ્યું, તે જુલાઈ અને ઓક્ટોબર 1948માં બેલ સિસ્ટમ ટેકનિકલ જર્નલમાં ક્લાઉડ ઇ. શેનોનના ક્લાસિક પેપર " એ મેથેમેટિકલ થિયરી ઓફ કોમ્યુનિકેશન " નું પ્રકાશન હતું.
આ ક્રાંતિકારી અને ગ્રાઉન્ડબ્રેકિંગ પેપરમાં, શેનોને જે કામ માટે 1944ના અંત સુધીમાં બેલ લેબ્સમાં નોંધપાત્ર રીતે પૂર્ણ કર્યું હતું, શેનોને પ્રથમ વખત માહિતી સિદ્ધાંત અંતર્ગત આંકડાકીય પ્રક્રિયા તરીકે સંદેશાવ્યવહારના ગુણાત્મક અને જથ્થાત્મક મોડલની રજૂઆત કરી હતી, જે દાવો સાથે ખુલ્યો હતો કે
"સંચારની મૂળભૂત સમસ્યા એ છે કે એક બિંદુ પર પુનઃઉત્પાદન કરવામાં આવે છે, કાં તો બરાબર અથવા અંદાજે, બીજા બિંદુએ પસંદ થયેલ સંદેશ."
ટેલિકોમ્યુનિકેશનની કેટલીક સૌથી જૂની પદ્ધતિઓ ગર્ભિત રીતે ઘણા વિચારોનો ઉપયોગ કરે છે જે પછીથી માહિતી સિદ્ધાંતમાં પરિમાણિત કરવામાં આવશે. આધુનિક ટેલિગ્રાફી , 1830 ના દાયકામાં શરૂ થતાં, મોર્સ કોડનો ઉપયોગ કરવામાં આવ્યો હતો , જેમાં વધુ સામાન્ય અક્ષરો (જેમ કે "ઇ", જે એક "બિંદુ" તરીકે વ્યક્ત થાય છે) ઓછા સામાન્ય અક્ષરો (જેમ કે "જે" દ્વારા વ્યક્ત કરવામાં આવે છે) કરતાં વધુ ઝડપથી પ્રસારિત થાય છે. એક "ડોટ" પછી ત્રણ "ડૅશ"). આ રીતે માહિતીને એન્કોડ કરવાનો વિચાર લોસલેસ ડેટા કમ્પ્રેશનનો આધાર છે . સો વર્ષ પછી, ફ્રીક્વન્સી મોડ્યુલેશન એ સમજાવ્યું કે બેન્ડવિડ્થને માત્ર સ્વતંત્રતાની બીજી ડિગ્રી ગણી શકાય.
વોકોડર , જે હવે મોટાભાગે ઓડિયો એન્જીનિયરિંગ જિજ્ઞાસા તરીકે જોવામાં આવે છે, તે મૂળ રૂપે 1939 માં મૂળ સંદેશ કરતાં ઓછી બેન્ડવિડ્થનો ઉપયોગ કરવા માટે ડિઝાઇન કરવામાં આવ્યું હતું , તે જ રીતે મોબાઇલ ફોન હવે બેન્ડવિડ્થ સાથે વૉઇસ ક્વૉલિટીનો વેપાર કરે છે. શેનોનના કામના સૌથી પ્રત્યક્ષ પૂર્વોત્તર હેરી નાયક્વિસ્ટ અને રાલ્ફ હાર્ટલી દ્વારા 1920ના દાયકામાં પ્રકાશિત થયેલા બે પેપર હતા , જેઓ 1940ના દાયકાની શરૂઆતમાં જ્યારે શેનોન આવ્યા ત્યારે બેલ લેબ્સમાં સંશોધન કરતા હતા.
નાયક્વિસ્ટનું 1924નું પેપર, "ટેલિગ્રાફ સ્પીડને અસર કરતા ચોક્કસ પરિબળો", મોટે ભાગે ટેલિગ્રાફ સિગ્નલોના કેટલાક વિગતવાર એન્જિનિયરિંગ પાસાઓ સાથે સંબંધિત છે. પરંતુ વધુ સૈદ્ધાંતિક વિભાગ "બુદ્ધિ" અને "રેખાની ઝડપ" ના પરિમાણની ચર્ચા કરે છે કે જેના પર તે સંચાર પ્રણાલી દ્વારા પ્રસારિત થઈ શકે છે, જે સંબંધ આપે છે.
જ્યાં W એ ઇન્ટેલિજન્સ ટ્રાન્સમિશનની ઝડપ છે, m એ દરેક સમયે પસંદ કરવા માટેના વિવિધ વોલ્ટેજ સ્તરોની સંખ્યા છે, અને K એ સ્થિરાંક છે. [1]
હાર્ટલીનું 1928નું પેપર, જેને ફક્ત "માહિતીનું પ્રસારણ" કહેવામાં આવે છે, તે માહિતી શબ્દનો ઉપયોગ કરીને આગળ વધ્યું (તકનીકી અર્થમાં), અને સ્પષ્ટપણે સ્પષ્ટ કરે છે કે આ સંદર્ભમાં માહિતી એક માપી શકાય તેવી માત્રા હતી, જે ફક્ત પ્રાપ્તકર્તાની તે એક ક્રમને અલગ પાડવાની ક્ષમતાને પ્રતિબિંબિત કરે છે. પ્રતીકોનો હેતુ અન્ય કોઈને બદલે મોકલનાર દ્વારા કરવામાં આવ્યો હતો - કોઈપણ સંબંધિત અર્થ અથવા અન્ય મનોવૈજ્ઞાનિક અથવા સિમેન્ટીક પાસાને ધ્યાનમાં લીધા વગર પ્રતીકો રજૂ કરી શકે છે. માહિતીની આ રકમ તેણે આ પ્રમાણે ગણી
જ્યાં S એ સંભવિત પ્રતીકોની સંખ્યા હતી અને ટ્રાન્સમિશનમાં n એ પ્રતીકોની સંખ્યા હતી. તેથી માહિતીનો કુદરતી એકમ દશાંશ અંક હતો, જે બાદમાં તેના માનમાં હાર્ટલીનું નામ બદલીને માહિતીના એકમ અથવા સ્કેલ અથવા માપ તરીકે રાખવામાં આવ્યું. હાર્ટલી માહિતી , H 0 , હજુ પણ શક્યતાઓની કુલ સંખ્યાના લઘુગણક માટે જથ્થા તરીકે વપરાય છે. [2]
લોગ 10 પ્રોબેબિલિટીનું સમાન એકમ , પ્રતિબંધ અને તેમાંથી મેળવેલા એકમ ડેસિબન (પ્રતિબંધનો દસમો ભાગ), એલન ટ્યુરિંગ દ્વારા 1940માં જર્મન બીજા વિશ્વયુદ્ધ એનિગ્મા સાયફર્સને તોડવાના આંકડાકીય વિશ્લેષણના ભાગરૂપે રજૂ કરવામાં આવ્યો હતો. ડેસિબેનેજ ( નો લઘુગણક) શક્યતાઓની કુલ સંખ્યામાં (હાર્ટલી માહિતીમાં ફેરફારની જેમ) ઘટાડો દર્શાવે છે; અને લોગ-સંભાવના ગુણોત્તર (અથવા પુરાવાના વજનમાં ફેરફાર) કે જે અવલોકનોના સમૂહમાંથી એક પૂર્વધારણા માટે બીજા પર અનુમાન કરી શકાય છે. પુરાવાના વજનમાં અપેક્ષિત ફેરફાર જે પાછળથી કુલબેક ભેદભાવ માહિતી તરીકે ઓળખાતો હતો તેના સમકક્ષ છે .
