信息是一个与物质、能量同等基础的概念，但是却必须有物质或能量作为载体才能存在和传播。香农告诉我们，信息是消除不确定性的东西，那么信息到底是怎样“附着”在物质或能量上的呢？什么样的物理系统包含的信息多，什么样的包含的少呢？我们可以通过分析逐渐了解信息与物质能量的关系。
一个汉字、一个词或者一本书，我们说它包含信息，实际上是指它有不同的排列组合方式，不同的方式可以与不同的状态进行对应，从而描述客观事物。例如不同的汉字笔画、不同的组词、组句、组成段落和文章等，对应的是不同的信息。信息需要载体，但与载体本身的性质无关，而是与作为载体的物质或能量的排列组合方式有关。也就是说，信息与一段文字究竟是写在纸上还是在手机屏幕上无关，但是由于纸上的墨水排列组合方式与手机屏幕上像素的排列组合方式相同，因此它们表达相同的信息。如果我们说“面”这个字，会联想到面粉，说“包”的时候联想到背包，而提到“面包”才会想到吃，因此不同的组合模式表达不同的信息，或者说，信息储存在载体的组合模式中。
相同的组合模式表达相同的信息，而不同的组合模式也可以表达相同的信息，因为同一个意思可以用汉语表达，也可以用英语表示。粗略的说，表达相同意思的不同语言实际上就是说在一定语法规则下具有相同或相似的概率分布，早期的密码破译就是根据密文符号在文章中出现的概率来破解的，而不同语言之间的翻译算法也可以基于相同或相似的概率分布这样一条路来设计，从而为开发翻译软件提供帮助。这样，信息和概率就有了天然的联系。
信息熵与热力学熵的相似性告诉我们，信息论会和热力学有很多相似之处。当一组符号以等概率的方式出现时，其对应的信息熵最大，就如同物理系统的微观状态以等概率方式出现时，系统处在玻尔兹曼熵最大的平衡态，而非平衡态向平衡态过渡的时候，熵发生了变化，直至达到最大值，此时的物理系统失去了做功能力。因此，我们可以将信息类比于热，而可观测、可存储或可区分的信息类比于做功能力，功可以全部转化为热，而热只能部分转化为功，从而具有单向性。在往最大熵演化的过程中，做功能力和可区分信息逐渐减少，达到最大熵的平衡态时，做功能力消失，而信息系统成了无法获取信息的白噪声。因此，白噪声相当于热力学平衡态，平衡态热力学存在一个叫做温度的热力学量，同样，白噪声也存在一个与噪声功率成正比，与带宽成反比的温度。
白噪声是否可以提取信息呢，这相当于问一个热力学平衡态能否对外做功？似乎热力学第二定律告诉我们不可以，就像我们不能通过降低海水温度对外做功而不引起其它变化一样，否则永动机就能实现了。然而如果考虑约束条件的变化、引力和量子的影响，我们就会发现，通常我们遇到的平衡态只是一种亚稳态，是熵的极值而不是最值，尽管可能会是一个几十亿年甚至更长时间的亚稳态。考虑外部为真空的一箱平衡态的理想气体，打开箱子，气体自由膨胀率出现，气体具有了做功能力，也有了储存可观测、可区分信息的能力。考虑大片的平衡态星云，引力的扰动使之局部结团，甚至演化为恒星，热核反应的点燃使处在亚稳平衡态的系统具有了新的做功能力，恒星演化到新的亚稳平衡态黑洞后，仍然可以通过基于量子效应的霍金蒸发存在微弱的做功能力，直至黑洞全部蒸发，并且蒸发产物在整个宇宙中均匀分布，才达到熵的最大值。与之相似的白噪声系统也是一样，无法获取信息只是相对的，白噪声系统依然可以通过约束条件的改变等途径，使原本等概率不可区分的状态变成不均匀的概率分布，从而获得可区分的信息。
如果我们坚信信息储存在物质或能量的组合模式和概率分布中这样一个前提，信息与物质能量的关系也就明确了，一个噪声系统可能包含海量信息，就像大海包含海量的热量一样，但是我们能通过简单的手段容易获得的信息却要少的多，而且，概率分布越不平均，信息载体不同部分之间的差异越大，信息越明显，越容易获得，反之，概率分布函数越均匀，越难获取信息。由此可以得出一个结论，一个孤立系统由非平衡态向平衡态过渡的过程中，做功能力越来越差，可获取的信息越来越少，最终无法获取信息，除非改变为开放系统或改变孤立系统的约束条件，或者系统内部出现打破亚稳平衡态的机制，使系统向更稳定的亚稳态或稳态演化。因此，信息是一种和做功能力一样的宝贵资源，从相对亚稳态持续时间较短的时间尺度上来说，信息是一种不可再生资源。
从香农的信息熵公式就可以知道，信息与概率分布密切相关，而量子论中处于中心地位的波函数的模方的物理意义就是一个概率分布函数，描述的是粒子出现在空间某处的概率。这样，信息论和量子论就有了天然的联系，一个量子态我们通常将它看作一个波包，波函数随时间的演化一般是波包弥散的过程，也就是概率分布从相对尖锐的状态变为相对均匀的状态，最终达到约束条件下的最均匀分布，这等效于熵逐渐增大，可区分信息逐渐散失。而测量过程对应的是波包坍缩，粒子分布函数从相对均匀状态瞬间坍缩到确定的位置，熵减小了，同时获取了信息，然而如果包含进仪器之后，整个孤立系统的总波包仍然是随时间逐渐弥散的。因此，热力学第二定律的本质很可能是孤立系统或者整个宇宙由于没有外部观察者，其总体波函数总是随时间不断弥散导致的。