(高校物理教科書「物理B」 実教出版、より抜粋)
長さをものさしではかったり、量をてんびんではかったりして得られた値は測定値である。 測定にあたっては、精密な計器を正しく使うほど、より精密な値が得られるが、 どんな計器にも多少の狂いがあり、また、目盛の読み取り方にも多少のずれがあるので、 測定値と真の値との間にはいくらかの差、つまり誤差を生じるのはやむをえない。
たとえば、1mmごとに目盛った正確なものさしを使って、 ある物体の長さをはかり、20.4mmという値を得たとしても、 mmの次のけたは目分量で読んで、その読みに0.05mm未満の誤差を生じたとすれば、 この物体の長さの真の値は20.35mmと20.45mmとの間にあることになる。
この20.4mmという測定値では、2、0、4の3つの数字は意味をもっているので、 この測定値の有効数字は3けたであるという。 しかし、東京から大阪までの直線距離はおよそ400kmであるとか、 この紙の厚さはおよそ0.08mmであるとかというときの0は、位取りを示すための0であって有効数字ではない。
したがって、有効数字の0と位取りの0とを区別するために、 測定値をあらわすときには、2.04×10mm、4×102km、 あるいは8×10-2mmなどとあらわす。
くりかえすと、測定値の桁数は重要な意味をもっている。 20.4mmは有効数字3桁の測定値であり、20.40mmは有効数字4桁の測定値である。 20.4mmと20.40mmとはどのように違うかを考えてみると、20.4mmは真の値が20.35mmと20.44mmの間にあり、 20.40mmは真の値が20.395mmと20.404mmの間にある。20.4mmの有効数字は3桁であるが、 20.40mmの有効数字は4桁であって、最後の0はそこまで測定したことを意味しているから省略してはいけない。
いま仮に2本の棒A、Bの長さをはかり、Aはmmの次のけたまで読んで2.35 cm という値を得たとしても、 Bをcmのけたまでしか読まず84cm という値を得たにすぎないとすれば、 これらの継ぎたしたものの長さは86.35cmではなく86 cm としなければならない。 すなわち、測定値のたし算や引き算をするときには、末位のけたのいちばん高い測定値(84cm) に、 すべての測定値の末位のけたをそろえて計算しなければならない(2.35 cm→2cm)。
つまり、測定値を加減する場合には有効数字の桁数は問題ではなく、小数点以下の桁数を揃えることが必要である。
ある長方形の面積を求めるために、縦、横の長さa、bをはかり、73 cmと128cmという値を得たとしよう。
いま仮に、これらの測定値が四捨五入によって得られた値であるとすれば、
72.5cm ≦ a < 73.5 cm、 127.5 cm ≦ b < 128.5 cm
であるから、この長方形の面積Sは
72.5 cm × 127.5 cm ≦ S < 73.5 cm × 128.5 cm
∴9243.75 cm2 ≦ S < 9444.75 cm2
である。したがって、a、bの値を掛けあわせて
73 cm × 128 cm= 9344 cm2
を得たとしても、この計算値の左から3けた目以下の数字はまったく意味がないと考えられるから、 この面積の計算値の有効数字は2桁であって、
S=9.3 × 10 3cm2
としなければならない。
一般に、測定値の掛け算や割り算をして得た計算値の有効数字のけたは、 有効数字のけた数のも最も小さい測定値の有効数字のけた数に等しい。