誤差を考慮にいれた場合でも信頼できる数字を、桁数であらわしたもの。 測定によって得られる数値は必ず誤差をもち、誤差の大きさより小さい数値は信頼できない。 例えば、白金皿を小数点以下5桁表示のセミミクロ電子天秤で量った結果29.34567 gという結果が得られた。 白金皿に試料を入れて測ったら、4桁となり、30.1345 gと測定された。 試料の質量は、30.1345－29.3457 = 0.7888 gであり、30.1345－29.34567 = 0.78883 gと計算してはいけない。 0.78883 gという数値の小数点以下5桁目の3という数字は、意味をなさない。 したがって、この場合、有効数字は４桁である。
鉛筆の長さ57.6mmは5.76cmと換算されるが、 棒の長さは、18.6cmと小数点以下第1位までしかもとめられていないので、 鉛筆の長さを57.6mmを5.8cmとして計算する。
18.6 cm + 5.8 cm = 24.4 cm
絶対誤差 ＝ 10.6 - 10.0 = 0.6 ppm
相対誤差 ＝ (0.6/10.0)×100 = 6 %
| 測定 | Rb含有量(ppm) |
|---|---|
| 1 | 30 |
| 2 | 34 |
| 3 | 32 |
| 4 | 31 |
| 5 | 33 |
平均値 ＝32 ppm
計算のための表を作成する。
| 測定 | xi | xi－平均値 | (xi－平均値)2 |
|---|---|---|---|
| 1 | 30 | -2 | 4 |
| 2 | 34 | 2 | 4 |
| 3 | 32 | 0 | 0 |
| 4 | 31 | -1 | 1 |
| 5 | 33 | 1 | 1 |
| 平均値 32 | 総和 10 |
（標本）標準偏差 = [10/(5-1)]1/2 = （2.5）1/2=1.58 ＝1.6ppm