Salah satu tujuan dari statistik inferensial adalah untuk memperkirakan populasi yang tidak diketahui parameter. Estimasi ini dilakukan dengan membuat interval kepercayaan dari sampel statistik. Satu pertanyaan menjadi, "Seberapa bagus estimator yang kita miliki?" Dengan kata lain, “Seberapa akurat proses statistik kami, dalam jangka panjang, dalam memperkirakan parameter populasi kami. Salah satu cara untuk menentukan nilai estimator adalah dengan mempertimbangkan jika tidak bias. Analisis ini mengharuskan kita untuk menemukan nilai yang diharapkan dari statistik kami.
Kami mulai dengan mempertimbangkan parameter dan statistik. Kami mempertimbangkan variabel acak dari jenis distribusi yang diketahui, tetapi dengan parameter yang tidak diketahui dalam distribusi ini. Parameter ini dibuat menjadi bagian dari populasi, atau bisa juga menjadi bagian dari fungsi kepadatan probabilitas. Kami juga memiliki fungsi variabel acak kami, dan ini disebut statistik. Statistik (X1, X2,... , Xn) memperkirakan parameter T, dan kami menyebutnya estimator dari T.
Kami sekarang mendefinisikan estimator yang bias dan tidak bias. Kami ingin estimator kami cocok dengan parameter kami, dalam jangka panjang. Dalam bahasa yang lebih tepat kami ingin nilai yang diharapkan dari statistik kami sama dengan parameter. Jika ini masalahnya, maka kami katakan bahwa statistik kami adalah penaksir parameter yang tidak bias.
Jika estimator bukan estimator yang tidak bias, maka itu adalah estimator yang bias. Meskipun estimator yang bias tidak memiliki keselarasan yang baik dari nilai yang diharapkan dengan parameternya, ada banyak contoh praktis ketika estimator yang bias dapat berguna. Salah satu kasus tersebut adalah ketika interval kepercayaan plus empat digunakan untuk membangun interval kepercayaan untuk proporsi populasi.
Karena nilai yang diharapkan dari statistik cocok dengan parameter yang diperkirakannya, ini berarti bahwa rata-rata sampel adalah penaksir yang tidak bias untuk rata-rata populasi.