Определение статистики появилось не позднее 18-го века. Перед государством и руководителями появился вопрос о нужности сбора данных о своем населении и экономике страны, чтобы в дальнейшем применять эти данные в управлении им. Понятие статистики расширилось к 19 веку и стало подразумевать под собой сбор данных, так и их анализ. Сегодня статистика всецело используется в государственных делах, экономике естественных и социальных науках.
В связи с тем, что статистика появилась в государственных делах, она считается не частью математики, а отдельной областью, которая использует математику. Математические основы этой науки были заложены в 17-м и 18-го веках одновременно с развитием теории вероятностей.
Метод наименьших квадратов был изобретен на рубеже 19-го века благодаря усилиям нескольких авторов. С тех пор новые методы теории вероятностей и медицинской статистики были в постоянном развитии.
Нынешние компьютеры позволяют осуществлять ускоренные статистические вычисления (например вычисление значения точного критерия Фишера) на больших объемах данных. Также с появлением новых методов ручное вычисление их становится нецелесообразным, чтобы их выполнять вручную.
Считается, что термин статистика появился от латинского «statisticum collegium» ("государственный совет") и от итальянского слова statista ( "государственный", "политик"). В немецком слово статистика появляется в первый раз у Готфрида Ахенвалла (Gottfried Achenwall) в 1749 году, и значило анализ данных о населении, или по-другому «наука о государстве» (в Англии называлась «политическая арифметика»). В английском термин статистика подразумевал под собой сбор и классификацию данных и был введен Джоном Синклером (John Sinclair) в начале 19 века.
Иначе, первоначальной целью статистики был сбор и анализ данных, которые будут использоваться государственными и административными органами.
Сейчас сбор данных о населении государства продолжается, в основном за счет национальных и международных статистических служб. Например, перепись населения дает нам представление о населении государства и его составе.
