Тут все в совокупности.
Согласна с комментарием выше, но при этом ещё смотришь на то, как человек ведёт себя в обществе, какие темы разговора поднимает, манеры, опрятный внешний вид и тому подобное.
Есть люди, способные себя подать, статные, уверенные в себе, с которыми интересно, а есть простые, которые сидят развалившись за столом, локти складывают на стол, матерятся в общественном месте, вызывающе себя ведут и тд.
Поэтому тут очень много факторов.

Ну конечно, в англо-саксонской культуре есть очень четкие стандарты аристократической внешности, которые переняли в царской России. Тонкие длинные пальцы, статность (хорошая осанка), небольшая грудь, тонкая талия, вытянутое лицо с явными скулами, тонкий и небольшой нос, красивый, миндалевидный разрез глаз, бледная тонкая кожа. Аристократичность и благородство.
Нос картошкой, круглолицая внешность, натруженные руки, короткие пальцы, загар, широко расставленные или наоборот близко посаженные глаза, некрупные черты лица, тяжелые бёдра, массивная фигура - скорее говорит о простородном происхождении.