Обычно, кто подает, тот и платит, как я знаю
Но да, он вам нужен, обязательно

За это бумажку еще 5000 платить надо???

Конечно.
Вас развели.
Забирать нужно - мало ли понадобятся в будущем.

Если ваш супруг со свидетельством о разводе пришел в загс и развелся с вами. То в теории да, а если никто из вас ещё не обратился, то скорее всего нет. Да и чтобы где-то доказать, что вы в разводе, вы должны предоставить свидетельство о разводе. Само свидетельство бесплатное, оплачивать нужно госпошлину, когда я разводилась, её нужно было оплачивать при подаче заявления на развод, а это задолго до самого развода