Я бы посоветовал не удалять точки, которые были добавлены не вами.

С вашими данными есть ожидаемый шаг, при котором вы добавляете точку в случайное место внутри здания (если вы правильно угадали здание). После этого кому-то другому надо поставить точку туда, где она на самом деле находится.

С удалениями вы добавляете ещё один шаг: правильно поставленная точка исчезает, и кому-то другому надо её восстанавливать.

Пример:
https://www.openstreetmap.org/note/4171523