No se trata de leer la mente, si eso es lo que te preocupa.
Supongo que ha usado su servicio antes y están usando su número de teléfono para buscar su registro de cliente. Probablemente tendrían que preguntar si llamaste de un número extraño a una dirección con la que no habían tratado antes.
tl: DR- Si esto es cierto: “porque les has dicho tu dirección”