Wann hat das ein Ende?

Hallo,
Vorab: ich weiß absolut, dass es gut ist, wenn beide Eltern da sind, aber bin nur noch genervt.
Unser Sohn ist jetzt 4. der Vater war erst ab dem 1. Geburtstag überhaupt mal da. Es wurden lange Gespräche mit dem JA geführt. Leider hab ich damals mich einfach nur für den kleinen gefreut und habe dem Vorschlag des JA für sofortigen ( also Kind kannte ihn nur von einem Treffen) begleiteten Umgang zugestimmt. Der Vater ist 2 mal erschienen, dann für 3 Monate untergetaucht. Dann war er wieder da, wieder Gespräche mit dem JA, wieder war er da ( allerdings Diesesmal Umgang in den Räumen des JA und ich war anwesend) dann wieder abgetaucht usw.
das Spielchen geht jetzt seit 3 Jahren. Also meistens ist er so 4-5 treffen da dann wieder paar Monate nicht.
Das JA meint, solange er im Leben teilnimmt kann das ein Kind schon mitmachen. Ich finde, dass es solangsam echt nicht mehr tragbar ist, für den kleinen eine Zumutung.
In den Monaten in denen er untergetaucht ist gibt es von seiner Seite übrigens überhaupt keinen Kontakt. Wenn er da ist versuche ich mit ihm zu reden, doch das interessiert ihn nicht. Ich habe ihn gefragt, warum er überhaupt kommt, seine Antwort: weil er ja der Vater ist. Das er das in den anderen Monaten auch ist hat er mit einem Lachen ignoriert.
Also klar, wenn er such ändern würde und konsequent da wäre wäre alles okay aber so geht das doch nicht mehr weiter? Oder reagiere ich da über? Wie sehen andere das?