我离婚近3年了，10年恋爱，11年结婚，12年生小孩，13年离婚，12年生完小孩一个月，就差不多和孩子爸爸分开了，具体原因我也不知道，也就是出月回娘家，突然有一天他就不理我们了，差不多一年的时间，对我跟小孩都属于不闻不问的状态，然后后来我产假完，就一直跟我喊要离婚，在孩子1岁三个月的时候离婚了，之前他喊要离婚喊了差不多半年，后来我觉得真的很无聊，也很心寒，于是就说，那明天就去办证把，然后就离婚了，他之后偶尔来看，之前一直来看的很少，今年突然就来的多了，来的勤了，然后他爸爸妈妈就要我们复婚，因为他爸爸妈妈明年就要退休了，想过来带孙子，小孩现在3岁多快4岁了，昨天吵架，他爸爸就说要去法院重新分配抚养权，我觉得人怎么可以这么无耻。我该怎么办呢？