我找了一个照顾老人的保姆，老人是独住的，生活也能自理。但是这个保姆，才做了一天时间，就悄悄的走了。我找保姆的时候，是花了100元的中介费的。找家政公司，他们说自己不负责任的，并且他们现在也联系不上保姆。我要求退还中介费，他们不乐意，说没有这个规矩的。难道才做了一天的保姆就走了，家政公司没有责任吗。