只有在离婚的情况下，才可能考虑孩子的抚养权归属问题。如果你不愿意和他一起生活，在协商离婚不成的情况下，你可以直接起诉到法院离婚。从你描述的情况看，你争取孩子的抚养权概率很大。

一、什么情况下子女由女方抚养

只有提供以下证据，法院才会将子女判由女方抚养：

（1）小孩的户籍证明或出生证明，小孩未满两周岁；

（2）医疗机构出具的，女方已作绝育手术或丧失生育能力的诊断证明；

（3）子女长时间随其生活，对子女的生活及教育倾心关注的证明；

（4）对方有其他子女的证明（如户籍上的子女情况）；

（5）医疗机构出具的另一方患有久治不愈的传染性疾病或其他严重疾病的诊断证明；

（6）对方有吸毒、赌博、酗酒等恶习，或有虐待等不利于子女身心健康的证明；

（7）子女随外祖姆单独生活多年，外祖父母要求且有能力帮助照顾外孙子女的证明；

（8）十周岁以上的子女要求与母亲生活的证明（一般法庭会单独询问）；

（9）女方有相应的工作能力及经济收人的证明。

二、子女判给女方抚养的情形有哪些

（1）两周岁以下的子女，一般随母方生活；

（2）已作绝育手术或因其他原因丧失生育能力的；

（3）子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；

（4）无其他子女，而另一方有其他子女的；

（5）子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的；

（6）双方抚养子女的条件基本相同，但子女单独随外祖父母生活多年，且外祖父母要求并且有能力帮助子女照顾外孙子女的；

（7）十周岁以上的子女主动要求与母亲生活的。