X-mail一直打电话给我骚扰。我甚至不知道谁填了我的手机号码。我该怎么办？

打骚扰电话的行为，属于违法行为或侵权行为，行为人应承担法律后果。受害人可以向公安机关报案，要求追究其治安行政责任；也可在向法院提起诉讼， 要求其承担侵权责任或民事责任。
《侵权责任法》
　　第二条 侵害民事权益，应当依照本法承担侵权责任。
　　本法所称民事权益，包括生命权、健康权、姓名权、名誉权、荣誉权、肖像权、隐私权、婚姻自主权、监护权、所有权、用益物权、担保物权、著作权、专利权、商标专用权、发现权、股权、继承权等人身、财产权益。
　　第三条 被侵权人有权请求侵权人承担侵权责任。
　　第六条 行为人因过错侵害他人民事权益，应当承担侵权责任。
　　根据法律规定推定行为人有过错，行为人不能证明自己没有过错的，应当承担侵权责任。
　　第七条 行为人损害他人民事权益，不论行为人有无过错，法律规定应当承担侵权责任的，依照其规定。

诽谤罪
一、概念及其构成诽谤罪（刑法第246条），是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。
1、客体要件本罪侵犯的客体与侮辱罪相同，是他人的人格尊严、名誉权。犯罪侵犯的对象是自然人。
2、客观要件本罪在犯罪客观方面表现为行为人实施捏造并散布某种虚构的事实，足以贬损他人人格、名誉，情节严重的行为。
（1）须有捏造某种事实的行为，即诽谤他人的内容完全是虚构的。如果散布的不是凭空捏造的，而是客观存在的事实，即使有损于他人的人格、名誉，也不构成本罪，
（2）须有散布捏造事实的行为。所谓散布，就是在社会公开的扩散。散布的方式基本上有两种：一种是言语散布；另一种是文字，即用大字报、小字报、图画、报刊、图书、书信等方法散布。所谓“足以贬损”，是指捏造并散布的虚假事实，完全可能贬损他人的人格、名誉，或者事实上已经给被害人的人格、名誉造成了实际损害。如果散布虚假的事实，但并不可能损害他人的人格、名誉，或无损于他人的人格、名誉，则不构成诽谤罪。
（3）诽谤行为必须是针对特定的人进行的，但不一定要指名道姓，只要从诽谤的内容上知道被害人是谁，就可以构成诽谤罪。如果行为人散布的事实没有特定的对象，不可能贬损某人的人格、名誉，就不能以诽谤罪论处。
（4）捏造事实诽谤他人的行为必须属于情节严重的才能构成本罪。虽有捏造事实诽谤他人的行为，但没有达到情节严重的程度，则不能以本罪论处。所谓情节严重，主要是指多次捏造事实诽谤他人的；捏造事实造成他人人格、名誉严重损害的；捏造事实诽谤他人造成恶劣影响的；诽谤他人致其精神失常或导致被害人自杀的等等情况。
3、主体要件本罪主体是一般主体，凡达到刑事责任年龄、具有刑事责任能力的自然人均能构成本罪。
4、主观要件本罪主观上必须是故意，行为人明知自己散布的是足以损害他人名誉的虚假事实，明知自己的行为会发生损害他人名誉的危害结果，并且希望这种结果的发生。行为人的目的在于败坏他人名誉。如果行为人将虚假事实误认为是真实事实加以扩散，或者把某种虚假事实进行扩散但无损害他人名誉的目的，则不构成诽谤罪。
二、认定
1、本罪与治安违法行为、民事侵权行为的界限构成诽谤罪的诽谤行为，必须是情节严重的，而违反治安行政法规的诽谤行为，必须局限于尚不够刑事处罚的。民事性质的名誉侵权行为，不仅在违法程度上轻于诽谤犯罪行为以及违反治安行政法规的诽谤行为，而且还具有以下不同：
（1）诽谤罪散布的必须是捏造的虚假的事实。如果散布的是客观存在的事实，虽然有损于他人人格、名誉，但不构成诽谤罪。而名誉侵权行为，即使所述的内容是真实的，但只要是法律禁止公开宣扬的，公开了将有损于他人人格、名誉，也可以构成名誉侵权。甚至叙述的事实愈真实，愈会加重侵权的程度。比如，为毁损他人名誉而揭人隐私，越揭得逼真，其侵权性质越为恶劣。根据最高人民法院《关于贯彻执行（中华人民共和国民法通则）若干问题的意见（试行）》第140条规定，泄露并宣扬他人隐私，给他人名誉造成不良影响的，是侵害名誉权的行为，不构成诽谤罪。
（2）法人、团体、组织不能成为诽谤罪的犯罪对象。而在名誉侵权行为中，法人、团体、组织可以成为受害者。如：散布虚假消息，诬说某工厂的产品质量如何低劣等，目的是以不正当的竞争手段搞垮对方。这种行为即使造成了严重后果，只能构成损害商业信誉，商品声誉罪，而不构成诽谤罪。
（3）主观过错要求不同。诽谤犯罪行为的主观方面必须是直接故意；而名誉侵权的主观过错包括过失行为。此外，即使善意的检举、揭发、批评中有不实成分的，也不应以诽谤罪论处。
2、本罪与侮辱罪的界限这两种犯罪所侵犯的客体，都是他人的人格和名誉。不同之处主要在于：
（1）侮辱不是用捏造的方式进行，而诽谤则必须是捏造事实。
（2）侮辱含暴力侮辱行为，而诽谤则不使用暴力手段；
（3）侮辱往往是当着被害人的面进行的，诽谤则是当众或者向第三者散布的。
三、处罚犯本罪的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。犯本罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。这里所谓“告诉的才处理”，是指犯诽谤罪，被害人告发的，法院才受理，否则不受理。“严重危害社会秩序和国家利益的除外”，例如，因诽谤引起被害人死亡的；引起当地群众公愤的；诽谤外国人影响国际关系的，等等，如果受害人不告诉或不能告诉，人民检察院应提起公诉。

对于骚扰电话，您可以先进行录音再报警。如果可以设置电话拦截，可以采取措施解决。如果您对方的诽谤、诋毁、污蔑严重损害您的名誉，造成您的社会影响和评价下降，或者其他严重后果，您可以持相关的录音等证据材料到法院提起诉讼解决。