不过，正应了一句古语，控制别人的人必将也被别人控制。胡佛就是这样一个人，他虽然掌握了无数秘密文件，而让某些人断定他是一个危险的人。而他自己的一些肮脏的丑闻也被别人抓在了手里。

    胡佛的许多手下都反映说，他们的局长不仅读《花花公子》，而且爱看黄色电影。胡佛局长曾规定过，联邦调查局搜查行动中查获的淫秽材料，必须马上送到他的办公室。

    感情上的不顺利让胡佛成了一个同性恋，他和比自己小五岁的下属克莱德一直保持着不正常的“同性恋”关系，而且经常暗中光顾淫乱的“白颧”俱乐部。可他的秉性(绝对维护自己和FBI的形象)却让他经常在公开场合抨击同性恋，以此来掩盖自己的性取向。在他活着的时候，FBI中虽然有人知道他是同性恋，但没有人敢说出来，更没有人敢去对别人说。因为，“他的这支队伍中所有人都只效忠他一人。他们(特工)从来不听首席检察官的命令，也不听美国总统的命令，他们只听胡佛的命令”。

    但他们不说，并不等于别人不说。美国老牌黑手党头目卡迈因·隆巴多齐在被问到他们当初对埃德加·胡佛采取什么态度时。他回答道：“埃德加·胡佛掌握在我们的手心中。我们没有必要害怕他。”另一个黑手党头目约瑟夫·懊南诺说，黑社会有一条严格的规则，绝不要对一个执法官员采取暴力手段，“应当设法使他不干涉我们，我们也不干涉他”。

    那么，这些人为什么如此对胡佛不放在心上呢？就是因为他们抓住了胡佛是“同性恋”这个把柄。1957年，胡佛参加了“性狂欢”以及与“同性恋”者暗中的活动，这一切都被黑手党录像或窃听。“这些材料使联邦调查局数十年来陷于窘境，也使黑手党在这段时间内未受打击，并得到了迅猛发展。”

    胡佛最知道小辫子被别人捏到手里是什么感觉，所以，他根本做不了什么。有传言说，1963年11月22日的美国第35届总统肯尼迪遇刺身亡就跟当地的黑手党有关，虽然当场抓住了犯罪嫌疑人奥斯瓦尔德，联邦调查局也掌握了一定证据，但案情却始终没有真相大白。有许多人认为，这就是黑手党要挟胡佛“老实点”的一个证据。