Слишком много вариантов "что может быть не так".Попробуйте оставить только одну планку памяти и попробовать таким макаром.Да и проверять стабильность не только 3дмарком, а садомазо/прайм.Для хорошего оверклока нужно изначально грамотно подобранное железо.
наиболее вероятно,перегрев=>throttlingСообщение от vadim andreev