مرحبا بك .
أولا بالنسبة لضعف أرشفة المنتديات بصفة عامة
يتحكم فيهذه العملية عدة عوامل رئيسية يا صديقي واهمها ثقل المنتدي أثناء التصفح
وثفل المنتدي له أيضا اسبابه التي تعمل علي ظهوره ومن اهمها
 عدد الاكواد الموضوعة في المنتدي ونوعيتها فكلما ارتفع عددها زاد ذلك من ثقل المنتدي
وخاصة اكواد الاعلانات الخارجية والصور والفيديو وغيرها وما يوضع منها في جنبات واركان ودهاليز المنتدي المختلفة .
فتلك العوامل هي اخطر شيء يوضع في المنتديات وهي السبب الحقيقي فيما يتعرض له المنتدي بعد ذلك من نكسات مختلفة.
  ويجب ان نتعامل معها بالعقل والحكمة .

أما بالنسبة لملف TXT
فاليك كلام الزعيم بخصوص هذا الموضوع

كثرة الروابط المحظورة في ملف robots.txt

موفق أخي