راهنمای رفع خطای ORA-00600 [3020] ناشی از وجود بلاک مشکل دار در دیتابیس استندبای

مقدمه
در این Case ، فرآیند Redo Apply روی یک دیتابیس Oracle Data Guard Physical Standby به دلیل خطای ORA-00600 [3020] متوقف شد.
در این محیط، Standby برای مدتی با Apply Lag قابل‌توجه مواجه بود و مشکل با تاخیر شناسایی شد. هنگام ادامه Recovery، فرآیند Apply به دلیل ناسازگاری بین Redo و یک Data Block مشخص متوقف شد.
در ادامه، ابتدا تلاش شد Recovery با استفاده از ALLOW 1 CORRUPTION ادامهپیدا کند. پس از بررسی نتیجه و مشخص شدن اینکه مشکل اصلی همچنان نیاز به اصلاح Object دارد، Block مشکل‌دار تا سطح Segment و Object ردیابی شد و مشخص شد که این Block متعلق به یک Index در تیبل اسپیس TEST_TBS است.

در مرحله بعد، Index مربوطه روی Primary بازسازی شد. پس از آماده شدن Redo مورد نیاز ، Managed Recovery روی Standby مجددا راه‌اندازی شد و در نهایت Standby با Primary به‌طور کامل Synchronize شد.

شرح IncidentRedo Apply روی Standby با Errorهای زیر متوقف شد:

 

Errors in file /u01/app/oracle/diag/rdbms/stby/stby/trace/stby_pr07_40762.trc 
(incident=1538426) 
 
ORA-00600: internal error code, arguments: [3020], [312], [3018180], 
[1311641028], [], [], [], [], [], [], [], [] 
 
ORA-10567: Redo is inconsistent with data block 
(file# 312, block# 3018180, file offset is 3250094080 bytes) 
 
ORA-10564: tablespace TEST_TBS 
 
ORA-01110: data file 312: 
'+DATA/STBY/DATAFILE/test_tbs.602.1182378613' 
 
ORA-10561: block type 'TRANSACTION MANAGED INDEX BLOCK', 

data object# 620798

در واقع، پیام اصلی خطا این بود که Redoای که قرار بود روی Standby Apply شود، با محتوای Block موردنظر سازگار نبوده است.

در این مرحله هدف اصلی این بود که ابتدا بررسی شود آیا Recovery می‌تواند از این Block عبور کند یا خیر.

 

بررسی Corruption

: بررسی شد Standby روی Corruption در قدم اول وضعیت 


SELECT * FROM v$database_block_corruption; 

خروجی :

no rows selected

 

سپس View مربوط به Backup Corruption نیز بررسی شد:


SELECT * FROM v$backup_corruption;

خروجی:

no rows selected

همین بررسی روی Primary نیز انجام شد:


SELECT * FROM v$database_block_corruption;

و:

SELECT * FROM v$backup_corruption;

که در هر دو مورد نتیجه:

no rows selected بود.

این نتیجه نشان می‌داد که در این Viewها Corruption ثبت‌شده‌ای وجود ندارد، اما با توجه به ORA-10567 و ORA-00600[3020]   همچنان یک مشکل در Block/Redo Consistency وجود داشت.

 

بنابراین بررسی دقیق Block اعلام‌شده در پیغام خطا ادامه پیدا کرد.

ادامه Recovery


 با توجه به اینکه Recovery ، به دلیل یک Block مشخص متوقف شده بود، ابتدا تلاش شد Managed Recovery با اجازه عبور از یک مورد Corruption ادامه پیدا کند:

ALTER DATABASE RECOVER AUTOMATIC STANDBY DATABASE ALLOW 1 CORRUPTION;

 


هدف از این اقدام این بود که مشخص شود آیا Recovery می‌تواند از Block مشکل‌دار عبور کرده و Apply را ادامه دهد یا خیر.

این مرحله عملاً یک اقدام تشخیصی و Recovery کنترل‌شده بود تا مشخص شود مشکل فقط به همان Block محدود است و آیا امکان ادامه Apply وجود دارد.

پس از اجرای این دستور، Recovery ادامه پیدا کرد و دیتابیس استندبای با اصلی سینک شد .

پیدا کردن Segment مربوط به Block

برای مشخص شدن Object ای که Block مشکل‌دار به آن تعلق داشت، از DBA_EXTENTS استفاده شد:


SET LINE 2000 
 
COL SEGMENT_NAME FOR A50 
COL SEGMENT_TYPE FOR A30 
COL PARTITION_NAME FOR A50 
 
SELECT owner, 
       segment_name, 
       partition_name, 
       segment_type 
FROM dba_extents 
WHERE file_id = 312 
  AND 3018180 BETWEEN block_id 
                  AND (block_id + blocks - 1);

 خروجی :

OWNER      : TESTUSR           
SEGMENT_NAME : IDX_ID
SEGMENT_TYPE : INDEX

در نتیجه مشخص شد Block مشکل‌دار متعلق به Index  ، testusr.idx_id می باشد .                                                                    

سپس اطلاعات Segment مجددا بررسی شد:

SELECT SEGMENT_NAME, 
       OWNER, 
       TABLESPACE_NAME 
FROM dba_segments 
WHERE SEGMENT_NAME='IDX_ID';

خروجی :

       
SEGMENT_NAME : IDX_ID
 OWNER      : TESTUSR     
TABLESPACE_NAME : TEST_TBS

همچنین Size این Index بررسی شد:

SELECT SEGMENT_NAME, 
       SUM(bytes)/1024/1024/1024 
FROM dba_segments 
WHERE SEGMENT_NAME='IDX_ID105' 
  AND owner='HAMRAHCARD' 
GROUP BY SEGMENT_NAME;

خروجی :

SEGMENT_NAME : IDX_ID
SIZE :  78.91 GB

 

با این بررسی، مشکل از یک خطای کلی در Standby به یک Object مشخص محدود شد.

Rebuild کردن Index روی Primary

روی Primary دستور زیر اجرا شد:

 

ALTER INDEX TESTUSR.IDX_ID REBUILD ONLINE PARALLEL 8;

 

با توجه به اینکه Index حدود 79 گیگ حجم داشت، برای کاهش زمان اجرای عملیات از PARALLEL 8 استفاده شد.

 

همچنین Rebuild به‌صورت ONLINE انجام شد تا محدودیت عملیاتی روی Object تا حد امکان کاهش پیدا کند.

 

پس از پایان Rebuild،  Parallel برای Index به حالت عادی برگردانده شد:


ALTER INDEX TESTUSR.IDX_ID NOPARALLEL;

 

در نتیجه، Index مشکل‌دار روی Primary مجدداً ساخته شد.

راه‌اندازی مجدد Managed Recovery

پس از آماده شدن شرایط Recovery، Standby مجددا به حالت Mount برده شد:

SHUTDOWN IMMEDIATE;

سپس : 

STARTUP MOUNT;

و بعد Managed Recovery مجددا فعال شد:


ALTER DATABASE RECOVER MANAGED STANDBY DATABASE DISCONNECT;

در نهایت با این مستند در ایتدا هم گپ رفع شد ، هم مشکل سگمنت اعلامی حل و دیتابیس استندبای در مدار عملیاتی قرار گرفت .