مقدمه
در این Case ، فرآیند Redo Apply روی یک دیتابیس Oracle Data Guard Physical Standby به دلیل خطای ORA-00600 [3020] متوقف شد.
در این محیط، Standby برای مدتی با Apply Lag قابلتوجه مواجه بود و مشکل با تاخیر شناسایی شد. هنگام ادامه Recovery، فرآیند Apply به دلیل ناسازگاری بین Redo و یک Data Block مشخص متوقف شد.
در ادامه، ابتدا تلاش شد Recovery با استفاده از ALLOW 1 CORRUPTION ادامهپیدا کند. پس از بررسی نتیجه و مشخص شدن اینکه مشکل اصلی همچنان نیاز به اصلاح Object دارد، Block مشکلدار تا سطح Segment و Object ردیابی شد و مشخص شد که این Block متعلق به یک Index در تیبل اسپیس TEST_TBS است.
در مرحله بعد، Index مربوطه روی Primary بازسازی شد. پس از آماده شدن Redo مورد نیاز ، Managed Recovery روی Standby مجددا راهاندازی شد و در نهایت Standby با Primary بهطور کامل Synchronize شد.
شرح IncidentRedo Apply روی Standby با Errorهای زیر متوقف شد:
Errors in file /u01/app/oracle/diag/rdbms/stby/stby/trace/stby_pr07_40762.trc
(incident=1538426)
ORA-00600: internal error code, arguments: [3020], [312], [3018180],
[1311641028], [], [], [], [], [], [], [], []
ORA-10567: Redo is inconsistent with data block
(file# 312, block# 3018180, file offset is 3250094080 bytes)
ORA-10564: tablespace TEST_TBS
ORA-01110: data file 312:
'+DATA/STBY/DATAFILE/test_tbs.602.1182378613'
ORA-10561: block type 'TRANSACTION MANAGED INDEX BLOCK',
data object# 620798
در واقع، پیام اصلی خطا این بود که Redoای که قرار بود روی Standby Apply شود، با محتوای Block موردنظر سازگار نبوده است.
در این مرحله هدف اصلی این بود که ابتدا بررسی شود آیا Recovery میتواند از این Block عبور کند یا خیر.
بررسی Corruption
: بررسی شد Standby روی Corruption در قدم اول وضعیت
SELECT * FROM v$database_block_corruption;
خروجی :
no rows selected
سپس View مربوط به Backup Corruption نیز بررسی شد:
SELECT * FROM v$backup_corruption;
خروجی:
no rows selected
همین بررسی روی Primary نیز انجام شد:
SELECT * FROM v$database_block_corruption;
و:
SELECT * FROM v$backup_corruption;
که در هر دو مورد نتیجه:
no rows selected بود.
این نتیجه نشان میداد که در این Viewها Corruption ثبتشدهای وجود ندارد، اما با توجه به ORA-10567 و ORA-00600[3020] همچنان یک مشکل در Block/Redo Consistency وجود داشت.
بنابراین بررسی دقیق Block اعلامشده در پیغام خطا ادامه پیدا کرد.
ادامه Recovery
با توجه به اینکه Recovery ، به دلیل یک Block مشخص متوقف شده بود، ابتدا تلاش شد Managed Recovery با اجازه عبور از یک مورد Corruption ادامه پیدا کند:
ALTER DATABASE RECOVER AUTOMATIC STANDBY DATABASE ALLOW 1 CORRUPTION;
هدف از این اقدام این بود که مشخص شود آیا Recovery میتواند از Block مشکلدار عبور کرده و Apply را ادامه دهد یا خیر.
این مرحله عملاً یک اقدام تشخیصی و Recovery کنترلشده بود تا مشخص شود مشکل فقط به همان Block محدود است و آیا امکان ادامه Apply وجود دارد.
پس از اجرای این دستور، Recovery ادامه پیدا کرد و دیتابیس استندبای با اصلی سینک شد .
پیدا کردن Segment مربوط به Block
برای مشخص شدن Object ای که Block مشکلدار به آن تعلق داشت، از DBA_EXTENTS استفاده شد:
SET LINE 2000
COL SEGMENT_NAME FOR A50
COL SEGMENT_TYPE FOR A30
COL PARTITION_NAME FOR A50
SELECT owner,
segment_name,
partition_name,
segment_type
FROM dba_extents
WHERE file_id = 312
AND 3018180 BETWEEN block_id
AND (block_id + blocks - 1);
خروجی :
OWNER : TESTUSR
SEGMENT_NAME : IDX_ID
SEGMENT_TYPE : INDEX
در نتیجه مشخص شد Block مشکلدار متعلق به Index ، testusr.idx_id می باشد .
سپس اطلاعات Segment مجددا بررسی شد:
SELECT SEGMENT_NAME,
OWNER,
TABLESPACE_NAME
FROM dba_segments
WHERE SEGMENT_NAME='IDX_ID';
خروجی :
SEGMENT_NAME : IDX_ID
OWNER : TESTUSR
TABLESPACE_NAME : TEST_TBS
همچنین Size این Index بررسی شد:
SELECT SEGMENT_NAME,
SUM(bytes)/1024/1024/1024
FROM dba_segments
WHERE SEGMENT_NAME='IDX_ID105'
AND owner='HAMRAHCARD'
GROUP BY SEGMENT_NAME;
خروجی :
SEGMENT_NAME : IDX_ID
SIZE : 78.91 GB
با این بررسی، مشکل از یک خطای کلی در Standby به یک Object مشخص محدود شد.
Rebuild کردن Index روی Primary
روی Primary دستور زیر اجرا شد:
ALTER INDEX TESTUSR.IDX_ID REBUILD ONLINE PARALLEL 8;
با توجه به اینکه Index حدود 79 گیگ حجم داشت، برای کاهش زمان اجرای عملیات از PARALLEL 8 استفاده شد.
همچنین Rebuild بهصورت ONLINE انجام شد تا محدودیت عملیاتی روی Object تا حد امکان کاهش پیدا کند.
پس از پایان Rebuild، Parallel برای Index به حالت عادی برگردانده شد:
ALTER INDEX TESTUSR.IDX_ID NOPARALLEL;
در نتیجه، Index مشکلدار روی Primary مجدداً ساخته شد.
راهاندازی مجدد Managed Recovery
پس از آماده شدن شرایط Recovery، Standby مجددا به حالت Mount برده شد:
SHUTDOWN IMMEDIATE;
سپس :
STARTUP MOUNT;
و بعد Managed Recovery مجددا فعال شد:
ALTER DATABASE RECOVER MANAGED STANDBY DATABASE DISCONNECT;
در نهایت با این مستند در ایتدا هم گپ رفع شد ، هم مشکل سگمنت اعلامی حل و دیتابیس استندبای در مدار عملیاتی قرار گرفت .