أداة إلغاء تكرار ملف CSV
تتسلل النسخ المكررة إلى عمليات تصدير ملف CSV بطرق مزعجة: عمليات تسليم خطاف الويب المتكررة، أو تقريران متسلسلان يدويًا، أو صلة تؤدي إلى انتشار صفوف لم تكن تتوقعها. تعمل أداة إلغاء البيانات المكررة هذه على تجزئة كل صف بيانات والاحتفاظ بالتكرار الأول فقط، وبالتالي يحافظ الإخراج على ترتيب الصف الأصلي مع إسقاط النسخ بهدوء. يعد صف الرأس اختياريًا - اقلب مفتاح التبديل إذا كان ملفك يبدأ مباشرةً بالبيانات.
كيف يعمل إلغاء البيانات المكررة
-
1
الصق ملف CSV
تضمين صف الرأس أو استبعاده؛ استخدم مربع الاختيار لإخبار الأداة عن ماهيتها.
-
2
يتم تجزئة كل صف
يتم تحليل الصفوف إلى صفائف ويتم استخدام MD5 لتمثيل JSON الخاص بها كمفتاح التفرد.
-
3
الأول ظهورًا هو الذي يبقى
يتم الاحتفاظ بالصف الأول الذي يحمل تجزئة معينة. أما الصفوف اللاحقة التي تحتوي على نفس المحتوى فيتم تخطيها بصمت.
-
4
تم الحفاظ على الرأس
إذا كان وضع الرأس قيد التشغيل، فسيتم دائمًا تمرير الصف 1 دون إلغاء التكرار في البيانات.
ما يعتبر نسخة مكررة
يستخدم أداة إلغاء البيانات المكررة مساواة الصف الكامل. يتم تكرار صفين عندما تتطابق كل خلية، موضعًا تلو الآخر، بعد تحليل CSV القياسي.
الأشياء التي لا تزال تعتبر مختلفة
| الصف أ | الصف ب | تعامل كـ |
|---|---|---|
Alice,30,Paris |
Alice, 30, Paris |
مختلفة (مسافات زائدة) |
Bob,25 |
Bob,25, |
مختلفة (خلية فارغة زائدة) |
"Jane Smith",42 |
Jane Smith,42 |
نفسه (الاقتباس على مستوى المحلل اللغوي) |
TRUE,1 |
true,1 |
مختلفة (حساسة لحالة الأحرف) |
متى يكون الحذف على مستوى العمود أكثر ملاءمة
تعد مطابقة الصفوف الكاملة صارمة - وهو ما تريده عادةً، ولكن في بعض الأحيان تريد بالفعل “صفًا واحدًا لكل بريد إلكتروني بغض النظر عن الأعمدة الأخرى”. في هذه الحالة، استخدم أولاً أداة استخراج أعمدة CSV لتقليل الملف إلى عمود المفتاح فقط، ثم قم بإزالته واستخدم النتيجة كبحث. أو يمكنك الوصول إلى SQL: SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC; في PostgreSQL، أو GROUP BY مع تجميعات MIN() في مكان آخر.
نصائح عملية
- تطبيع قبل الحذف. قم بقص المسافة البيضاء وتوحيد الغلاف على أعمدة المفاتيح أولاً، وإلا فسيظل كل من
ALICE@EXAMPLE.COMوalice@example.comعلى قيد الحياة. - قم بالفرز ثم الحذف للحصول على نتائج قابلة للتدقيق. إذا كنت تريد معرفة النسخة التي تم الاحتفاظ بها، فقم بفرز ملف CSV حسب الفاصل الزمني المفضل لديك (أحدث طابع زمني، أدنى معرف) قبل تشغيل أداة إلغاء البيانات المكررة.
- تحقق من عدد الصفوف. استخدم عداد الصفوف بتنسيق CSV الموجود في المستند الأصلي وقم بالإخراج لتأكيد عدد التكرارات التي تمت إزالتها.
الأسئلة الشائعة
لا، فهو يقوم بتجزئة الصفوف التي تم تحليلها بالكامل. للحصول على تفرد عمود واحد، قم بتضييق ملف CSV وصولاً إلى هذا العمود أولاً باستخدام أداة استخراج الأعمدة، ثم قم بتشغيل أداة إزالة التكرارات.
التواجد الأول في الملف . قم بفرز ملف CSV مسبقًا إذا كنت تريد فوز نسخة معينة (أحدث سجل، أدنى معرف، وما إلى ذلك).
نعم. يتم تحليل الصفوف باستخدام قواعد CSV القياسية، لذلك يبقى "Jane, Smith" خلية واحدة ويتم مقارنته على هذا النحو.
يتم إرسال ملف CSV إلى خادمنا لحساب إزالة التكرارات. ولا يتم تخزينه أو مشاركته، ولا تتم إضافته إلى رابط الصفحة.
أدوات ذات صلة
تحويل vCard إلى CSV
الصق تصدير vCard (.vcf) لتحصل على ملف CSV نظيف بأعمدة الاسم والبريد الإلكتروني والهاتف، سطر واحد لكل جهة اتصال، جاهز للفتح في جدول بيانات أو أداة استيراد جهات الاتصال.
مستخرج عمود CSV
الصق بيانات CSV أو اختر ملفًا واحتفظ فقط بالأعمدة التي تحتاجها، برقمها أو باسمها في صف العناوين، وبالترتيب الذي تريده. يحتفظ ملف CSV الجديد بالفاصل نفسه.
أداة تصفية CSV
قم بتصفية ملف CSV حسب مطابقة النص في أي عمود. احتفظ فقط بالصفوف التي يحتوي فيها العمود المختار على عبارة البحث الخاصة بك، وهي غير حساسة لحالة الأحرف.
محول EPUB إلى MOBI
حول كتب EPUB الإلكترونية إلى MOBI لأجهزة كيندل القديمة ومكتبات الكتب الإلكترونية القديمة. يحافظ على الفصول وجدول المحتويات سليمة. ارفع، حول، نزل.
محول MP4 إلى MP3
اسحب مسار الصوت من فيديو MP4 واحفظه كملف MP3. رائع لمقاطع الموسيقى والبودكاست والمحاضرات والمقاطع الصوتية التي تريد الاستماع إليها في أي مكان.
محول EPUB إلى PDF
حول كتب EPUB الإلكترونية إلى ملفات PDF بصفحات ثابتة يسهل طباعتها والتعليق عليها ومشاركتها. يحافظ على الفصول والصور وجدول المحتويات. ارفع ونزل.
الأداة متاحة بلغات أخرى
- โปรแกรมกำจัดข้อมูลซ้ำในไฟล์ CSV [TH]
- CSV重複削除ツール [JA]
- Eliminador de duplicados CSV [ES]
- CSV-duplicatieverwijderaar [NL]
- CSV 중복 데이터 제거 도구 [KO]
- Deduplicador de CSV [PT]
- Dédupliqueur CSV [FR]
- Usuwanie duplikatów wierszy CSV [PL]
- CSV-dubblettrensare [SV]
- Penghapus Baris Duplikat CSV [ID]
- CSV-Deduplicator [DE]
- Trình loại trùng dữ liệu CSV [VI]
- CSV去重工具 [ZH]
- CSV Deduplicator [EN]
- Deduplicatore CSV [IT]
- Удалитель дубликатов в CSV-файлах [RU]
- CSV Yinelenen Satır Temizleyici [TR]