أداة إلغاء تكرار ملف CSV
تتسلل النسخ المكررة إلى عمليات تصدير ملف CSV بطرق مزعجة: عمليات تسليم خطاف الويب المتكررة، أو تقريران متسلسلان يدويًا، أو صلة تؤدي إلى انتشار صفوف لم تكن تتوقعها. تعمل أداة إلغاء البيانات المكررة هذه على تجزئة كل صف بيانات والاحتفاظ بالتكرار الأول فقط، وبالتالي يحافظ الإخراج على ترتيب الصف الأصلي مع إسقاط النسخ بهدوء. يعد صف الرأس اختياريًا - اقلب مفتاح التبديل إذا كان ملفك يبدأ مباشرةً بالبيانات.
كيف يعمل إلغاء البيانات المكررة
-
1
الصق ملف CSV
تضمين صف الرأس أو استبعاده؛ استخدم مربع الاختيار لإخبار الأداة عن ماهيتها.
-
2
يتم تجزئة كل صف
يتم تحليل الصفوف إلى صفائف ويتم استخدام MD5 لتمثيل JSON الخاص بها كمفتاح التفرد.
-
3
الأول ظهورًا هو الذي يبقى
يتم الاحتفاظ بالصف الأول الذي يحمل تجزئة معينة. أما الصفوف اللاحقة التي تحتوي على نفس المحتوى فيتم تخطيها بصمت.
-
4
تم الحفاظ على الرأس
إذا كان وضع الرأس قيد التشغيل، فسيتم دائمًا تمرير الصف 1 دون إلغاء التكرار في البيانات.
ما يعتبر نسخة مكررة
يستخدم أداة إلغاء البيانات المكررة مساواة الصف الكامل. يتم تكرار صفين عندما تتطابق كل خلية، موضعًا تلو الآخر، بعد تحليل CSV القياسي.
الأشياء التي لا تزال تعتبر مختلفة
| الصف أ | الصف ب | تعامل كـ |
|---|---|---|
Alice,30,Paris |
Alice, 30, Paris |
مختلفة (مسافات زائدة) |
Bob,25 |
Bob,25, |
مختلفة (خلية فارغة زائدة) |
"Jane Smith",42 |
Jane Smith,42 |
نفسه (الاقتباس على مستوى المحلل اللغوي) |
TRUE,1 |
true,1 |
مختلفة (حساسة لحالة الأحرف) |
متى يكون الحذف على مستوى العمود أكثر ملاءمة
تعد مطابقة الصفوف الكاملة صارمة - وهو ما تريده عادةً، ولكن في بعض الأحيان تريد بالفعل “صفًا واحدًا لكل بريد إلكتروني بغض النظر عن الأعمدة الأخرى”. في هذه الحالة، استخدم أولاً أداة استخراج أعمدة CSV لتقليل الملف إلى عمود المفتاح فقط، ثم قم بإزالته واستخدم النتيجة كبحث. أو يمكنك الوصول إلى SQL: SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC; في PostgreSQL، أو GROUP BY مع تجميعات MIN() في مكان آخر.
نصائح عملية
- تطبيع قبل الحذف. قم بقص المسافة البيضاء وتوحيد الغلاف على أعمدة المفاتيح أولاً، وإلا فسيظل كل من
ALICE@EXAMPLE.COMوalice@example.comعلى قيد الحياة. - قم بالفرز ثم الحذف للحصول على نتائج قابلة للتدقيق. إذا كنت تريد معرفة النسخة التي تم الاحتفاظ بها، فقم بفرز ملف CSV حسب الفاصل الزمني المفضل لديك (أحدث طابع زمني، أدنى معرف) قبل تشغيل أداة إلغاء البيانات المكررة.
- تحقق من عدد الصفوف. استخدم عداد الصفوف بتنسيق CSV الموجود في المستند الأصلي وقم بالإخراج لتأكيد عدد التكرارات التي تمت إزالتها.
الأسئلة الشائعة
لا، فهو يقوم بتجزئة الصفوف التي تم تحليلها بالكامل. للحصول على تفرد عمود واحد، قم بتضييق ملف CSV وصولاً إلى هذا العمود أولاً باستخدام أداة استخراج الأعمدة، ثم قم بتشغيل أداة إزالة التكرارات.
التواجد الأول في الملف . قم بفرز ملف CSV مسبقًا إذا كنت تريد فوز نسخة معينة (أحدث سجل، أدنى معرف، وما إلى ذلك).
نعم. يتم تحليل الصفوف باستخدام قواعد CSV القياسية، لذلك يبقى "Jane, Smith" خلية واحدة ويتم مقارنته على هذا النحو.
يتم إرسال ملف CSV إلى خادمنا لحساب إزالة التكرارات. ولا يتم تخزينه أو مشاركته، ولا تتم إضافته إلى رابط الصفحة.
أدوات ذات صلة
مستخرج الأرشيفات
افحص حاويات ZIP وJAR وXPI وDOCX وXLSX وPPTX وODT محليًا في المتصفح، ونزّل الملفات منفردة من دون رفع الأرشيف الأصلي.
تحويل CSV إلى Excel
حوّل بيانات CSV إلى مصنف XLSX من ورقة واحدة داخل متصفحك. راجع الفاصل، وحافظ على المعرّفات، واستنتج الأرقام الآمنة مع إبقاء المحتوى محليا.
محوّل XML إلى CSV
حوّل بنية XML الجدولية المسطحة محليا في المتصفح إلى ملف CSV بترميز UTF-8 وفواصل، ثم انسخه أو نزّله.
مقسم أوراق Excel
قسّم دفتر عمل XLSX أو XLS حسب علامة تبويب الورقة أو دفعات صفوف البيانات أو قيمة عمود داخل المتصفح. نزّل ملف XLSX واحدًا أو ZIP محليًا من دون رفع الملف.
محوّل M4A إلى MP3
حوّل صوت M4A إلى MP3 لدعم تشغيل أوسع. ارفع ملف .m4a ونزّل نسخة .mp3 متوافقة.
دمج أوراق Excel
ادمج ملفات XLSX وXLS وXLSM وXLSB وODS محليًا. احتفظ بالأوراق منفصلة أو أضف الصفوف ذات العناوين المتطابقة ثم نزّل ملف XLSX.