يُمكنك استخدام العنصر before_title في المصفوفة التي يتم تمريرها للدالة.. مثال:
<?php
$args = array(
'name' => __( 'Sidebar name', 'theme_text_domain' ),
'id' => 'unique-sidebar-id',
'description' => '',
'class' => '',
'before_widget' => '<li id="%1$s" class="widget %2$s">',
'after_widget' => '</li>',
// هنا تقوم بإضافة الأيقونة
'before_title' => '<h2 class="widgettitle"><span class="fa fa-icon"></span>',
'after_title' => '</h2>' );
register_sidebar($args);
?>
للمزيد، راجع التوثيق.